Maskinlæring på kanten: Et hardware- og softwareøkosystem

Edge computing boomer. Idéen om at tage computeren ud af datacentret og bringe den så tæt som muligt på, hvor data genereres, får masser af trækkraft. Estimater for vækst i edge computing er i 40% CAGR, $50 milliarder-området.

Uanset om det er selvstændige IoT-sensorer, enheder af alle slags, droner, eller autonome køretøjer, der er én ting til fælles. I stigende grad, data genereret ved kanten bruges til at fodre applikationer drevet af maskinlæringsmodeller.

TinyML er et hurtigt voksende felt af maskinlæringsteknologier og -applikationer, der gør det muligt for maskinlæring at arbejde på kanten. Det inkluderer hardware, algoritmer og software, der er i stand til at udføre sensordataanalyser på enheden ved ekstremt lav effekt, hvilket muliggør en række altid-on-brug.

For at TinyML kan fungere, er det nødvendigt med en sammenstrømning af hardware og software, der skaber et økosystem bygget op omkring forestillingen om sparsomme energibehov. Dette er en forudsætning for ansøgninger på kanten.

I dag Arm, en global halvleder-IP-udbyder kendt for sit fokus på økosystemskabelse og sparsommelige energibehov til sine processorer, annoncerer et partnerskab med Neuton, en udbyder af en automatiseret TinyML-platform. Tidligere i september Alif Semiconductors, en anden Arm-partnerbygning AI-chips for kanten, udgivet nye produktlinjer.

ZDNet fanget Henrik Flodell, Sr. Marketing Manager hos Alif, Philip Lewer, Director of Ecosystem and Developer Relations, Machine Learning at Arm og Blair Newman, CTO hos Neuton, alle erfarne eksperter i indlejret rum. Vi diskuterede deres respektive tilbud, og hvad der skal til for at få et økosystem til maskinlæring på kanten i gang.

Arm, bygger et AI-økosystem

Arm er en økosystemmester med mere end 1000 partnere. Ifølge Lewer er det en nøgleårsag til, at virksomheden var i stand til at sende mere end 190 milliarder chips baseret på sin teknologi på verdensplan.

Armchips bruges overalt, fra cloud-datacentre til bærbare computere og fra wearables til droner. Lewer beskrevet Arm's AI platform som "en samling af teknologier og partnerskaber, der gør det muligt for kunstig intelligens at ske".

For Arm er fundamentet på hardwareniveau, og dets AI platforminkluderer alt fra Arm Cortex CPU'er til Mali GPU'er og Ethos NPU'er og microNPU'er. Cortex-M-familien er et meget populært valg, ofte inkluderet i mikrocontrollere såvel som andre chips. Arms Ethos-U-processorserie fokuserer specifikt på maskinlærings-inferens for enheder med lavt strømforbrug.

Alifs nyligt afslørede Ensemble™ og Crescendo™ produktfamilier Brug også Arm's Cortex-M. Ensemble-chips er rettet mod smart home-produkter, hvidevarer, salgssteder, robotteknologi, og andre applikationer på kanten.

Alif blev grundlagt i 2019, og Flodell bemærkede, at motivationen var at "udvikle en ny platform fra bunden, baseret på det allernyeste teknologi, der virkelig muliggør funktionalitet som allestedsnærværende trådløs forbindelse og kantbehandling med AI og maskinlæring kapaciteter".

Maskinlæringsacceleration og flerlagssikkerhed er nøglefunktionerne, som både Ensemble og Crescendo deler. Crescendo-familien tilbyder også tilslutnings- og positioneringsfunktioner, som Alif bemærker gør dem velegnet til smart city, forbundet infrastruktur, aktivsporing, sundhedsenheder og wearables applikationer.

Tilbage i 2018, Neuton forårsagede et stænk ved at annoncere en neural netværksramme hævder at være langt mere effektiv end nogen anden ramme og ikke-neural algoritme, der er tilgængelig på markedet.

Newman bemærkede, at selvom Bell Integrator, sælgeren bag Neutonramme, har eksisteret i lidt over 17 år, var det omkring 6 år siden, at de fokuserede deres opmærksomhed på at bygge nulkode SaaS-løsninger.

Historisk tilføjede Newman, at Bell Integrator har udnyttet alle tilgængelige "traditionelle" maskinlæringsrammer. Spørgsmålet om ressourceknaphed har dog altid været svært at finde rundt i. Det er én ting at bygge en maskinlæringsmodel og en anden ting at implementere den i produktionen, især ved kanten.

Neuton, der bygger no-code machine learning-modeller fra bunden

Newman lagde vægt på to aspekter af Neutons tilgang, som gik imod kernen af ​​etablerede maskinlæringsrammer. For det første aspektet uden kode, der gør det muligt for ikke-dataforskere at bygge modeller. For det andet den brugerdefinerede arkitektur, som Neutons maskinlæringsmodeller anvender:

"Så snart disse modeller er produceret, kan de med det samme uden interaktion integreres i mikrocontrollere. Vores kunder er virkelig bemyndiget til at gennemgå hele livscyklussen med at bringe maskinlæring til kanten uden nogen tekniske færdigheder", sagde Newman.

Neuton blev inviteret til at slutte sig til Arms partnerøkosystem efter at have præsenteret sin tilgang til at bygge kompakte og nøjagtige modeller på TinyML EMEA Technical Forum 2021. Hele formålet med Arms partner-økosystem er at samle virksomheder, der muliggør forskellige muligheder, sagde Lewer.

Som et eksempel, Alif og Neuton, fortsatte Lewer med at tilføje. Alif bruger Arms Cortex-design på innovative måder, men det virkelige spørgsmål for brugerne er, hvordan man implementerer maskinlæringsmodeller på Alifs chips:

"Det er virkelig vigtigt, især for udviklere, der er tættere på konventionel programmeringsbaggrund, at bygge bro over dette hul ind i verden af ​​maskinlæring. Så har du en som Neuton, der kommer ind og siger, jamen, det er der, vi passer ind. Hvis vi har kunder, der er tilfredse og samarbejdspartnere, der er tilfredse, er det sådan, vi måler succes”.

Arm var en naturlig partner for Alif; Flodell var enig, fordi de har fantastisk IP og fokus på økosystemaktivering: "Vi ved det folk vil være i stand til at være produktive med disse enheder, så snart de får fingrene i dem dem". sagde Flodell.

Der er blevet lagt særlig vægt på kraftegenskaberne i Alifs produktlinje. Naturligvis, forklarede Flodell, vil chips med integrerede tilslutningsfunktioner såsom Crescendo-linjen have højere strømkrav sammenlignet med noget som Ensemblet.

Det hele afhænger af, hvor meget strøm du bruger bare for at deltage i et netværk, og det er den del, Alif har fokuseret på at optimere. I den henseende tilføjede han, at Alifs benchmarks viser, at Crescendo er 2 til 3 gange mere sparsommelig end chips med lignende egenskaber, hvilket simpelthen betyder, at applikationer vil være i stand til at køre længere.

Alif, der bygger indlejrede controllere til begrænsede miljøer

For applikationer, der er installeret på kanten, er batteriforbrug virkelig valutaen, konkluderede Newman. Neutons tilgang er at "bygge [modeller] fra bunden, neuron for neuron. Du skal kun bygge dine modeller én gang, og de bliver ekstremt kompakte uden at gå på kompromis med nøjagtigheden”.

Neuton er relativt ny i partnerskabsspillet. Newman identificerede dog partnerskabet med Arm som et strategisk partnerskab for Neutons mål om at demokratisere maskinlæring. For Lewer og Arm er partnerskaber en central del af deres strategi, som de vil fortsætte med at udvikle. Selvom Arm har mange partnere, handler det ikke kun om tal, sagde Lewer:

"Det handler i virkeligheden om at gøre disse partnerskaber effektive, og det betyder, at man læner sig ind. Vi bruger meget tid sammen med hver partner på at prøve at forstå, hvor de prøver at gå hen, så vi kan finde fælles fodslag."

Når vi taler om maskinlæring på kanten, er det nøglen at kunne arbejde i et ressourcebegrænset miljø, bemærkede Flodell. AI's stamtavle er knyttet til datacentre, men dette skal ændres for AI-applikationer i den virkelige verden på kanten:

"Når du vil skalere ned og køre i noget, der er konfigureret som en mikrocontroller, nogle gange med mindre end endda en megabyte en hukommelse, bliver det i sig selv en udfordring.

Og dertil kommer, at AI på nogle måder er meget forskellig fra den traditionelle udvikling, som designere af indlejrede systemer gennemgår. Det er stadig mere i datavidenskabernes domæne at forstå, hvordan man tuner modellerne til at producere de rigtige resultater.

At være i stand til at udnytte Arms partnerskabsaktiviteter til at oprette forbindelse til virksomheder som Neuton burde være i stand til at bygge bro over dette hul for at dataforskerne og den indlejrede udviklers ekspertise smelter sammen og for at få modellerne og teknologien til at passe til en begrænset system.

Det er virkelig udfordringen. Hvis vi kan overvinde det, vil det åbne sluserne for adoption af denne teknologi."