Машинно обучение на ръба: TinyML става все по-голям

Така ли 61 милиарда долара и 38,4% CAGR до 2028 г или $43 милиарда и 37,4% CAGR до 2027 г? Зависи от това кой доклад очертава растежа на крайни изчисления избираш да минеш, но в крайна сметка не е толкова различно.

Важното е това периферните изчисления процъфтяват. Има нарастващ интерес от страна на доставчици и достатъчно покритие, с добра причина. Въпреки че определението за какво представлява крайното изчисление е малко размита, идеята е проста. Става дума за извеждане на изчисленията от центъра за данни и привеждането им възможно най-близо до мястото, където е възможно действието.

Независимо дали става въпрос за самостоятелни IoT сензори, устройства от всякакъв вид, Дроновете, или автономни превозни средства, има едно общо нещо. Все по-често данните, генерирани на ръба, се използват за захранване на приложения, захранвани от модели за машинно обучение. Има само един проблем: моделите за машинно обучение никога не са били проектирани да бъдат внедрявани на ръба. Поне не до сега. Въведете TinyML.

Малкото машинно обучение (TinyML) е широко дефинирано като бързо развиваща се област от технологии и приложения за машинно обучение, включително хардуер, алгоритми и софтуер, способни на извършване на анализ на данни от сензори на устройството при изключително ниска мощност, обикновено в диапазона mW и по-ниски, и по този начин позволява различни случаи на винаги включена употреба и насочване към работа с батерии устройства.

Тази седмица, встъпителен технически форум TinyML EMEA се провежда и беше добра възможност да обсъдим с някои ключови хора в тази област. ZDNet настигна Евгени Гусев от Qualcomm, Блеър Нюман от Neuton и Пийт Уордън от Google.

Хей Google

Pete Warden написа единствения в света алгоритъм за обработка на изображения за откриване на мустаци. Той също така беше основател и технически директор на стартъп Jetpac. Той повдигна серия A от Khosla Ventures, изгради технически екип и създаде уникален продукт с данни, който анализира пиксела данни за над 140 милиона снимки от Instagram и ги превърна в задълбочени ръководства за повече от 5000 града в свят.

Jetpac беше придобит от Google през 2014 г. и оттогава Warden е изследователски инженер на персонала на Google. Тогава Warden се чувстваше доста добре за себе си, защото успя да побере модели за машинно обучение в два мегабайта.

Това беше, докато не откри, че някои от новите му колеги от Google имат 13-килобайтов модел, който използват за разпознаване на събуждащи се думи, работещи винаги на DSP на устройства с Android. По този начин основният процесор не изгаряше батерията, следейки за "това" будна дума -- Хей Google.

„Това наистина ме взриви, фактът, че можете да направите нещо наистина полезно в този по-малък модел. И наистина ме накара да се замисля за всички други приложения, които биха могли да бъдат възможни, ако можем да стартираме особено всички тези нови подходи за машинно обучение, задълбочено обучение“, каза Уордън.

Макар че Връстниците му често смятат, че Warden е стартирал TinyML поддомейна на машинното обучение, той е доста скромен за това. Голяма част от това, което е направил, той признава, се основава на неща, върху които други вече работят: „Много от моите приносът помага за популяризиране и документиране на куп от тези инженерни практики, които са се появили," той каза.

TinyML, експоненциален растеж

Евгени Гусев дойде в САЩ от Русия преди повече от 25 години за кратко посещение. Той никога не е планирал да остане, но днес е тук, като е старши директор в Qualcomm. Гусев има опит в областта на физиката и работи в академичните среди, както и в IBM преди Qualcomm.

Гусев се срещна с Warden през 2018 г. и той описва как е видял какво е възможно с помощта на техниките, върху които работи Warden, като опит за отваряне на очите:

Когато Пийт показа какво можеш да направиш тук, значи можеш квантувам вашия модел и можете да стартирате модел за задълбочено обучение на 8 бита и без много да компрометирате точността, това беше като отваряне на очите за цялата общност. Беше като - уау, възможно ли е? Това беше един вид промяна в мисленето.

Гусев и Уорън се обединиха и започнаха да мислят как да разпространят информация за това, което според тях има огромен потенциал. Те искаха да създадат екосистема около TinyML. Започнаха да звънят на колеги и приятели, да споделят и социализират идеите си.

Първата стъпка беше организирането на TinyML сесия в кампуса на Google. Първоначално се притесняваха дали могат да съберат 30 души в стаята. Няколко месеца по-късно събитието вече беше презаписано от 200 души. От този момент нататък има почти експоненциален растеж и събитията на TinyML вече достигнаха границата от 5000 участници.

Доставяне на услуги до върха на пръстите на вашите клиенти

The Фондация TinyML беше създадена, а първата TinyML среща на върха през март 2019 г. показа много силен интерес от общността с активно експертно участие от 90 компании. Той показа, че съвместимият с TinyML хардуер става „достатъчно добър“ за много търговски приложения и нови архитектури (напр. изчисления в паметта) са на хоризонта.

Той също така показа, че се постига значителен напредък в алгоритмите, мрежите и моделите до 100kB и по-ниски, и демонстрира някои първоначални приложения с ниска мощност във визуалното и аудио пространството. Има няколко точки, които си струва да се подчертаят тук.

Първо, работната дефиниция на това какво представлява TinyML беше и до известна степен все още се обсъжда. Това, което има значение, е как устройствата могат да бъдат разгърнати на място и как ще работят, каза Гусев. Това ще бъде различно в зависимост от устройството и случая на употреба, но смисълът е да бъдете винаги включени и да не се налага да сменяте батериите всяка седмица. Това може да се случи само в диапазона mW и по-долу.

За да бъдете успешни, трябва да можете да донесете услугите си на върха на пръстите на клиентите си. Ето как го формулира Блеър Нюман, олицетворявайки подхода на Неутон. Нюман, друг опитен експерт с позиции в Sun Microsystems, Verizon и T-System, служи като технически директор на Neuton от 2015 г.

Още през 2018 г. Neuton предизвика фурор, като обяви рамка за невронна мрежа твърдейки, че е много по-ефективен от всяка друга рамка и неневронен алгоритъм, налични на пазара. Тайният сос на Neuton е в това как се създава мрежовата архитектура и това е, което го прави подходящ и за TinyML, каза Нюман:

Започнахме да използваме малко по-различен подход, при който изграждаме нашите модели, подходящи за целта. Вместо да поставяме квадратно колче в кръгъл отвор, за да гарантираме, че моделът може да се побере в хардуерно устройство, ние изграждаме всички наши модели, специфични за даден случай на употреба.

TinyML едва започва

Нюман се позова на собствения подход на Neuton като изграждане на мрежовата архитектура неврон по неврон, което води до нещо, което е не само оптимизирано за производителност, но и за размер. Те могат да бъдат до 100 пъти по-малки, добави той, а целта е да можем да внедрим един и същ модел за машинно обучение в центъра за данни и на периферията.

Като цяло обаче TinyML се възползва значително от работата на много хора в индустрията, както и от в изследванията, с техники като двоични мрежи, квантуване, подрязване, групиране и дестилация. Целта на институцията TinyML е да бъде отворена и приобщаваща и да произвежда резултати, достъпни за всички. В заключение всички се съгласиха, че едва започваме да надраскаме повърхността на това, което е възможно с TinyML.

Въпреки че днес TinyML се използва само за частта от машинното обучение за изводи, Гусев, Нюман и Уордън вярват, че след 5 години ще започнем да виждаме и обучение на ръба. Техники като федеративно обучение ще бъде все по-важно там.

Гусев, Нюман и Уордън са опитни експерти с умения и опит, които надхвърлят инженерството. Всички те се съгласиха, че предупрежденията, приложими към всяко приложение за машинно обучение, като качеството на данните и количество, изграждане на канали за данни и притежаване на необходимия опит в организацията, кандидатствайте за TinyML, също.

Независимо дали става дума за наблюдение на пчелни кошери в Кения или изграждане на интелигентни фабрики, в крайна сметка приложенията ще надхвърлят това, което технолозите могат да си представят. Това се случи преди с основополагащата технология и това е, което хората, които вярват в TinyML, виждат да се случва и тук.