엣지에서의 머신러닝: 하드웨어 및 소프트웨어 생태계

엣지 컴퓨팅이 급성장하고 있습니다. 데이터 센터에서 컴퓨팅을 가져와 데이터가 생성되는 위치에 최대한 가깝게 가져간다는 아이디어가 많은 관심을 받고 있습니다. 엣지 컴퓨팅 성장에 대한 추정 CAGR 40%, 500억 달러 규모입니다.

독립형 IoT 센서, 모든 종류의 장치, 드론, 또는 자율주행차, 공통점이 하나 있습니다. 더욱 더, 엣지에서 생성된 데이터는 애플리케이션을 공급하는 데 사용됩니다. 머신러닝 모델을 기반으로 합니다.

TinyML 머신러닝이 엣지에서 작동할 수 있도록 지원하는 머신러닝 기술 및 애플리케이션 분야에서 빠르게 성장하고 있는 분야입니다. 여기에는 매우 낮은 전력으로 기기 내 센서 데이터 분석을 수행할 수 있는 하드웨어, 알고리즘 및 소프트웨어가 포함되어 있어 다양한 상시 사용 사례가 가능합니다.

TinyML이 작동하려면 하드웨어와 소프트웨어의 융합이 필요하며, 에너지 절약이라는 개념을 중심으로 구축된 생태계를 조성해야 합니다. 이는 엣지 애플리케이션의 전제 조건입니다.

오늘 팔생태계 조성과 프로세서의 에너지 절약에 중점을 두는 것으로 알려진 글로벌 반도체 IP 제공업체인 가 다음과 같은 파트너십을 발표했습니다. 중성자, 자동화된 TinyML 플랫폼 제공업체입니다. 9월 초, 알리프 반도체, 또 다른 Arm 파트너 건물 AI 칩 엣지를 위한 신제품 라인을 출시했습니다.

ZDNet Alif의 수석 마케팅 관리자인 Henrik Flodell과 생태계 이사인 Philip Lewer를 만났습니다. Arm의 Developer Relations, Machine Learning, Neuton의 CTO Blair Newman이 모두 해당 분야의 노련한 전문가입니다. 임베디드 공간. 우리는 각각의 제품과 엣지에서 기계 학습을 위한 생태계를 구축하는 데 필요한 것이 무엇인지 논의했습니다.

Arm, AI 생태계 구축

Arm은 1000개 이상의 파트너를 보유한 생태계 챔피언입니다. Lewer에 따르면 이것이 회사가 기술을 기반으로 전 세계적으로 1,900억 개 이상의 칩을 출하할 수 있었던 주요 이유입니다.

Arm 칩은 클라우드 데이터센터부터 노트북, 웨어러블부터 드론까지 어디에서나 사용됩니다. Lewer가 설명했습니다. Arm의 AI 플랫폼 "AI를 실현할 수 있는 기술과 파트너십의 집합체"입니다.

Arm의 경우 기반은 하드웨어 수준에 있으며, AI 플랫폼Arm Cortex CPU부터 Mali GPU, Ethos NPU 및 microNPU까지 모든 것이 포함됩니다. Cortex-M 제품군은 매우 인기 있는 선택이며 종종 마이크로 컨트롤러 및 기타 칩에 포함됩니다. Arm의 Ethos-U 프로세서 시리즈는 특히 저전력 장치에 대한 기계 학습 추론에 중점을 둡니다.

Alif가 최근 공개한 Ensemble™ 및 Crescendo™ 제품군 Arm의 Cortex-M도 활용합니다. 앙상블 칩은 스마트 홈 제품, 가전제품, POS(Point-of-Sale), 로봇공학, 엣지의 기타 애플리케이션.

Alif는 2019년에 설립되었으며 Flodell은 동기가 "최신 기술을 기반으로 처음부터 새로운 플랫폼을 개발하는 것"이라고 언급했습니다. 유비쿼터스 무선 연결, AI 및 머신 러닝을 통한 엣지 프로세싱과 같은 기능을 실제로 구현하는 기술 능력".

기계 학습 가속화 및 다층 보안은 Ensemble과 Crescendo가 공유하는 주요 기능입니다. Crescendo 제품군은 Alif가 제공하는 연결 및 위치 지정 기능도 제공합니다. 스마트 시티, 연결된 인프라, 자산 추적, 의료 장치 및 웨어러블에 적합 응용 프로그램.

2018년으로 돌아가, Neuton이 신경망 프레임워크를 발표하여 화제를 모았습니다. 시중에서 판매되는 다른 프레임워크 및 비신경 알고리즘보다 훨씬 더 효과적이라고 주장합니다.

Newman은 다음과 같이 언급했습니다. 벨 통합자, 뒤에 있는 공급업체 뉴턴 프레임워크, 제로 코드 SaaS 솔루션 구축에 관심을 집중한 것은 약 6년 전이었습니다.

Newman은 역사적으로 Bell Integrator가 사용 가능한 모든 "전통적인" 기계 학습 프레임워크를 활용해 왔다고 덧붙였습니다. 그러나 자원 부족 문제는 항상 해결하기 어려웠습니다. 기계 학습 모델을 구축하는 것과 이를 프로덕션, 특히 엣지에 배포하는 것은 별개입니다.

Neuton, 처음부터 코드 없는 기계 학습 모델 구축

Newman은 기존의 기계 학습 프레임워크에 어긋나는 Neuton 접근 방식의 두 가지 측면을 강조했습니다. 첫째, 코드가 없는 측면으로 데이터 과학자가 아닌 사람도 모델을 구축할 수 있습니다. 둘째, Neuton의 기계 학습 모델이 사용하는 사용자 정의 아키텍처는 다음과 같습니다.

"이러한 모델은 생산되자마자 상호 작용 없이 즉시 마이크로컨트롤러에 통합될 수 있습니다. 우리 고객은 기술적인 기술 없이도 기계 학습을 최첨단으로 가져오는 전체 수명주기를 통과할 수 있는 권한을 실제로 갖고 있습니다."라고 Newman은 말했습니다.

Neuton은 Arm의 파트너 에코시스템에 초대되어 컴팩트하고 정확한 모델 구축에 대한 접근 방식을 발표했습니다. TinyML EMEA 기술 포럼 2021. Arm의 파트너 생태계의 전체 목적은 다양한 기능을 지원하는 기업을 하나로 모으는 것이라고 Lewer는 말했습니다.

적절한 사례로 Alif와 Neuton, Lewer가 계속해서 덧붙였습니다. Alif는 Arm의 Cortex 설계를 혁신적인 방식으로 활용하고 있지만 사용자가 직면하는 실제 질문은 Alif의 칩에 기계 학습 모델을 배포하는 방법입니다.

"특히 기존 프로그래밍 배경에 더 가까운 개발자의 경우 이러한 격차를 기계 학습의 세계로 연결하는 것이 매우 중요합니다. 그러면 Neuton 같은 사람이 들어와서 "그게 우리가 맞는 곳이야"라고 말하는 사람이 있습니다. 만족하는 고객이 있고, 만족하는 파트너가 있다면, 그것이 우리가 성공을 측정하는 방법입니다."

Arm은 Alif의 자연스러운 파트너였습니다. Flodell은 뛰어난 IP를 보유하고 생태계 활성화에 중점을 두고 있기 때문에 이에 동의했습니다. 사람들은 이러한 장치를 손에 넣자마자 바로 생산성을 발휘할 수 있게 될 것입니다. 그들을". 플로델이 말했다.

Alif 제품군의 전력 특성에 특별한 주의가 기울여졌습니다. Flodell은 Crescendo 라인과 같은 통합 연결 기능을 갖춘 칩은 당연히 Ensemble과 같은 칩에 비해 전력 요구 사항이 더 높을 것이라고 설명했습니다.

그것은 모두 네트워크에 참여하기 위해 얼마나 많은 전력을 소비하는지에 달려 있으며, 이것이 Alif가 최적화에 중점을 둔 부분입니다. 그런 점에서 그는 Alif의 벤치마크에서 Crescendo가 유사한 특성을 가진 칩보다 2~3배 더 절약적인 것으로 나타났으며 이는 단순히 애플리케이션이 더 오랫동안 실행될 수 있음을 의미한다고 덧붙였습니다.

제한된 환경을 위한 임베디드 컨트롤러를 구축하는 Alif

엣지에 배포된 애플리케이션의 경우 배터리 소모가 실제로 화폐라고 Newman은 결론지었습니다. Neuton의 접근 방식은 "처음부터 뉴런별로 [모델]을 구축하는 것입니다. 모델을 한 번만 구축하면 정확성이 저하되지 않고 매우 컴팩트하게 나옵니다."

Neuton은 파트너십 게임에 비교적 새로운 것입니다. 그러나 Newman은 Arm과의 파트너십이 기계 학습의 민주화라는 Neuton의 목표를 위한 전략적 파트너십임을 확인했습니다. Lewer와 Arm에게 있어 파트너십은 앞으로 계속 발전할 전략의 핵심 부분입니다. Arm에는 많은 파트너가 있지만 숫자가 전부는 아니라고 Lewer는 말했습니다.

"이러한 파트너십을 효과적으로 만드는 것이 중요하며 이는 참여를 의미합니다. 우리는 공통 기반을 찾을 수 있도록 각 파트너가 어디로 가고 있는지 이해하려고 노력하는 데 상당한 시간을 소비합니다."

엣지에서의 머신러닝에 관해 이야기할 때 리소스가 제한된 환경에서 작업할 수 있는 것이 핵심이라고 Flodell은 지적했습니다. AI의 혈통은 데이터 센터와 연결되어 있지만 이는 데이터 센터에 따라 달라져야 합니다. 엣지의 실제 AI 애플리케이션:

"마이크로 컨트롤러로 구성된 것을 축소하고 실행하려는 경우 때로는 메모리가 1MB도 안 되는 경우 그 자체가 어려운 일이 됩니다.

게다가 AI는 임베디드 시스템 디자이너가 겪는 전통적인 개발과 어떤 면에서는 매우 다릅니다. 올바른 결과를 생성하기 위해 모델을 조정하는 방법을 이해하는 것은 여전히 ​​데이터 과학자의 영역입니다.

Arm의 파트너십 활동을 활용하여 Neuton과 같은 회사와 연결할 수 있으면 이러한 격차를 해소할 수 있어야 합니다. 데이터 과학자와 임베디드 개발자의 전문 지식이 합쳐져 모델과 기술이 제한된 상황에 맞게 만들어집니다. 체계.

그것은 정말 어려운 일입니다. 이를 극복할 수 있다면 이 기술을 채택할 수 있는 수문이 열릴 것입니다."