한 번에 하나의 DeciNet씩 선택한 하드웨어에 딥 러닝을 적용

딥러닝은 아마도 현재 가장 인기 있는 머신러닝 형태일 것입니다. 모든 문제가 딥러닝 모델로 귀결되는 것은 아니지만, 컴퓨터 비전 및 자연어 처리와 같은 영역에서는 딥러닝이 널리 퍼져 있습니다.

그러나 딥 러닝 모델의 주요 문제는 리소스가 부족하다는 것입니다. 훈련하려면 많은 데이터와 컴퓨팅이 필요하고 작동하려면 많은 컴퓨팅이 필요합니다. 원칙적으로, GPU는 CPU보다 성능이 더 좋은 것으로 알려져 있습니다. 훈련과 추론 모두에 사용되지만 일부 모델은 CPU에서 전혀 실행될 수 없습니다. 이제 Deci는 그것을 바꾸고 싶어합니다.

데시딥러닝 모델 최적화를 목표로 하는 회사가 이미지 분류를 위한 새로운 모델 제품군을 출시합니다. 이러한 모델은 정확도와 런타임 모두에서 잘 알려진 대안보다 성능이 뛰어나며 인기 있는 Intel Cascade Lake CPU에서 실행될 수 있습니다.

우리는 Deci CEO이자 공동 창업자인 Yonatan Geifman을 만나 Deci의 접근 방식과 오늘의 출시에 대해 논의했습니다.

딥 러닝 성능에는 절충이 수반됩니다

Deci는 2019년 Geifman, Jonathan Elial, Ran El-Yaniv가 공동 창립했습니다. 모든 창립자는 기계 학습에 대한 배경 지식을 갖고 있으며 Geifman과 El-Yaniv도 Google에서 근무했습니다. 그들은 딥러닝을 프로덕션에 도입하는 것이 얼마나 어려운지 직접 경험할 기회를 가졌습니다.

Deci 창립자들은 딥 러닝 모델의 확장성을 높이면 생산 환경에서 모델을 더 효과적으로 실행하는 데 도움이 된다는 것을 깨달았습니다. 그들은 또한 하드웨어 회사들이 더 나은 제품을 구축하려고 노력하는 것을 보았습니다. 대규모로 추론을 실행하는 AI 칩.

Deci와 함께 결정한 것은 딥 러닝의 확장성과 효율성을 높여 생산 환경에서 더 잘 실행할 수 있도록 모델 설계 영역에 집중하는 것이었습니다. 이들은 구조와 생산 시 기본 하드웨어와 상호 작용하는 방식에서 보다 효율적인 모델을 설계하기 위해 자동화된 접근 방식을 사용하고 있습니다.

Deci의 독점적인 AutoNAC(Automated Neural Architecture Construction) 기술은 소위 말하는 개발에 사용됩니다. 데시넷. DeciNet은 Deci가 주장하는 사전 훈련된 모델로 정확도와 런타임 성능 측면에서 알려진 최첨단 모델보다 성능이 뛰어납니다.

딥 러닝에서 더 나은 정확도를 얻으려면 더 큰 모델을 선택하고 조금 더 많은 데이터로 조금 더 많은 시간 동안 훈련하면 더 나은 결과를 얻을 수 있다고 Geifman은 말했습니다. 그러나 이렇게 하면 더 큰 모델이 생성되므로 프로덕션에서 실행하는 데 더 리소스 집약적입니다. Deci가 약속하는 것은 생산 시 정확하고 빠른 모델을 구축할 수 있는 플랫폼과 도구를 제공함으로써 최적화 문제를 해결하는 것입니다.

이러한 최적화 문제를 해결하려면 기존 신경 아키텍처를 수동으로 조정하는 것 이상이 필요하며 AutoNAC는 특수한 사용 사례를 위한 특수 모델을 설계할 수 있다고 Geifman은 말했습니다. 이는 현재 진행 중인 데이터와 기계 학습 작업을 인식하는 동시에 모델이 배포될 하드웨어도 인식하고 있음을 의미합니다.

오늘 발표된 DeciNets는 이미지 분류에 적합합니다. 인텔 캐스케이드 레이크 CPU, Geifman이 지적했듯이 이는 많은 클라우드 인스턴스에서 널리 사용되는 선택입니다. Deci는 Geifman이 제3자가 복제할 수 있도록 출시될 일부 벤치마크를 기반으로 이러한 모델을 "업계 최고"라고 불렀습니다.

컴퓨터 비전에는 이미지 분류, 객체 감지, 의미론적 분할이라는 세 가지 주요 작업이 있습니다. Geifman은 Deci가 각 작업에 대해 여러 유형의 DeciNet을 생산한다고 말했습니다. 각 DeciNet은 정확도와 대기 시간 간의 균형으로 정의되는 다양한 수준의 성능을 목표로 합니다.

Deci가 발표한 결과에는 다양한 수준의 복잡성(예: 매개변수)은 Google의 EfficientNet과 같은 다른 이미지 분류 모델의 변형과 비교됩니다. 그리고 업계 표준 ResNet.

Geifman에 따르면 Deci는 고객이 완전 셀프 서비스 환경에서 사용할 수 있도록 사전 최적화된 수십 가지 모델을 보유하고 있습니다. 다양한 컴퓨터 비전 작업부터 배포할 모든 유형의 하드웨어에 대한 NLP 작업까지 제공됩니다. 생산.

딥러닝 추론 스택

그러나 여기에는 문제가 있습니다. DeciNet은 사전 훈련되었으므로 고객의 특정 사용 사례 및 데이터에 필요한 대로 작동하지 않을 수도 있습니다. 따라서 사용 사례 요구 사항에 대해 최적의 정확도/지연 시간 균형을 갖춘 DeciNet을 선택한 후 사용자는 데이터에 맞게 미세 조정해야 합니다.

그 후, 훈련된 모델이 API 또는 GUI를 통해 Deci의 플랫폼으로 컴파일되고 양자화되는 최적화 단계가 이어집니다. 마지막으로 모델은 Deci의 배포 도구인 Infery & RTiC를 활용하여 배포될 수 있습니다. Geifman은 이러한 엔드투엔드 서비스가 Deci의 차별화 요소라고 말했습니다. 특히 기존 모델을 DeciNets로 포팅할 수도 있습니다.

엔드투엔드 라이프사이클을 고려할 때 경제성과 절충안이 중요한 역할을 합니다. Deci가 제공하는 기본 생각은 교육 모델이 비용이 많이 들기는 하지만 실제로 프로덕션에서 모델을 운영하는 것보다 비용이 덜 든다는 것입니다. 따라서 기존 모델에 필적하는 정확도와 지연 시간을 가지면서 운영 비용이 적게 드는 모델을 생산하는 데 집중하는 것이 합리적입니다.

배포 하드웨어를 대상으로 할 때도 동일한 실용적인 접근 방식이 사용됩니다. 경우에 따라 대기 시간 최소화가 주요 목표인 경우 가능한 가장 빠른 하드웨어가 선택됩니다. 다른 경우에는 운영 비용을 줄이는 대가로 최적의 대기 시간보다 짧은 지연 시간을 얻는 것이 합리적일 수 있습니다.

을 위한 엣지 배포, 선택의 여지가 없을 수도 있습니다. 즉, 하드웨어는 그대로이고 배포할 모델은 주어진 제약 조건 하에서 작동할 수 있어야 합니다. Deci는 다양한 클라우드 인스턴스 및 하드웨어 유형에 대한 대기 시간, 처리량 및 비용을 비교하는 데 사용할 수 있는 권장 사항 및 벤치마킹 도구를 제공하여 사용자가 선택하도록 돕습니다.

Deci는 Intel과 파트너십을 맺고 있습니다. 오늘의 출시는 Intel과의 협력으로 이루어지지 않았지만 양측 모두가 얻을 수 있는 이점은 분명합니다. Intel은 Deci와의 협력을 통해 CPU에 배포할 수 있는 딥 러닝 모델의 범위를 확장합니다. Intel과 협력함으로써 Deci는 시장 진출 범위를 확대합니다.

그러나 Geifman이 지적했듯이 Deci는 다음을 포함한 광범위한 하드웨어를 대상으로 합니다. GPU, FPGA 및 특수 목적 ASIC 가속기, HPE 및 AWS와도 파트너십을 맺고 있습니다. Deci는 또한 기계 학습을 위한 데이터 센터 및 서비스를 판매하는 다양한 유형의 하드웨어 제조업체, 클라우드 제공업체 및 OEM과 파트너십을 맺고 있습니다.

Deci의 접근 방식은 다음과 같습니다. TinyML, 더 광범위한 배포 대상 집합을 대상으로 한다는 점을 제외하면. 이 주제를 논의할 때 Geifman은 기계 학습 추론 가속화 스택을 언급했습니다. 이 개념에 따르면 가속은 스택의 여러 레이어에서 발생할 수 있습니다.

모델을 배포할 위치를 선택하면 하드웨어 계층에서 발생할 수 있습니다. 이는 Nvidia의 Tensor RT 또는 Intel의 OpenVino와 같은 하드웨어 제조업체가 제공하는 솔루션을 볼 수 있는 런타임/그래프 컴파일러 계층에서 발생할 수 있습니다. 우리는 또한 Microsoft가 지원하는 ONNX 오픈 소스와 다음과 같은 상용 솔루션을 보유하고 있습니다. OctoML이 상용화 중인 Apache TVM.

게다가 Geifman이 지적한 풀링 및 양자화와 같은 모델 압축 기술도 있습니다. 다양한 오픈 소스 솔루션에서 널리 활용되고 있으며 일부 공급업체에서는 다음 작업을 수행하고 있습니다. 상용화. Geifman은 Deci가 그보다 높은 수준, 즉 신경 아키텍처 검색 수준에서 작업하여 데이터 과학자가 정확성을 유지하면서 더 나은 대기 시간을 얻을 수 있도록 모델을 설계하는 데 도움을 주는 것으로 프레임했습니다.

Deci의 플랫폼은 성능을 향상하고 작업 시간을 단축하려는 개발자를 대상으로 커뮤니티 계층을 제공합니다. 개발 시간은 물론, Professional 및 Enterprise 계층에 사용을 포함한 더 많은 옵션 제공 데시넷. 이 회사는 두 번의 자금 조달 라운드를 통해 총 3천만 달러를 모금했으며 직원은 40명이며 대부분 이스라엘에 거주하고 있습니다. Geifman에 따르면 가까운 시일 내에 NLP 애플리케이션에 초점을 맞춘 더 많은 DeciNet이 출시될 예정입니다.