30년 전 Yann LeCun은 CNN(컨볼루션 신경망)이라는 AI 기술을 개척했습니다. 그들은 놀라운 지속력을 가지고 있습니다. 현재 Facebook의 AI 연구 책임자인 LeCun은 CNN이 점점 더 많은 애플리케이션에 잡초처럼 퍼지면서 이 접근 방식의 지속적인 매력을 반성했습니다.
30년 전 Yann LeCun은 토론토 대학에 재학 중일 때 CNN(Convolutional Neural Network)이라고 불리는 특정 형태의 기계 학습 사용을 개척했습니다. 이미지의 패턴을 감지하기 위해 일련의 픽셀 위로 필터를 이동하는 이러한 접근 방식은 다음과 같은 가능성을 보여주었습니다. 최소한의 인력으로 컴퓨터가 손으로 쓴 숫자를 인식하도록 하는 것과 같은 문제 해결 안내.
페이스북 AI 연구 리더 얀 르쿤.
몇 년 후, 당시 NYU에 있던 LeCun은 긴 겨울을 보낸 후 기계 학습을 다시 각광 받기 위해 자신이 표현한 대로 "음모"를 시작했습니다. 그 핵심은 LeCun의 CNN이었습니다. 이 CNN은 컴퓨터 비전 분야에서 현장을 놀라게 하는 결과를 만들어낼 수 있을 정도로 계속해서 정교하게 발전해 왔습니다.
몬트리올 MILA 기계 그룹의 Yoshua Bengio와 같은 동료들의 혁신과 함께 CNN을 통한 새로운 혁신 learning과 Google Brain의 Geoffrey Hinton은 딥러닝 형태로 AI 연구의 새로운 봄을 만드는 데 성공했습니다. 학습.
오늘날 컨볼루션의 매력은 식을 기미를 보이지 않습니다. 이 기술은 기계 학습의 모든 구석구석에 잡초처럼 퍼지기 때문입니다. 최근 연구에 따르면 사용 중인 신경망 모델 중 CNN이 널리 사용되는 것으로 나타났습니다. 11월에 발표된 Microsoft의 연구Android 모바일 기기에서 실행되는 심층 네트워크의 종류를 살펴본 는 모바일 앱에서 복구된 네트워크의 거의 90%가 일종의 CNN이라는 사실을 발견했습니다.
에서 이번 주 샌프란시스코에서 열리는 국제 고체 회로 컨퍼런스, LeCun은 이 간단한 기술이 왜 성공했는지, 그리고 왜 그 영향력이 계속 커질 것인지에 대해 성찰했습니다.
또한: Facebook의 Yann LeCun은 AI 칩에서 '내부 활동'이 진행된다고 말합니다.
LeCun은 월요일 기조 연설 후 ZDNet과의 인터뷰에서 "시스템이 처리해야 하는 많은 신호는 어레이 센서에서 나오는 자연스러운 신호입니다."라고 말했습니다.
"파노라마 카메라 등을 포함하여 카메라에서 나오는 모든 것. 원시 오디오 형식 또는 시간-주파수 표현 형식의 오디오." 비디오에도 필요합니다. 특히 깊이 센서의 3D 이미징을 포함하여 컨볼루션을 통해 처리된다고 LeCun은 말했습니다. 라이더.
실제로 이번 주 쇼에서 다양한 칩 시연 중 상당수는 익숙한 "분할 맵"을 선보였습니다. 자동차의 도로 모습이든 차 안의 사람들의 모습이든 카메라를 통해 보이는 사물을 컴퓨터 화면에 표시하는 이미지 방. 각 개체는 사람, 개, 가로등 등 사물의 유형을 나타내는 레이블이 있는 색상 윤곽선으로 강조 표시됩니다. 컨볼루션은 현 시대의 시대정신이며, 어떤 의미에서는 주변 세계를 이해하는 AI 능력을 가장 명확하게 표현합니다.
"따라서 이 모든 것에 대해 대부분의 사이클은 낮은 수준의 신호를 처리하는 데 소비될 것입니다."라고 LeCun은 말했습니다. 컴퓨팅 주기는 이미지나 비디오의 수십억 픽셀 중 각 픽셀이 무엇인지 알아내는 데 소비됩니다. 표시. "그리고 컨볼루션 외에 무엇을 사용할 건가요? 지금으로서는 대안이 없습니다. 따라서 대부분의 사이클은 컨볼루션을 수행하는 데 사용될 것입니다. 의심할 여지가 없습니다."
또한: 새로운 속임수에 속은 구글의 이미지 인식 AI
1989년 LeCun이 개발한 이미지 인식 신경망은 오늘날의 컨볼루션 신경망의 전신입니다.
컨퍼런스에는 더 나은 컨볼루션 처리를 위한 많은 칩 혁신이 있었습니다. 예를 들어, 미시간 대학의 연구원들은 다음과 같은 자동차 애플리케이션용 디자인을 선보였습니다. 대신 자동차에 탑재된 여러 비디오 프레임을 분석하여 LIDAR의 일부 기능을 대체할 수 있습니다. 카메라. 연구원들은 더 적은 전력을 소비하면서 빠른 속도로 네트워크 모델을 실행하는 CNN 전용 칩을 개발하는 방법에 획기적인 발전을 이루었다고 말했습니다.
CNN이 이미지 인식을 넘어서는 애플리케이션으로 확산되면서 몇 가지 심각한 기술적 과제가 있다고 LeCun은 말했습니다. LIDAR와 같은 깊이 센서를 사용하는 3D 이미징의 경우 데이터가 "포인트 클라우드" 형태로 제공된다고 LeCun은 말했습니다. "신경망이 처리해야 하는 대부분의 3D 도메인은 비어 있을 것입니다. 활성화."
원하지 않는 것은 대부분 비어 있는 벡터나 행렬의 0을 곱하는 작업에 많은 시간을 낭비하는 컨볼루션입니다. "따라서 데이터가 어디에 있는지 알고 싶고 이를 따르는 방법에 대해 현명하게 대처해야 합니다"라고 LeCun은 말했습니다. 그는 GPU에서 실행되는 "희소 컨브넷"을 사용하여 Facebook에서 이 문제에 대한 작업이 있었다고 언급했습니다. 그러나 하드웨어에서는 "더 낮은 수준의 지원이 필요할 수 있습니다"라고 LeCun은 말했습니다.
하드웨어 혁신가들이 일해야 하는 곳이 바로 여기라고 그는 제안했다.
화요일 삼성 연구진은 희박한 입력 샘플에서 0 처리를 방지하기 위해 입력을 정확하게 "프루닝"할 수 있는 모바일 시스템 온 칩 설계를 발표했습니다. 르쿤은 강연을 들은 후 삼성 제품의 몇 가지 사양을 트위터에 올리며 찬성 의사를 표명했습니다.
"오늘 아침 ISSCC에서 가장 자주 언급된 단어는 컨볼루션입니다." 트윗했다 CNN의 대부.