Keras 발명가 Chollet이 AI의 새로운 방향을 제시합니다: Q&A

Google 인공 지능 부서의 과학자인 François Chollet은 기계 학습 분야의 차세대 선구자 중 한 명입니다. 2015년에 그는 딥 러닝 네트워크 구현을 위해 큰 인기를 얻은 애플리케이션 프로그래밍 인터페이스인 애플리케이션 프로그래밍 인터페이스를 전 세계에 소개했습니다. 케라스. Google의 TensorFlow 프레임워크에 대한 인터페이스로 가장 일반적으로 사용됩니다. 이는 다양한 종류의 신경망을 조립하는 문제를 크게 단순화합니다.

이러한 방식으로 Chollet은 딥 러닝의 개발 및 테스트를 발전시키는 데 매우 구체적인 방식으로 도움을 주었습니다. 그렇다면 현재 Chollet의 초점 중 하나가 단순히 벤치마크에서 더 나은 결과를 얻는 것 이상으로 인공 지능을 발전시키는 방법에 대한 매우 큰 그림이라는 것이 놀랍게 보일 수 있습니다.

Cchollet은 현재 AI의 위치에 완전히 만족하지 않습니다. "자금이 넉넉한 대규모 경사 하강 프로젝트가 과대 광고를 생성하는 방법으로 수행됩니다. 인간 수준의 AI가 아마도 몇 년 뒤에 나올 것이라고 오해하게 하는 기사”라고 Chollet은 통신문에서 썼습니다. ~와 함께 ZDNet 이메일로. "많은 사람들이 이 환상에 많은 것을 걸었습니다. 하지만 아직은 환상이다."

ZDNet Chollet은 3주 전 딥 러닝의 강점과 약점에 대한 놀라운 비판을 담은 논문을 발표한 후 그에게 연락했습니다. 라는 제목의 논문은,

지능의 척도에 대하여는 지능에 대한 새로운 정의와 과학자들이 "추상 및 추론 코퍼스(ARC)"라고 하는 시스템을 개발하는 데 도움이 되는 자료를 제안합니다. ARC는 지능형 시스템에 대한 과제 모음이자 새로운 벤치마크입니다. 아이디어는 AI를 "더 지능적이고 인간과 유사한 인공 시스템"으로 유도하는 것입니다.

Chollet은 좁은 기술 테스트의 점진적인 개선에 대한 집착을 오늘날 딥 러닝의 주요 한계 중 하나로 식별합니다.

테스트 훈련 대신 ARC는 기술 습득에 얼마나 효율적인지를 기반으로 시스템을 평가하게 됩니다. 그는 ARC에 대한 해결책은 객체 영속성과 같은 세계에 대한 광범위한 정보인 "핵심 지식"을 개발했지만 사람들이 알고 있는 것과는 다른 시스템이 될 것이라고 가정합니다. 무심코 "상식"이라고 부르세요. 목표는 더 큰 "일반화"가 될 것입니다. 즉, 시스템이 해결 가능하도록 설계된 숨겨진 작업을 성공적으로 수행할 수 있는 능력을 의미합니다. 사전.

ARC 코드는 GitHub에 게시되어 있습니다.

이 모든 것은 "매우 추측적"이라고 Chollet은 신문에 적고 있으며 현재 "우리가 최선을 다해" 지식이 없기 때문에 ARC는 기존 기계 학습 기술로는 접근할 수 없는 것 같습니다."라고 그는 말했습니다. 쓴다.

ZDNet Chollet에게 그 노력에 대해 몇 가지 질문을 했고, 그는 서면으로 답변했습니다. 질문과 답변 전체가 아래에 인쇄되어 있습니다.

서면 답변에서 Chollet은 ARC를 "마음을 이해"하려는 노력의 15년의 산물이라고 설명합니다. 그는 최근에 다음과 같이 썼습니다. 그가 AI 분야에서 들었던 선언의 "편협함"과 강화 학습 및 강화 학습에 대한 최근 연구에서 그가 관찰한 비역사성 그런.

또한: 높은 에너지: 페이스북의 AI 전문가 LeCun이 상상하는 AI의 차세대 개척지 

그러한 시스템은 놀라운 발전을 이루었고 가치가 있지만 "최종"은 아니라고 그는 썼습니다. 그는 딥러닝이 과거 데이터를 찾아 보간을 수행한다고 관찰합니다. "그러나 제가 논문에서 공식적으로 정의한 지능은 단순한 보간보다는 외삽을 특징으로 해야 합니다."

그는 Chollet의 목표는 "연구자들이 현재 묻고 있지 않은 질문을 살펴보고 일반적으로 추구하지 않는 아이디어를 시도하도록 유도하는 것"이라고 썼습니다.

Chollet은 자신이 ARC 솔루션에 대해 어느 정도 진전을 이루었다고 기록했으며 다른 사람들도 그러할 것이라는 희망을 표명했습니다. 그것은 지금까지 그를 "흥미롭고 매우 독특한 연구 방향"으로 이끌었습니다.

ZDNet:ARC를 구축하고 논문을 작성하게 된 생각의 기차에 어떻게 오게 되었는지 간략하게 설명해주세요. 지금까지 당신의 지적 경로는 무엇이었으나 그 질문이 당신에게 이해가 됩니까?

프랑수아 숄레: 이 논문은 내가 수년 동안 강연, 블로그 포스트, 트위터, 개인적인 대화에서 말해온 것들을 기록하고 형식화하려는 시도입니다. 내 말은 그것이 단순히 일련의 의견이 아니라 다른 사람들에게 실행 가능하고 유용하다는 것을 의미합니다. 일반화와 지능에 대한 특정 아이디어와 타인에 대한 구체적인 도전을 엄격하게 표현합니다. 맡다.

나는 지난 15년 동안 오랫동안(넓은 의미에서) 마음을 주요 관심 분야로 "이해"하려고 노력해 왔습니다. 처음에는 신경 심리학과 발달 심리학의 관점에서 접근했습니다. 그런 다음 AI, 특히 제가 대학에서 인식한 AI 하위 분야인 "인지 발달 로봇 공학"으로 옮겼습니다. 학생 - 인간의 인지 발달에 대한 계산 모델을 구축하며, 때로는 물리적으로 로봇으로 구현되거나 적어도 시뮬레이션. 2009년에 나는 ONEIROS(Open-ended)라고 부르는 상당히 야심찬 일반 AI 아키텍처 작업을 시작했습니다. 신경 전자 지능형 로봇 운영 체제), 제가 몇 년 동안 작업한 후 점차적으로 발전해 나갔습니다. 다른 것들에. 저는 이제 해당 프로젝트의 몇 가지 아이디어를 ARC 솔버 구축의 기초로 사용하고 있습니다. 당시에는 일반 AI 연구가 별로 인기가 없었기 때문에 어느 순간 시장성 있는 기술을 습득하고 취업을 해야 했습니다. 그것은 산만한 일이었지만 나는 그것에 대해 생각하는 것을 결코 멈춘 적이 없습니다.

제가 이러한 아이디어를 기록하게 된 계기가 된 것은 일반 AI와 강화 학습에 대한 새로운 관심이었습니다. 지난 몇 년간 제가 들어본 대대적인 발표에서 제가 인식한 것은 편협함과 비역사성입니다. 그것. 이 문서의 대부분은 토론에 꼭 필요한 맥락과 기초를 제공하고 역사적 관점에서 사물을 구성하는 것에 관한 것입니다. 포괄적인 답변을 찾기 전에 올바른 질문이 무엇인지, 이러한 질문이 어디에서 나오는지 알아야 합니다.

ZDNet:국제 연구자 커뮤니티가 ARC를 어떻게 받기를 바라시나요? 특히 AI 대회 개최에 대한 언급을 고려할 때 귀하의 목표는 무엇입니까? "가설적인 ARC 솔버"가 즉각적인 목표입니까?

FC: 목표는 연구자들이 현재 묻고 있지 않은 질문을 살펴보고 일반적으로 추구하지 않는 아이디어를 시도하도록 유도하는 것입니다. 사람들이 ARC를 보고 이러한 문제를 해결하려면 무엇이 필요한지 묻기를 바랍니다. ARC에 대한 기존 기술의 성능은 기본적으로 0인 반면, 인간은 사전 교육이나 훈련 없이도 해결할 수 있습니다. 설명을 하자면, 여기에 무슨 일이 일어나고 있고 우리에게 새로운 것이 필요하다는 것을 알려주는 커다란 빨간색 네온 사인이 있습니다. 아이디어. ARC는 발전의 벤치마크이자 영감의 원천이 되어야 합니다.

개인적으로 ARC는 이미 저를 흥미롭고 독특한 연구 방향으로 이끌었고, 오랫동안 가지고 놀았던 오래된 아이디어를 재사용하여 문제 해결을 시작하는 데 상당한 진전을 이루었습니다. 시간. 나는 이것이 곧 다른 사람들에게도 사실이 되기를 바랍니다. ARC를 완전히 해결하는 것은 당장은 불가능하겠지만, AI 과제로서의 ARC는 당장 의미 있는 진전을 이룰 수 있는 개념적 난이도 수준이다. 그것이 목표 중 하나였습니다. ARC에 접근하는 것이 불가능하다면 ARC는 의미가 없을 것입니다. 이상적인 도전은 우리의 성과가 0에서 시작하는 것입니다. 이는 흥미를 유발하고 필요성을 강조합니다. 신선한 아이디어를 위해(그러나 매우 빠르게 0이 아닌 상태가 됨) 이는 상당한 개념적 아이디어를 촉발하고 있다는 신호입니다. 진전.

또한: 미래학자 팀 오라일리(Tim O'Reilly)는 AI보다 더 큰 인간-컴퓨터 공생을 본다

ZDNet:ARC가 건설적인 효과를 발휘하는지 언제 알 수 있나요? 즉, 단기 및 중기적으로 예상하거나 기대하는 연구 커뮤니티에 미치는 영향을 측정할 수 있습니까?

FC: 처음에는 얼마나 많은 관심을 불러일으킬지 모르겠습니다. 그러나 나는 합리적으로 희망적입니다. 나는 인용과 같은 학술적 영향력 토큰에 별로 관심이 없기 때문에 개인적인 성공 척도는 ARC가 해결되는 속도가 될 것입니다. 몇 년 안에 해결된다면 아마도 결함이 있었고 충분히 어렵지 않았을 것입니다. 10년 후에도 우리의 성과가 여전히 0에 가깝다면 ARC는 유효한 도전이었을 것이지만 많은 발전에 도움이 되지는 않았습니다. 몇 년에 걸쳐 의미 있는 진전이 꾸준하게 이루어지면 성공했을 것입니다. 물론, 이러한 발전을 이끈 아이디어와 기술이 실제로 일반화된다면, 즉 결국 실제 시스템에서 유용한 응용 프로그램을 찾는다면 말이죠. 실질적으로 성공의 척도는 AI 연구자나 일반 대중의 관심을 얼마나 끄는지가 아니라 세상에 미치는 궁극적인 영향입니다.

ZDNet:AphaZero 및 AlphaStar에 대한 DeepMind의 작업부터 Transformer의 다양한 적용(예: BERT, GPT2, XLNet, 등), 특히 ARC를 해결할 수 있는 기존 딥 러닝 시스템이 없다는 52페이지의 의견과 기존 게임이나 새로운 게임을 "적응"할 수 있는 가능성에 대한 55페이지의 의견을 고려하면 더욱 그렇습니다. 테스트? 이러한 딥러닝 시스템이 가치가 있나요? 그들이 잘못 알고 있는 걸까요? 다른 방식으로 사용해야 할 자원을 낭비하고 있습니까?

FC: 제가 이런 말을 많이 하지만 딥러닝은 엄청나게 가치가 있습니다. 딥러닝이 하는 일은 기하학적 모핑을 통해 입력 공간 X를 대상 공간 Y로 매핑하는 것입니다. 사람이 주석을 추가한 대량의 데이터(또는 자동으로 생성된 주석이 포함된 데이터)를 사용합니다. 따라서 딥러닝은 패턴 인식, 데이터 매니폴드의 조밀한 샘플링을 통한 입력-출력 매핑입니다. 하지만 패턴 인식에는 매우 좋습니다.

이것을 잘한다는 것은 거의 모든 산업 분야에서 판도를 바꾸는 것입니다. 이를 기존의 인간 추상화를 인코딩하고 조작하는 방법, 즉 방대한 수의 사례를 수집할 수 있는 위치에 있을 때 알려진 문제에 대한 알려진 솔루션을 자동화하는 방법으로 이해할 수 있습니다. 이는 완전히 새로운 자동화 세계로의 문을 열어줍니다. 그래서 분명히 말씀드리자면, 저는 이런 종류의 일을 잘한다는 것의 심오한 의미를 경시하려는 것이 아닙니다. 저는 평생 동안 딥 러닝에 전념해 왔습니다. 저는 이것이 불과 몇 년 전만 해도 해결이 불가능하다고 생각했던 수많은 문제를 해결하는 데 이어지는 것을 보았습니다. 항상 똑같은 기본 레시피를 사용하세요.

그러나 기존 딥러닝 기술이 AI의 궁극적인 특징을 대표한다고 믿는 것은 실수입니다. 구축, 학습을 통해 딥러닝이 하는 일은 과거 데이터를 찾아 보간을 수행하는 것입니다. 이는 로컬 일반화를 구현할 수 있습니다. 기껏해야 훈련받은 작업을 강력하게 수행할 수 있는 시스템입니다. 이전에 본 것을 이해하고 제작자가 계획한 불확실성을 처리할 수 있습니다. 을 위한. 하지만 제가 논문에서 공식적으로 정의한 지능은 단순한 보간보다는 외삽을 특징으로 해야 합니다. 이전에 알려지지 않은 분야에서 알려지지 않은 요소에 적응하려면 광범위하거나 극단적인 일반화를 구현해야 합니다. 작업. 지능은 곡선에 적합하지 않습니다.

이는 딥 러닝이 근본적으로 적합하지 않은 부분이며, 지난 몇 년간의 실제 결과는 이러한 견해에 대한 확실한 경험적 확인을 제공합니다. 딥 러닝 모델은 취약하고 극도로 데이터를 많이 사용하며 교육 데이터 배포 이상으로 일반화하지 않습니다. 이는 그들이 무엇인지, 그리고 우리가 그들을 훈련시키는 방법에 따른 피할 수 없는 결과입니다. 그들은 우리가 명시적으로 인코딩하도록 훈련한 추상화를 기껏해야 인코딩할 수 있지만 자율적으로 새로운 추상화를 생성할 수는 없습니다. 그들은 단지 그것을 위한 기계를 가지고 있지 않습니다. 그것은 바퀴만 충분히 빠르게 회전하면 자동차가 날기 시작할 것이라고 기대하는 것과 같습니다. 자동차는 매우 유용할 수 있지만, 자동차가 어디든 갈 수 있고 우리에게 필요한 유일한 차량이라고 생각한다면 착각입니다.

제 생각에는 인기 있는 비디오 게임을 초인적인 수준으로 플레이하는 일회용, 특수 목적, 수백만 달러 규모의 AI 시스템을 구축하는 것이 자원 낭비라는 것은 절대적으로 사실입니다. 그것은 특수 효과입니다. 과학 연구의 목적은 열린 질문에 답하고, 새로운 기술을 생산하는 것, 즉 현실 세계와 관련된 새로운 지식, 일반화하는 지식을 생성하는 것이어야 합니다. 연구의 목적은 대중에게 깊은 인상을 주기 위해 화려한 헤드라인을 생성하는 것이어서는 안 됩니다. 제 생각에는 이것은 우리에게 아무것도 가르쳐주지 않으며 새로운 문제를 해결하는 데 사용할 수 있는 재사용 가능한 인공물을 생산하지 않는 수백만 달러의 노력입니다. 우리의 지식 상태는 프로젝트가 시작될 때와 프로젝트 완료 시 동일합니다.

나는 이것이 많은 자금 지원을 받는 대규모 경사 하강 프로젝트가 진행되는 현재 환경에서 말하는 것이 매우 이단적인 일이라는 것을 알고 있습니다. 인간 수준의 AI가 아마도 몇 년 정도 걸릴 것이라는 오해를 불러일으키는 과장된 언론 기사를 생성하는 방법으로 수행됩니다. 떨어져 있는. 많은 사람들이 이 환상에 많은 것을 걸었습니다. 그러나 그것은 여전히 ​​환상이다.

ZDNet:이 문서의 "사전"에 대한 논의와 딥 러닝의 사전에 대한 논의를 어떻게 조화시켜야 할까요? 예를 들어 컨볼루션이 컨볼루션 신경의 기본이 되는 일종의 "광범위한 사전"이라는 개념과 같은 것입니다. 네트워크? 예를 들어 Yann LeCun과 Yoshua Bengio의 글에 설명된 사전 개념과 당신의 사전 개념이 인접/호환됩니까? (참조, Lecun, Bengio, 2007, "AI를 향한 학습 알고리즘 확장", 페이지 5, "단순한 사전 가정은 거부되어야 합니다. 일부 배선은 다른 배선보다 지정하기가 더 간단해야 합니다(또는 가능성이 높아야 합니다). 엄청나게 운이 좋은 우연처럼 보이는데, 특히 좋은("올바른" 것은 아니지만) 배선 패턴은 토폴로지를 보존하는 패턴입니다.")

FC: 나는 실제로 이전의 지식과 똑같은 종류의 지식에 대해 이야기하고 있습니다. 딥러닝의 컨볼루션은 시각적 데이터를 인코딩하는 변수의 2D 그리드가 있는 경우 먼저 공간적으로 가까운 변수라는 이중 가정을 나타냅니다. 공간적으로 먼 변수보다 상관될 가능성이 더 높으며, 둘째, 공간 상관 패턴은 위치와 독립적입니다(번역 불변). 이러한 가정은 실제로 Spelke의 핵심 지식 이론에 앞서 객체성의 하위 집합입니다.

일반적으로 딥러닝의 배선 토폴로지는 입력-교차 출력 공간의 상관 관계 구조, 즉 정보 공간의 모양에 대한 가정을 인코딩합니다. 좋은 토폴로지는 검색 공간의 크기를 획기적으로 줄일 수 있으며 경사 하강법을 통해 좋은 입력-출력 매핑을 찾는 타당성을 향상시킬 수 있습니다(딥 러닝의 큰 문제). 검색 공간에 문제를 해결할 수 있는 구성이 포함되어 있는지 여부가 아니라 이러한 구성이 경사하강법과 보유한 데이터를 사용하여 학습할 수 있는지 여부가 중요합니다. 사용 가능). 이는 충분한 가정을 하지 않으면 해결할 수 없는 다루기 쉬운 문제를 렌더링합니다. 데이터로부터 학습하려면 데이터에 대한 가정을 세워야 합니다. 이러한 가정은 핵심 지식과 동일한 사전 범주에 속하는 "외부 세계에 대한 사전 지식"을 나타냅니다.

또한: 오늘날의 AI 너머를 바라보는 컴퓨팅 비전가

ZDNet:지능에 대한 확률론의 중요성은 무엇입니까? 당신은 당신이 설명하는 지능형 시스템의 여러 영역에서 프로세스가 확률론적일 수 있다는 점을 지적했습니다. 확률론은 당신이 설명한 원칙에 필수적입니까, 그것은 중요하지 않거나 일회용입니까? 그 이유는 무엇?

FC: 현실 세계와 실제 지능형 에이전트(동물이나 인간 등)에는 불확실성이 많은 요소가 있습니다. 따라서 이들의 상호작용 모델은 무작위성을 포함하여 이러한 불확실성을 설명해야 합니다. 개연성. 그러나 그것은 실제로 세부 사항입니다. 내가 논문에서 제안한 지능 모델은 결정론적 작업으로 재구성될 수 있으며 모델과 그 모델의 성격을 실질적으로 변경하지 않고 결정론적 지능형 시스템을 구축합니다. 결론. 비록 그것은 상당히 덜 현실적이고 상당히 덜 일반적일 것입니다.

ZDNet:24페이지에 적힌 "인간 중심적 초점"을 따르지 않고 지능을 추구하는 데 어떤 가치가 있습니까? 인간이 아닌 지능?

FC: 아, 물론이죠. 나는 우리 자신과 크게 다른 지능이 존재할 수 있고 본질적인 가치를 가질 것이라고 믿습니다. 그러나 관련성이 없다면 우리는 그것을 "지능"이라고 부르지 않을 것입니다. 우리는 우리 자신보다 상대적으로 다른 사람의 마음을 이해하거나 그들의 인지 능력을 중요하게 여긴다는 것이 사실입니다. 최근 우리는 동물의 행동이 인간의 행동과 유사하다는 점, 동물이 우리가 중요하게 여기는 문제를 해결할 수 있는 것처럼 보인다는 점 때문에 지능이 있다는 사실을 깨닫기 시작했습니다. 그들이 적어도 어떤 면에서 인간과 같지 않다면 우리는 그들의 정보 처리 능력과 적응 능력의 풍부함이나 복잡성을 *알아차리지*도 못할 것입니다. 가치는 말할 것도 없고요. 우리는 기업, 시장 또는 과학이 지능적이라고 인식하지 않습니다. 그러나 그들은 지능적인 시스템으로 모델링될 수 있으며 종종 어떤 의미에서 인간보다 더 뛰어난 지능을 특징으로 합니다.

지능에 대한 올바른 정의는 사람들이 지능에 대해 이야기할 때 의미하는 것과 유사해야 합니다. 그리고 인간은 지능에 대해 근본적으로 인간중심적인 관점을 가지고 있습니다. 그러므로 나는 지능에 대한 정의를 사용하기보다는 이 사실을 명시적으로 인정하는 것이 필요하다고 생각합니다. 표면적으로는 보편성을 열망하지만 암묵적으로는 인간의 인식을 기술하고 인간의 가치 내에서 작동합니다. 체계.

또한: AI 선구자 Sejnowski는 그라디언트에 관한 모든 것을 말합니다

ZDNet:Keras와 같은 시스템이 여기에 설명된 내용부터 시작하여 구축했다면 다른 형태를 취할까요? 다르게 말하면, 당신이 설명한 원칙의 결과가 될 Keras와 유사한 기술 아티팩트가 있습니까? 여기?

FC: ARC를 해결하려는 지속적인 시도를 통해 배운 내용을 고려할 때 결국에는 소프트웨어 프레임워크가 있을 것이라고 믿습니다. 이는 개발자가 자신의 지능형 애플리케이션에서 이를 활용할 수 있도록 이러한 원칙을 사용하기 쉬운 방식으로 패키지화할 것입니다. 신경 기호 프로그램 합성을 위한 Keras가 있을 것입니다. 지능을 위한 운영체제. 그러나 아직은 거리가 꽤 멀다.

ZDNet:GitHub에 게시된 JSON 형식의 학습 및 평가 테스트 파일을 사용하면 ARC의 테스트가 말한 대로 "게임화"될 수 없다고 확신할 수 있습니까? (이것이 당신이 작성한 비공개 테스트 세트입니까?)

FC: 현재로서는 ARC가 "게임화"될 수 있는지 여부를 확실하게 알 수 없습니다. 이 질문에 답하기 위한 첫 번째 단계는 금전적 인센티브를 통해 ARC를 중심으로 공개 경쟁을 조직하고 어떤 일이 일어나는지 확인하는 것입니다. ARC를 해결하는 비지능적인 지름길이 있다면 경쟁을 통해 빠르게 밝혀질 가능성이 높습니다.

대회에서는 완전히 알려지지 않은 ARC 작업 세트인 비공개 테스트 세트를 활용하게 됩니다. 이는 대회에 사용되는 알고리즘이 과거 인간이 생성한 솔루션의 단순한 기록이 아니라 새로운 작업을 자율적으로 처리할 수 있어야 함을 보장합니다.

무슨 일이 일어나는지 지켜보겠습니다! 우리는 이제 막 시작했을 뿐입니다.