Крестные отцы глубокого обучения Бенджио, Хинтон и ЛеКун говорят, что эта область может исправить свои недостатки

Искусственный интеллект должна идти в новых направлениях, если она хочет реализовать машинный эквивалент здравого смысла, и трое из ее наиболее видных сторонников пришли к единому мнению о том, как именно это сделать.

Йошуа Бенджио из канадского института MILA, Джеффри Хинтон из Университета Торонто и Янн ЛеКун из Facebook, которые назвали себя сообщниками в возрождении некогда умирающая область «глубокого обучения», вышла на сцену в воскресенье вечером в отеле Hilton в центре Манхэттена на 34-й ежегодной конференции Ассоциации по развитию искусственных технологий. Интеллект.

Эти трое, которых на конференции назвали «крестными отцами» глубокого обучения, были удостоены чести за получение прошлогодней премии Тьюринга за жизненные достижения в области вычислений.

Каждому из троих учёных было предоставлено полчаса на беседу, и каждый из них признал многочисленные недостатки глубокого обучения, такие как «примеры состязательности», когда систему распознавания объектов можно обманом заставить неправильно идентифицировать объект, просто добавив шум к картина.

«Было много разговоров о негативных сторонах глубокого обучения», — отметил Лекун.

Каждый из троих мужчин был уверен, что инструменты глубокого обучения исправят глубокое обучение и приведут к более продвинутым возможностям.

Основная идея, которую разделяют все трое, заключается в том, что решение представляет собой форму машинного обучения, называемую «самоконтролируемый», когда что-то в данных намеренно «маскируется», и компьютер должен догадываться его идентичность.

Для Хинтона это так называемые «капсульные сети», которые похожи на сверточные нейронные сети, широко используемые в искусственном интеллекте, но в которых части входных данных намеренно скрыты. ЛеКун, со своей стороны, сказал, что позаимствовал у Хинтона, чтобы создать новое направление в самостоятельном обучении.

«Самоконтроль — это обучение модели заполнению пробелов», — сказал Лекун.

«Это то, что позволит нашим системам искусственного интеллекта выйти на новый уровень», — сказал ЛеКун. «Появится какой-то здравый смысл».

А Бенджио говорил о том, что машины могли бы лучше обобщать, если бы их научили обнаруживать тонкие изменения в данных, вызванные вмешательством агента, что является формой причинно-следственного вывода.

В каждом случае маскирование информации, а затем ее угадывание стало возможным благодаря прорыву 2017 года под названием «Трансформер», сделанному учеными Google. Transformer стал основой для удивительного изучения языка, такого как программное обеспечение OpenAI «GPT». Transformer использует понятие «внимания», которое позволяет компьютеру угадать, чего не хватает в замаскированных данных. (Посмотреть повторы докладов и других сессий можно на сайте конференции..)

Заметное выступление группы специалистов по глубокому обучению стало триумфальным поворотом в развитии субдисциплины искусственного интеллекта, которую когда-то оставила умирать даже сама конференция. Это было также немного парадоксально, потому что все три доклада, казалось, заимствовали термины, которые обычно идентифицируются как принадлежащие противоположное направление в области ИИ, «символические» теоретики ИИ, которые отвергли Бенджио, Хинтона и ЛеКуна в годы назад.

«И все же некоторые из вас немного пренебрежительно отзываются о символическом мире ИИ», — сказала модератор, профессор Массачусетского технологического института Лесли Кельблинг, отметив заимствование терминов. «Можем ли мы все быть друзьями или нет?» — спросила она, вызвав бурный смех публики.

Хинтон, который стоял за столом, а не садился, сухо пошутил: «Ну, у нас долгая история», что вызвало еще больше смеха.

«В последний раз, когда я отправлял статью в AAAI, она получила худшую рецензию, которую я когда-либо получал, и это было подло!» - сказал Хинтон.

«Там говорилось, что Хинтон работал над этой идеей семь лет, и никто не заинтересовался, пора двигаться дальше», — вспоминает Хинтон. вызвав улыбку у ЛеКуна и Бенджио, которые также десятилетиями трудились в безвестности, пока не случился год прорыва в области глубокого обучения. 2012. «Нужно время, чтобы забыть это», — сказал Хинтон, хотя, возможно, было лучше забыть прошлое и двигаться вперед, признал он.

Вопрос Кельблинга поразил цель, поскольку в разговоре трех ученых были намеки на то, что их работа часто подвергается нападкам со стороны скептиков.

ЛеКун отметил, что он «довольно активен в социальных сетях, и, похоже, существует некоторая путаница» относительно того, что такое глубокое обучение. намек на дебаты, которые он вел в Твиттере с критиком глубокого обучения Гэри Маркусом, среди прочих, которые приобрели воинственный характер во время. ЛеКун начал свое выступление со слайда, определяющего, что такое глубокое обучение, повторяя декабрьские дебаты между Бенджио и Маркусом.

Однако в основном вечер был отмечен духом товарищества трех ученых. Когда зрители спросили, в чем они не согласны, Бенджио пошутил: «Лесли уже пробовала это на нас, и это не сработало». Хинтон сказал: «Я Могу указать вам на одно разногласие между нами: адрес электронной почты Йошуа заканчивается на «Квебек», и я думаю, после этого должен быть код страны, и он нет».

Также был шанс по-дружески подразнить. Хинтон начал свое выступление с того, что оно было нацелено на ЛеКуна, который тридцать лет назад сделал сверточные нейронные сети практической технологией. Хинтон сказал, что хочет показать, почему CNN — это «мусор» и что их следует заменить его капсульными сетями. Хинтон посмеялся над собой, отметив, что в течение последних трех лет каждый год выпускает новую версию капсульных сетей. «Забудьте все, что вы знали о предыдущих версиях, они все были неправильными, но эта правильная», — сказал он под громкий смех.

Некоторые проблемы в дисциплине как дисциплине решить будет труднее. Когда Кельблинг спросил, есть ли у кого-нибудь из них опасения по поводу целей или планов крупных компаний, использующих ИИ, Хинтон усмехнулся и ответил: указал на Лекуна, который руководит исследовательским отделом искусственного интеллекта Facebook, но Лекун усмехнулся и указал на Хинтона, сотрудника Google по искусственному интеллекту. программа. «Ну, я думаю, им следует заняться фейковыми новостями, но…» — сказал Хинтон, его голос затих, на что ЛеКун ответил: «На самом деле так и есть». Эта беседа вызвала самые бурные аплодисменты и смех среди присутствующих. комната.

У них также были мысли о структуре отрасли и о том, как ее необходимо изменить. Бенджио отметил, что давление на молодых ученых с целью публикации сегодня гораздо сильнее, чем когда он был аспирантом, и что что-то должно быть структурно изменено в этом отношении, чтобы позволить авторам сосредоточиться на более значимых долгосрочных перспективах. проблемы. ЛеКан, который также является профессором Нью-Йоркского университета, согласился, что времена изменились, отметив, что, будучи профессорами, «мы не допускаем себя к участию в наших собственных программах докторантуры».

Благодаря многолетней борьбе в безвестности и своей нежной английской растяжке Хинтону удалось привнести нотку легкомыслия в проблему недальновидных исследований.

«У меня есть модель этого процесса: люди работают над идеей в течение короткого периода времени, добиваются небольшого прогресса, а затем публикуют статью», — сказал он.

«Это похоже на то, как если бы кто-то взял одну из тех книг со сложными головоломками судоку и просмотрел ее, и заполнение нескольких простых в каждом судоку, и это действительно все портит еще!"