Состояние искусственного интеллекта в 2019 году: прорывы в машинном обучении, обработке естественного языка, играх и графах знаний

Искусственный интеллект сегодня является одной из наиболее быстро развивающихся областей. Отслеживание и инвентаризация ИИ требует не только постоянного внимания, но и способности анализировать и оценивать по ряду измерений. Это именно то, что Эйр Стрит Кэпитал и РААИС основатель Натан Бенайч и ангел-инвестор в области искусственного интеллекта, а также УКЛ ИИПП Посещая профессора Ян Хогарт сделал.

Также: ИИ, созданный с помощью нейробиологииЗДНет YouTube

В метко названном Отчет о состоянии искусственного интеллекта за 2019 год опубликованной 28 июня, Бенайх и Хогарт отправляются в длинное путешествие из 136 слайдов, посвященное всему, что касается искусственного интеллекта: технологические прорывы и их возможности, предложение, спрос и концентрация таланты, работающие в этой области, крупные платформы, финансирование и области применения инноваций, основанных на ИИ сегодня и завтра, специальные разделы, посвященные политике ИИ и ИИ в Китай.

Бенайк и Хогарт — больше, чем просто венчурные капиталисты: они оба имеют обширный опыт работы в области искусственного интеллекта, работая над рядом инициатив в области искусственного интеллекта, от исследований до стартапов. Кроме того, они опираются на опыт таких выдающихся деятелей, как исследователь Google AI и руководитель Keras Deep. Система обучения Франсуа Шолле, идейный лидер в области венчурного капитала и искусственного интеллекта Кай-Фу Ли и исследователь искусственного интеллекта Facebook Себастьян Ридель.

Эта коллективная работа представляет собой накопление богатого опыта, опыта и знаний. Заметив и прочитав отчет, мы обратились к Бенайху, с которым провели обширную сессию вопросов и ответов. Мы изложили отчет и идеи Бенайха в серии из двух статей, начиная с технологических прорывов и возможностей и заканчивая их последствиями и политикой ИИ.

Распаковка ИИ

Если вы увлекаетесь искусственным интеллектом, скорее всего, это не первый отчет об искусственном интеллекте, с которым вы столкнулись. Многие люди знакомы с Ландшафт данных и искусственного интеллекта FirstMark, составлено Мэттом Тёрком и Лизой Сюй, и Состояние искусственного интеллекта: дивергенция от MMC Ventures. Обновления во всех трех отчетах были выпущены практически одновременно. Хотя это может привести к некоторой путанице, поскольку, очевидно, существует дублирование, существует также дифференциация с точки зрения содержания, а также подхода и формата.

Отчет FirstMark более обширен с точки зрения списка игроков, от инфраструктуры данных до искусственного интеллекта. Вот как этот отчет развивался с течением времени: начиная с «Пейзажа больших данных», он превратился в «Пейзаж данных и искусственного интеллекта». Эволюция больших данных в искусственный интеллект является естественной, как мы уже отмечали ранее. У MMC Ventures другая точка зрения, поскольку она более абстрактна и потенциально делает ее более подходящей для CxOs. Отчеты имеют разную сферу применения, и дело не в выборе сторон: каждому есть что сказать. предложение.

Для начала мы спросили Бенайха, почему они это делают: почему они делятся несомненно ценными знаниями и вкладывают для этого дополнительную работу, казалось бы, бесплатно?

Бенайч сказал, что они верят, что ИИ станет фактором, умножающим технологический прогресс в нашем все более цифровом мире, управляемом данными. Это потому, что все вокруг нас сегодня, от культуры до потребительских товаров, является продуктом интеллекта:

«Мы считаем, что существует растущая потребность в доступной, но подробной и точной информации о состоянии ИИ по нескольким направлениям (исследования, промышленность, таланты, политика и Китай). Цель нашего отчета — организовать информированный разговор о прогрессе ИИ и его последствиях для будущего».

Отчет соответствует целям Бенайха, изложенным в его ответе. Первые 40 страниц отчета, представленного в виде слайдов, посвящены прогрессу в исследованиях ИИ — технологическим прорывам и их возможностям. Ключевые области охвата — обучение с подкреплением, приложения в играх и будущих направлениях, прорывы в обработке естественного языка, глубокое обучение в медицине и AutoML.

Также: Нас посещает искусственный интеллект космических пришельцев?ЗДНет YouTube

Обучение с подкреплением, игры и обучение в реальном мире

Обучение с подкреплением — это область машинного обучения, которая за последнее десятилетие привлекла большое внимание исследователей. Бенайх и Хогарт определяют его как «программные агенты, которые учатся целенаправленному поведению методом проб и ошибок в среда, которая обеспечивает вознаграждение или наказание в ответ на действия агента (называемые «политикой») для достижения этой цели».

Значительная часть прогресса, достигнутого в RL, связана с обучением ИИ играть в игры, сравнимые или превосходящие возможности человека. Старкрафт II, Квейк III Арена и месть Монтесумы — лишь некоторые из таких игр.

Однако более важным, чем сенсационный аспект «ИИ побеждает людей», являются методы, с помощью которых RL может достичь таких результатов: обучение, основанное на игре, сочетание симуляции и реального мира, а также основанное на любопытстве исследование. Можем ли мы тренировать ИИ, играя в игры?

В детстве мы приобретаем сложные навыки и модели поведения, изучая и практикуя различные стратегии и модели поведения с минимальным риском, то есть во время игры. Исследователи использовали концепцию контролируемой игры, чтобы наделить роботов навыками управления, которые более устойчивы к возмущениям по сравнению с обучением с использованием демонстраций под наблюдением экспертов.

OpenAI использовала симуляцию для обучения робота перетасовывать физические объекты с впечатляющей ловкостью. Система использовала компьютерное зрение, чтобы предсказать позу объекта по трем изображениям с камеры, а затем использовала RL для изучения следующего действия на основе положения кончиков пальцев и позы объекта.

В РЛ, агенты изучают задачи методом проб и ошибок. Они должны балансировать между исследованием (пробованием нового поведения) и эксплуатацией (повторением того, что работает). В реальном мире вознаграждения сложно явно закодировать. Многообещающим решением является: сохранение в памяти наблюдений агента RL за окружающей средой; и вознаграждайте его за наблюдения, которых «нет в памяти».

Вышеизложенное, процитированное из отчета, кажется столь же хорошими и естественными идеями. Может ли их использование стать шагом вперед для ИИ? Бенайх отметил, что игры — это благодатная песочница для обучения, оценки и улучшения различных алгоритмов обучения, но также высказал несколько слов скептицизма:

«Данные, генерируемые в виртуальной среде, зачастую менее дороги и более доступны, что отлично подходит для экспериментов. Более того, игровое окружение можно сделать более или менее сложным в зависимости от целей эксперимента по разработке модели.

Однако большинство игр неточно имитируют реальный мир и его многочисленные нюансы. Это означает, что они являются отличным началом, но не самоцелью».

Также:Понимание искусственного интеллекта в цепочке поставокЗДНет YouTube

Обработка естественного языка и рассуждения на основе здравого смысла

Как отмечают Бенайх и Хогарт, это был большой год в области обработки естественного языка (НЛП): BERT и Transformer от Google AI; ELMo Института Аллена; Transformer от OpenAI, ULMFiT от Ruder и Howard и MT-DNN от Microsoft продемонстрировали, что предварительно обученные языковые модели могут существенно улучшить производительность при выполнении различных задач НЛП.

Предварительное обучение моделей для изучения функций высокого и низкого уровня произвело трансформацию в компьютерном зрении, в основном благодаря ImageNet. ImageNet — это набор данных, содержащий более 20 000 категорий. Типичная категория, такая как «воздушный шар» или «клубника», состоит из нескольких сотен аннотированных изображений.

С 2010 года проект ImageNet проводит ежегодный конкурс программного обеспечения ImageNet Large Scale Visual. Задача распознавания (ILSVRC), где программы соревнуются за правильную классификацию и обнаружение объектов. и сцены. В задаче используется «обрезанный» список из тысячи непересекающихся классов, и она стала движущей силой постепенного совершенствования компьютерного зрения.

В прошлом году произошли аналогичные эмпирические прорывы в предварительном обучении языковых моделей на больших текстовых корпусах для изучения языковых особенностей высокого и низкого уровня. В отличие от ImageNet, эти языковые модели обычно обучаются на очень больших объемах общедоступного, то есть немаркированного текста из Интернета.

Этот метод можно было бы в дальнейшем масштабировать, чтобы добиться успеха в задачах НЛП и открыть множество новых коммерческих возможностей. приложения точно так же, как передача обучения из ImageNet привела к более широкому промышленному использованию компьютеров зрение.

Бенайх и Хогарт подчеркивают КЛЕЙ конкурс, который обеспечивает единый эталон для оценки систем НЛП в ряде задач, охватывающих логику, понимание здравого смысла и лексическую семантику.

Они добавляют, что в качестве демонстрации того, насколько быстро достигается прогресс в НЛП, уровень развития НЛП увеличился с 69 до 88 за 13 месяцев. Базовый уровень человека составляет 87. Прогресс оказался настолько быстрее, чем ожидалось, что новый эталон SuperGLUE уже был представлен.

Однако язык имеет особое значение, когда дело касается человеческого познания. Это связано с рассуждениями здравого смысла. Прогресс также был достигнут в рассуждениях здравого смысла. Мы видели, как недавнее исследование Salesforce продвинуло современное состояние на 10 %.

Исследователи из Нью-Йоркского университета показали, что генеративное обучение на основе логических выводов из набора данных позволяет нейронные модели могут приобретать простые возможности здравого смысла и рассуждать о ранее невидимых события. Этот подход расширяет такие работы, как Проект базы знаний Cyc который начался в 80-х годах и называется самым продолжительным в мире проектом искусственного интеллекта.

Также:Тенденции в области машинного обучения и искусственного интеллектаЗДНет YouTube

Путь вперед: объединение глубокого обучения и предметных знаний?

Мы спросили Бенайха, что он думает о подходах. объединение глубокого обучения и предметных знаний для НЛП, поскольку эксперты, такие как Дэвид Талбот из Яндекса, считают это многообещающим направлением.. Бенайх согласился, что сочетание глубокого обучения и предметных знаний — плодотворное направление исследований:

«Особенно, когда целью проекта ИИ является решение реальной проблемы, а не решение реальной проблемы. создание агента общей разведки, который должен научиться решать разговоры чистая доска. Знания предметной области могут эффективно помочь системе глубокого обучения получить знания о проблеме путем кодирования примитивы вместо того, чтобы заставлять модель изучать их с нуля, используя (потенциально дорогостоящие и дефицитные) данные."

Бенайх также отметил важность графов знаний для здравого смысла при решении задач НЛП. Cyc — это хорошо известный граф знаний или база знаний, как это было в оригинальной терминологии. Однако он также добавил, что рассуждения, основанные на здравом смысле, вряд ли можно решить, используя текст как единственную модальность.

Другими важными моментами, включенными в отчет, являются федеративное обучение, достижения в области конфиденциальности данных Конфиденциальность TensorFlow от Google и TF-шифрование от Отсевные лабораториии ряд вариантов использования глубокого обучения в медицине. К ним относятся достижения, подобные научной фантастике, такие как расшифровка мыслей по мозговым волнам и восстановление контроля над конечностями для инвалидов.

Потребуется очень глубокое погружение, чтобы расшифровать все, что включено в отчет, например, прогресс в AutoML, GAN и глубокие фейки для синтеза речи -- то, что мы предсказал несколько лет назад. Простое сканирование отчета занимает некоторое время, но может многое предложить.

Однако мы продолжим вторая часть беседы с Бенайхом, включая чипы искусственного интеллекта, роботизированную автоматизацию процессов, автономные транспортные средства и геополитику искусственного интеллекта..