ИИ: Закономерность не в данных, а в машине

В области искусственного интеллекта принято говорить, что машинное обучение, которое зависит от огромных объемов данных, функционирует путем поиска закономерностей в данных.

Фраза «поиск закономерностей в данных» уже много лет является основной фразой в таких областях, как интеллектуальный анализ данных и обнаружение знаний. и предполагалось, что машинное обучение и особенно его вариант глубокого обучения просто продолжают традицию поиска таких узоры.

Программы искусственного интеллекта действительно создают закономерности, но точно так же, какВина, дорогой Брут, не в наших звездах, а в нас самих.«Факт существования этих закономерностей не является чем-то в данных, это то, что программа ИИ делает из данных».

Почти все модели машинного обучения функционируют посредством правила обучения, которое изменяет так называемые веса, также известные как в качестве параметров программы, поскольку программе предоставляются примеры данных и, возможно, прикрепленные к ним метки. данные. Именно значение весов считается «знанием» или «пониманием».

Обнаруженная закономерность на самом деле представляет собой закономерность изменения весов. Веса имитируют «срабатывание» реальных нейронов — принцип, сформулированный психологом Дональдом О. Хебб, который стал известен как Хеббианское обучение, идея о том, что «нейроны, которые срабатывают вместе, соединяются вместе».

Также: ИИ за шестьдесят секунд

Именно закономерность изменения веса является моделью обучения и понимания в машинном обучении, что подчеркивали основатели глубокого обучения. Как было сказано почти сорок лет назад в одном из основополагающих текстов по глубокому обучению «Параллельная распределенная обработка», том I, Джеймс Макклелланд, Дэвид Румелхарт и Джеффри Хинтон написали:

Что сохраняется, так это сила связей между единицами, которые позволяют создавать эти шаблоны […] Если знание — это сила связей, Обучение должно заключаться в поиске правильных сильных сторон связи, чтобы правильные паттерны активации возникали при правильных условиях. обстоятельства.

Макклелланд, Румельхарт и Хинтон писали для избранной аудитории — когнитивных психологов и ученых-компьютерщиков, и писали они очень доходчиво. другой век, век, когда люди не могли легко предположить, что все, что делает компьютер, представляет собой «знание». Они трудились в то время, когда ИИ программы вообще мало что могли сделать, и их главным образом заботило то, как произвести вычисление — любое вычисление — из довольно ограниченного набора транзисторы.

Затем, примерно шестнадцать лет назад, с появлением мощных графических процессоров, компьютеры действительно начали вести себя интересно. завершилось знаменательным представлением ImageNet о работе Хинтона со своими аспирантами в 2012 году, которое ознаменовало приход глубокого обучения возраст.

В результате новых компьютерных достижений массовое сознание начало строить всевозможные мифы вокруг искусственного интеллекта и глубокого обучения. Был наплыв очень плохих заголовков сравнивая эту технологию со сверхчеловеческой производительностью.

Также: Почему ИИ так плохо сообщает?

Сегодняшняя концепция ИИ затмила то, на чем сосредоточились Макклелланд, Румельхарт и Хинтон, а именно, машину и то, как она, как они выразились, «создает» шаблоны. Они были очень хорошо знакомы с механикой построения весов шаблона в ответ на то, что во входных данных было просто данными.

Почему все это имеет значение? Если машина является создателем шаблонов, то выводы, которые люди делают об ИИ, вероятно, по большей части неверны. Большинство людей предполагают, что компьютерная программа воспринимает закономерности в мире, что может привести к тому, что люди передадут суждение машине. Если это дает результаты, то, по мнению ученых, компьютер должен видеть что-то, чего не видят люди.

За исключением того, что машина, создающая шаблоны, ничего явно не видит. Это создание шаблона. Это означает, что то, что «видимо» или «известно», — это не то же самое, что в разговорном, повседневном смысле, в котором люди говорят о себе как о знающих вещах.

Вместо того, чтобы начинать с антропоцентрического вопроса: «Что знает машина?» лучше всего начать с более точного вопроса: Что представляет собой эта программа в связях своих весов?

В зависимости от задачи ответ на этот вопрос принимает разные формы.

Рассмотрим компьютерное зрение. Сверточная нейронная сеть, лежащая в основе программ машинного обучения для распознавания изображений и другое зрительное восприятие состоит из набора весов, которые измеряют значения пикселей в цифровом формате. изображение.

Пиксельная сетка — это уже наложение двумерной системы координат на реальный мир. Благодаря удобной для машины абстракции координатной сетки задача нейронной сети по представлению кипит. вплоть до сопоставления силы набора пикселей с навязанным ярлыком, например «птица» или «синий». Джей."

В сцене, где есть птица или, в частности, голубая сойка, может происходить множество вещей, включая облака, солнечный свет и прохожих. Но сцена в целом не главное. Для программы важен набор пикселей, которые с наибольшей вероятностью создадут соответствующую метку. Другими словами, паттерн — это редукционный акт сосредоточения и выбора, присущий активации связей нейронных сетей.

Вы могли бы сказать, что программа такого типа не столько «видит» или «воспринимает», сколько фильтры.

Также: Новый эксперимент: действительно ли ИИ знает кошек или собак?

То же самое и с играми, где ИИ освоил шахматы и покер. В «полноинформационных» шахматных играх, разработанных программой DeepMind AlphaZero, задача машинного обучения сводится к созданию оценки вероятности в каждый момент времени насколько потенциальный следующий ход приведет в конечном итоге к победе, проигрышу или ничьей.

Поскольку количество потенциальных будущих конфигураций игрового поля не может быть вычислено даже самыми быстрыми компьютерами, веса компьютера сокращают поиск ходов, делая то, что можно было бы назвать подведение итогов. Программа обобщает вероятность успеха, если за один раз сделать несколько ходов. направлении, а затем сравнивает эту сводку с сводкой потенциальных шагов, которые следует предпринять в другом направлении. направление.

В то время как состояние доски в любой момент — положение фигур и то, какие фигуры остаются — может что-то «значить» для Человек-гроссмейстер по шахматам, не ясно, что термин «среднее» имеет какое-либо значение для AlphaZero от DeepMind для такой обобщающей задачи.

Аналогичная задача по подведению итогов решается для программы Pluribus. который в 2019 году покорил самую сложную форму покера, Безлимитный техасский холдем. Эта игра еще более сложна, поскольку в ней есть скрытая информация, закрытые карты игроков и дополнительные «стохастические» элементы блефа. Но представление, опять же, представляет собой сводку вероятностей каждого хода.

Даже в программах, обрабатывающих человеческий язык, значения весов отличаются от того, что мог бы предположить случайный наблюдатель. ГПТ-3, лучшая языковая программа от OpenAI, может создавать предложения и абзацы, поразительно похожие на человеческие.

Программа "знает" язык? Его веса отражают вероятность того, что отдельные слова и даже целые строки текста будут найдены последовательно с другими словами и строками.

Вы могли бы назвать эту функцию нейронной сети сводкой, аналогичной AlphaGo или Pluribus, учитывая, что задача во многом похожа на шахматы или покер. Но возможные состояния, которые можно представить в виде связей в нейронной сети, не просто огромны, они бесконечны, учитывая бесконечную компонуемость языка.

С другой стороны, учитывая, что вывод языковой программы, такой как GPT-3, представляет собой нечеткий ответ «правильный ответ» несколько менее важен, чем дискретный результат, чем победа, поражение или ничья в шахматах или покер. Вы также можете назвать эту функцию GPT-3 и подобных программ «индексацией» или «инвентаризацией» вещей по их весам.

Также: Что такое ГПТ-3? Все, что вашему бизнесу нужно знать о революционной языковой программе искусственного интеллекта OpenAI

Есть ли у людей подобный инвентарь или индекс языка? Кажется, в нейробиологии пока нет никаких указаний на это. Аналогично, в выражении "отличить танцора от танца," определяет ли GPT-3 несколько уровней значимости во фразе или ассоциациях? Неясно, вообще, имеет ли такой вопрос значение в контексте компьютерной программы.

В каждом из этих случаев — шахматной доске, картах, строках слов — данные являются тем, чем они являются: вылепленными подложка, разделенная различными способами, набор пластиковых прямоугольных бумажных изделий, скопление звуков или формы. Независимо от того, «значат» ли такие изобретения что-нибудь в совокупности для компьютера, это всего лишь способ сказать, что компьютер настраивается в ответ на определенную цель.

То, что такие данные запрашивают в машине — фильтры, обобщения, индексы, инвентаризации или как вы хотите охарактеризовать эти представления — никогда не является вещью само по себе. Это изобретения.

Также: DeepMind: Почему ИИ так хорош в языке? Это что-то в самом языке

Но вы можете сказать, что люди видят снежинки и видят их различия, а также каталогизируют эти различия, если у них есть на это желание. Действительно, человеческая деятельность всегда стремилась найти закономерности различными способами. Прямое наблюдение — один из самых простых способов, и в некотором смысле то, что делается в нейронной сети, является своего рода расширением этого метода.

Можно сказать, что нейронная сеть раскрывает то, что всегда было верно в человеческой деятельности на протяжении тысячелетий: разговоры о закономерностях — это вещь, навязанная миру, а не вещь в мире. В мире снежинки имеют форму, но эта форма является лишь образцом для человека, который их собирает, индексирует и классифицирует. Другими словами, это конструкция.

Активность создания шаблонов будет резко возрастать по мере того, как на платформе будет появляться все больше и больше программ. данных мира, и их веса настроены для формирования связей, которые, как мы надеемся, создадут полезные представления. Такие представления могут быть невероятно полезны. Возможно, когда-нибудь они вылечат рак. Однако полезно помнить, что закономерности, которые они раскрывают, существуют не в мире, а в глазах воспринимающего.

Также: «Gato» от DeepMind посредственный, так зачем же они его создали?