Что такое машинное обучение? Все, что Вам нужно знать

Машинное обучение позволяет компьютерам решать задачи, которые до сих пор выполнялись только людьми.

От вождения автомобиля до перевода речи — машинное обучение приводит к взрывному росту возможностей искусственный интеллект – помогает программному обеспечению разобраться в запутанном и непредсказуемом реальном мире.

Но что именно такое машинное обучение и что делает возможным нынешний бум машинного обучения?

Что такое машинное обучение?

На очень высоком уровне машинное обучение — это процесс обучения компьютерной системы тому, как делать точные прогнозы при подаче данных.

Эти предсказания могут быть ответом на вопрос, является ли фрукт на фотографии бананом или яблоком, определить людей, переходящих дорогу перед беспилотным автомобилем, будет ли использование этого слова книга в предложении относится к книге в мягкой обложке или к бронированию гостиницы, к тому, является ли электронное письмо спамом, или к достаточно точному распознаванию речи, чтобы создавать субтитры для видео на YouTube.

Ключевое отличие от традиционного компьютерного программного обеспечения состоит в том, что разработчик-человек не написал код, который инструктирует систему, как отличить банан от яблока.

Вместо этого модель машинного обучения была обучена тому, как надежно различать фрукты. на большом объеме данных, в данном случае, скорее всего, огромное количество изображений, помеченных как содержащие банан или яблоко.

Данные, и их большое количество, являются ключом к созданию возможности машинного обучения.

• Бизнес предупредил, что поддержание потока данных вскоре может стоить миллиарды долларов
• 10 технологических прогнозов, которые могут означать огромные изменения впереди
• Этот новый мощный суперкомпьютер позволит ученым задавать «правильные вопросы»
• Алгоритмы наблюдают за нами, но кто наблюдает за алгоритмами?

В чем разница между ИИ и машинным обучением?

Машинное обучение, возможно, и добилось в последнее время огромного успеха, но это всего лишь один из методов достижения искусственного интеллекта.

При зарождении области ИИ в 1950-х годах ИИ определялся как любая машина, способная выполнять задачу, которая обычно требует человеческого интеллекта.

ВИДЕТЬ: Управление искусственным интеллектом и машинным обучением на предприятии в 2020 году: технологические лидеры активизируют разработку и реализацию проектов (Техреспублик Премиум)

Системы искусственного интеллекта обычно демонстрируют по крайней мере некоторые из следующих качеств: планирование, обучение, рассуждение, решение проблем. решение, представление знаний, восприятие, движение и манипулирование и, в меньшей степени, социальный интеллект и креативность.

Помимо машинного обучения, для создания систем искусственного интеллекта используются различные другие подходы, в том числе эволюционные вычисления, в которых алгоритмы претерпевают случайные мутации и комбинации между поколениями в попытке «развить» оптимальные решения, а экспертные системы, в которых компьютеры запрограммированы с правилами, которые позволяют им имитировать поведение человека-эксперта в определенной области, например, систему автопилота, управляющую самолетом. самолет.

Каковы основные типы машинного обучения?

Машинное обучение обычно делится на две основные категории: обучение с учителем и обучение без учителя.

Что такое контролируемое обучение?

Этот подход в основном обучает машины на собственном примере.

Во время обучения контролируемому обучению системы подвергаются воздействию больших объемов помеченных данных, например изображений рукописных цифр с аннотациями, указывающими, какому номеру они соответствуют. При наличии достаточного количества примеров система обучения с учителем научится распознавать кластеры пикселей и формы, связанные с каждое число и, в конечном итоге, уметь распознавать рукописные цифры, уметь надежно различать цифры 9 и 4 или 6 и 8.

Однако обучение этих систем обычно требует огромных объемов размеченных данных, а некоторым системам необходимо просмотреть миллионы примеров, чтобы освоить задачу.

В результате наборы данных, используемые для обучения этих систем, могут быть обширными. Набор данных Google Open Images, содержащий около девяти миллионов изображений., его помеченный видеорепозиторий Ютуб-8М ссылки на семь миллионов отмеченных видеороликов и ImageNet, одна из первых баз данных такого типа, содержащая более 14 миллионов изображений по категориям. Размер наборов обучающих данных продолжает расти. Facebook объявил, что собрал 3,5 миллиарда изображений общедоступно в Instagram с использованием хэштегов, прикрепленных к каждому изображению в качестве меток. Использование одного миллиарда этих фотографий для обучения системы распознавания изображений дало рекордный уровень точности – 85,4% – по тесту ImageNet.

Трудоемкий процесс маркировки наборов данных, используемых в обучении, часто осуществляется с помощью краудворкинга. сервисы, такие как Amazon Mechanical Turk, который обеспечивает доступ к большому количеству недорогой рабочей силы, распределенной по Глобус. Например, ImageNet была создана за два года почти 50 000 человек, в основном набранных через Amazon Mechanical Turk. Однако подход Facebook к использованию общедоступных данных для обучения систем может дать альтернативный способ обучения систем с использованием миллиардов наборов данных без затрат на ручное управление маркировка.

• Объяснимый ИИ: от пика завышенных ожиданий до ловушек интерпретации моделей машинного обучения
• Что такое ИИ? Все, что вам нужно знать об искусственном интеллекте
• Как машинное обучение можно использовать для поимки хакера (TechRepublic)
• Ученые построили робот-лабораторию на базе Raspberry Pi, напечатанную на 3D-принтере, для изучения мух

Что такое обучение без учителя?

Напротив, алгоритмы задач обучения без присмотра направлены на выявление закономерностей в данных, пытаясь обнаружить сходства, которые разделяют эти данные на категории.

Примером может служить Airbnb, группирующий дома, доступные для аренды, по районам, или Google News, каждый день группирующий истории по схожим темам.

Алгоритмы неконтролируемого обучения не предназначены для выделения конкретных типов данных, они просто ищут данные, которые можно сгруппировать по сходству, или выявляют заметные аномалии.

Что такое полуконтролируемое обучение?

Важность огромных наборов размеченных данных для обучения систем машинного обучения может со временем уменьшиться из-за развития полуконтролируемого обучения.

Как следует из названия, этот подход сочетает в себе контролируемое и неконтролируемое обучение. Этот метод основан на использовании небольшого количества размеченных данных и большого количества неразмеченных данных для обучения систем. Размеченные данные используются для частичного обучения модели машинного обучения, а затем эта частично обученная модель используется для разметки неразмеченных данных — процесс, называемый псевдоразметкой. Затем модель обучается на полученной смеси помеченных и псевдопомеченных данных.

ВИДЕТЬ: Что такое ИИ? Все, что вам нужно знать об искусственном интеллекте

Жизнеспособность полуконтролируемого обучения недавно была повышена с помощью генеративно-состязательных сетей (Generative Adversarial Networks).ГАНы), системы машинного обучения, которые могут использовать размеченные данные для генерации совершенно новых данных, которые, в свою очередь, можно использовать для обучения модели машинного обучения.

Если полуконтролируемое обучение станет таким же эффективным, как контролируемое обучение, то тогда появится доступ к огромным объемам вычислительной техники. власть может оказаться более важной для успешного обучения систем машинного обучения, чем доступ к большим, маркированным наборы данных.

Что такое обучение с подкреплением?

Чтобы понять обучение с подкреплением, нужно подумать о том, как кто-то может научиться играть в игру. компьютерная игра старой школы впервые, когда они не знакомы с правилами и способами управления игра. Хотя они могут быть полными новичками, в конце концов, посмотрев на взаимосвязь между кнопками они нажимают, что происходит на экране и их игровой счет, их производительность улучшится и лучше.

Примером обучения с подкреплением является сеть Deep Q компании Google DeepMind, которая превзошла людей. в широком ассортименте старинных видеоигр. Система получает пиксели из каждой игры и определяет различную информацию о состоянии игры, например расстояние между объектами на экране. Затем он рассматривает, как состояние игры и действия, которые он выполняет в игре, связаны с набранным им количеством очков.

В процессе многих циклов игры система в конечном итоге выстраивает модель того, какие действия позволят максимизировать счет в игре. какое обстоятельство, например, в случае с видеоигрой Breakout, куда нужно переместить ракетку, чтобы перехватить мяч.

Как работает контролируемое машинное обучение?

Все начинается с обучения модели машинного обучения — математической функции, способной многократно изменять способ своей работы до тех пор, пока она не сможет делать точные прогнозы при наличии свежих данных.

Прежде чем начать обучение, вам сначала нужно выбрать, какие данные собирать, и решить, какие особенности данных важны.

Чрезвычайно упрощенный пример того, какие функции данных представлены в этом разделе. объяснитель от Google, где модель машинного обучения обучена распознавать разницу между пивом и вином на основе двух характеристик: цвета напитка и количества алкоголя (ABV).

Каждый напиток маркируется как пиво или вино, а затем собираются соответствующие данные с помощью спектрометра для измерения их цвета и ареометра для измерения содержания алкоголя.

Важным моментом, который следует отметить, является то, что данные должны быть сбалансированы, в данном случае иметь примерно равное количество образцов пива и вина.

ВИДЕТЬ: Руководство, как стать чемпионом по цифровой трансформации(Техреспублик Премиум)

Собранные данные затем делятся на большую часть для обучения, скажем, около 70%, и меньшую часть для оценки, скажем, оставшиеся 30%. Эти оценочные данные позволяют протестировать обученную модель, чтобы увидеть, насколько хорошо она будет работать на реальных данных.

Прежде чем приступить к обучению, обычно также проводится этап подготовки данных, во время которого выполняются такие процессы, как дедупликация, нормализация и исправление ошибок.

Следующим шагом будет выбор подходящей модели машинного обучения из широкого разнообразия. У каждого из них есть сильные и слабые стороны в зависимости от типа данных, например, некоторые подходят для обработки изображений, некоторые — для текста, а некоторые — для чисто числовых данных.

Прогнозы, сделанные с использованием контролируемого обучения, делятся на два основных типа: классификация, при которой модель помечает данные как предопределенные. классы, например, определение электронных писем как спама или не спама, и регрессия, где модель прогнозирует некоторую непрерывную ценность, например, домашнюю Цены.

• Как добраться: структурированные данные, семантика, робототехника и будущее искусственного интеллекта
• Блокчейн призван решить проблемы этики и предвзятости ИИ
• Кто величайший гольфист всех времен? Этот проект, основанный на данных, может дать ответ
• Facebook создает сеть, наполненную плохими ботами, чтобы помочь ей понять настоящих мошенников

Как работает контролируемое обучение машинному обучению?

По сути, процесс обучения включает в себя автоматическую настройку модели машинного обучения до тех пор, пока она не сможет давать точные результаты. прогнозы на основе данных, в примере Google, правильная маркировка напитка как пива или вина, когда модели задан цвет напитка и АБВ.

Хороший способ объяснить процесс обучения — рассмотреть пример с использованием простой модели машинного обучения, известной как линейная регрессия с градиентным спуском. В следующем примере модель используется для оценки количества мороженого, которое будет продано в зависимости от температуры наружного воздуха..

Представьте себе, что вы берете прошлые данные, показывающие продажи мороженого и температуру наружного воздуха, и наносите эти данные друг на друга на диаграмму рассеяния – по сути, создавая разброс дискретных точек.

Чтобы предсказать, сколько мороженого будет продано в будущем, исходя из температуры наружного воздуха, вы можете провести линию, проходящую через середины всех этих точек, как показано на рисунке ниже.

Как только это будет сделано, продажи мороженого можно будет прогнозировать при любой температуре, найдя точку, при которой линия проходит через определенную температуру и считывает соответствующие продажи при этой температуре точка.

Возвращаясь к обучению модели машинного обучения, в данном случае обучение модели линейной регрессии потребует регулируя вертикальное положение и наклон линии, пока она не окажется посередине всех точек разброса график.

На каждом этапе тренировочного процесса измеряется вертикальное расстояние каждой из этих точек от линии. Если изменение наклона или положения линии приводит к увеличению расстояния до этих точек, то наклон или положение линии изменяются в противоположном направлении, и выполняется новое измерение. взятый.

Таким образом, благодаря множеству крошечных корректировок наклона и положения линии, линия будет сохраняться. перемещаясь до тех пор, пока в конечном итоге не займет положение, которое хорошо подходит для распределения всех этих точки. После завершения процесса обучения эту линию можно будет использовать для точных прогнозов того, как температура повлияет на продажи мороженого, и можно сказать, что модель машинного обучения обучен.

Хотя обучение более сложным моделям машинного обучения, таким как нейронные сети, отличается в нескольких отношениях, оно схоже тем, что может также использовать подход градиентного спуска, где значение «веса», переменные, которые объединяются с входными данными для генерации выходных значений, неоднократно настраиваются до тех пор, пока выходные значения, создаваемые моделью, не станут как можно ближе к реальным. желанный.

• Машинное обучение против мошенничества с платежами: прозрачность и участие людей, чтобы свести к минимуму оскорбления клиентов
• Крестные отцы глубокого обучения Бенджио, Хинтон и ЛеКун говорят, что эта область может исправить свои недостатки
• Чтобы освоить искусственный интеллект, не забывайте о людях и процессах
• Как Adobe переносит исследования в области искусственного интеллекта и машинного обучения в конвейер продуктов

Как вы оцениваете модели машинного обучения?

После завершения обучения модели модель оценивается с использованием оставшихся данных, которые не использовались во время обучения, что помогает оценить ее реальную производительность.

При обучении модели машинного обучения обычно для обучения используется около 60% набора данных. Еще 20% данных используются для проверки прогнозов, сделанных моделью, и корректировки дополнительных параметров, которые оптимизируют выходные данные модели. Эта тонкая настройка предназначена для повышения точности прогнозов модели при представлении новых данных.

Например, один из тех параметров, значение которых корректируется во время этого процесса проверки, может быть связан с процессом, называемым регуляризацией. Регуляризация корректирует выходные данные модели, поэтому относительная важность обучающих данных при определении выходных данных модели снижается. Это помогает уменьшить переобучение — проблему, которая может возникнуть при обучении модели. Переобучение происходит, когда модель дает очень точные прогнозы при использовании исходных обучающих данных. но не может приблизиться к этому уровню точности при представлении новых данных, что ограничивает его реальный мир. использовать. Эта проблема связана с тем, что модель была обучена делать прогнозы, которые слишком тесно связаны с закономерности в исходных обучающих данных, что ограничивает способность модели обобщать свои прогнозы на новые данные. Обратная проблема — недостаточное оснащение, когда модель машинного обучения не может адекватно отразить закономерности, обнаруженные в обучающих данных, что ограничивает ее точность в целом.

Последние 20% набора данных затем используются для проверки результатов обученной и настроенной модели, чтобы убедиться, что прогнозы модели остаются точными при представлении новых данных.

Почему знание предметной области важно?

Еще одно важное решение при обучении модели машинного обучения — на каких данных обучать модель. Например, если вы пытаетесь построить модель, чтобы предсказать, был ли фрукт гнилым, вам понадобится больше информации, чем просто то, сколько времени прошло с момента сбора фрукта. Вам также будет полезно знать данные, связанные с изменением цвета этих фруктов по мере их гниения и температурой, при которой они хранились. Знание того, какие данные важны для получения точных прогнозов, имеет решающее значение. Вот почему при сборе обучающих данных часто привлекаются эксперты в предметной области, поскольку эти эксперты понимают тип данных, необходимых для составления надежных прогнозов.

Что такое нейронные сети и как они обучаются?

Очень важной группой алгоритмов как для контролируемого, так и для неконтролируемого машинного обучения являются нейронные сети. Они лежат в основе большей части машинного обучения, и хотя простые модели, такие как линейная регрессия, можно использовать для прогнозирования на основе небольшого количества функций данных, как в примере Google с пивом и вином, нейронные сети полезны при работе с большими наборами данных со многими функции.

Нейронные сети, структура которых во многом схожа со структурой мозга, представляют собой взаимосвязанные слои алгоритмов. называемые нейронами, которые передают данные друг другу, причем выход предыдущего слоя является входом последующего. слой.

Каждый уровень можно рассматривать как распознающий различные особенности общих данных. Например, рассмотрим пример использования машинного обучения для распознавания рукописных чисел от 0 до 9. Первый уровень нейронной сети может измерять интенсивность отдельных пикселей изображения, второй слой — может определять формы, такие как линии и кривые, а последний слой может классифицировать эту рукописную фигуру как число от 0 и 9.

ВИДЕТЬ:Специальный доклад: Как внедрить искусственный интеллект и машинное обучение (бесплатный PDF-файл)

Сеть учится распознавать пиксели, которые формируют форму чисел во время процесс обучения, постепенно настраивая важность данных при их перемещении между уровнями сеть. Это возможно благодаря тому, что каждая ссылка между уровнями имеет прикрепленный вес, значение которого можно увеличивать или уменьшать, чтобы изменить значимость этой ссылки. В конце каждого цикла обучения система проверит, приближается ли окончательный результат нейронной сети к реальности или нет. дальше от желаемого — например, становится ли сеть лучше или хуже распознавать рукописный номер 6. Чтобы сократить разрыв между фактическим и желаемым результатом, система будет работать в обратном направлении через нейронной сети, изменяя веса, присвоенные всем этим связям между слоями, а также связанное с ними значение, называемое предвзятость. Этот процесс называется обратным распространением.

В конечном итоге этот процесс определится со значениями этих весов и смещения, что позволит сети надежно выполнять заданной задаче, такой как распознавание рукописных чисел, и можно сказать, что сеть «научилась» выполнять конкретную задачу. задача.

Что такое глубокое обучение и что такое глубокие нейронные сети?

Подмножеством машинного обучения является глубокое обучение, при котором нейронные сети расширяются до разрастающихся сети с большим количеством слоев, содержащие множество модулей, которые обучаются с использованием огромного количества данные. Именно эти глубокие нейронные сети способствовали нынешнему прорыву в способности компьютеров выполнять такие задачи, как распознавание речи и компьютерное зрение.

Существуют различные типы нейронных сетей, имеющие разные сильные и слабые стороны. Рекуррентные нейронные сети — это тип нейронной сети, особенно хорошо подходящий для языковой обработки. и распознавание речи, в то время как сверточные нейронные сети чаще используются в изображениях. признание. Дизайн нейронных сетей также развивается, и в последнее время исследователи разработка более эффективной конструкции эффективного типа глубокой нейронной сети, называемой долгой кратковременной памятью. или LSTM, что позволяет ему работать достаточно быстро, чтобы его можно было использовать в системах по запросу, таких как Google Translate.

Техника эволюционных алгоритмов искусственного интеллекта даже используется для оптимизации нейронных сетей благодаря процессу, называемому нейроэволюцией. Этот подход был продемонстрирован Uber AI Labs, которая опубликовала статьи об использовании генетических алгоритмов для обучения глубоких нейронных сетей решению задач обучения с подкреплением.

• Как должен выглядеть мир? У некоторых нейронных сетей есть свой ответ, нашли исследователи
• Поскольку ИИ появляется во все большем количестве научных вычислений, новый тест на время позволяет измерить, насколько быстро можно обучить нейронную сеть.
• Нейронная сеть обучена контролировать дозы анестетика и удерживать пациентов во время операции.
• Состояние ИИ в 2020 году: момент ИИ в биологии и здравоохранении, этика, прогнозы и графические нейронные сети

Осуществляется ли машинное обучение исключительно с помощью нейронных сетей?

Нисколько. Существует множество математических моделей, которые можно использовать для обучения системы прогнозированию.

Простая модель — логистическая регрессия, которая, несмотря на название, обычно используется для классификации данных, например, спам и не спам. Логистическую регрессию легко реализовать и обучить при выполнении простой двоичной классификации, и ее можно расширить, чтобы пометить более двух классов.

Другим распространенным типом модели являются машины опорных векторов (SVM), которые широко используются для классификации данных и прогнозирования с помощью регрессии. SVM могут разделять данные на классы, даже если отображаемые данные перемешаны таким образом, что их сложно разделить на отдельные классы. Для этого SVM выполняют математическую операцию, называемую трюком с ядром, которая сопоставляет точки данных с новыми значениями, чтобы их можно было четко разделить на классы.

Выбор используемой модели машинного обучения обычно зависит от многих факторов, таких как размер и количество функций в наборе данных, причем каждая модель имеет свои плюсы и минусы.

Почему машинное обучение настолько успешно?

Хотя машинное обучение не является новой технологией, в последние годы интерес к этой области резко возрос.

Это возрождение последовало за серией прорывов: глубокое обучение установило новые рекорды точности в таких областях, как распознавание речи и языка, а также компьютерное зрение.

Эти успехи стали возможными, главным образом, благодаря двум факторам; Одним из них является огромное количество изображений, речи, видео и текста, доступных для обучения систем машинного обучения.

Но еще более важным стало появление огромных мощностей для параллельной обработки, благодаря современные графические процессоры (GPU), которые можно объединять в кластеры для формирования машинного обучения электростанции.

Сегодня любой, у кого есть подключение к Интернету, может использовать эти кластеры для обучения моделей машинного обучения с помощью облачных сервисов, предоставляемых такими компаниями, как Amazon, Google и Microsoft.

По мере роста использования машинного обучения компании теперь создают специализированное оборудование, предназначенное для запуска и обучения моделей машинного обучения. Примером одного из таких специализированных чипов является Tensor Processing Unit (TPU) от Google, который ускоряет скорость машинного обучения. модели, созданные с использованием библиотеки программного обеспечения Google TensorFlow, могут извлекать информацию из данных, а также скорость, с которой эти модели могут быть преобразованы. обучен.

Эти чипы используются не только для обучения моделей Google DeepMind и Google Brain, но и моделей, лежащих в основе Google. Переводчик и распознавание изображений в Google Photo, а также сервисы, позволяющие пользователям создавать модели машинного обучения. с использованием Исследовательское облако TensorFlow от Google. Третье поколение этих чипов было представлено на конференции Google I/O в мае 2018 года и с тех пор было упаковано в мощные центры машинного обучения, называемые модулями, которые могут выполнять более ста тысяч триллионов операций с плавающей запятой в секунду. (100 петафлопс).

В 2020 году Google заявили, что их TPU четвертого поколения были в 2,7 раза быстрее, чем TPU предыдущего поколения в MLPerf, эталон, который измеряет, насколько быстро система может выполнять логические выводы с использованием обученной модели машинного обучения. Эти постоянные обновления TPU позволили Google улучшить свои сервисы, основанные, например, на моделях машинного обучения. сокращение вдвое времени, затрачиваемого на обучение моделей, используемых в Google Translate.

Поскольку аппаратное обеспечение становится все более специализированным, а программные платформы машинного обучения совершенствуются, оно становится все более специализированным. задачи машинного обучения все чаще выполняются на телефонах и компьютерах потребительского уровня, а не в облаке. центры обработки данных. Летом 2018 года Google предприняла шаг к тому, чтобы предложить такое же качество автоматического перевода на телефонах, находящихся в автономном режиме, что и доступен онлайн благодаря внедрению локального нейронного машинного перевода для 59 языков в приложение Google Translate для iOS и Андроид.

• Великая надежда науки о данных: машинное обучение может исправить ужасную гигиену данных
• Машинное обучение как услуга: можно ли научить конфиденциальности?
• Пять способов, с помощью которых ваша компания может начать внедрение искусственного интеллекта и машинного обучения
• Почему искусственный интеллект и машинное обучение должны быть частью ваших планов цифровой трансформации

Что такое АльфаГо?

Пожалуй, самой известной демонстрацией эффективности систем машинного обучения является триумф ИИ Google DeepMind AlphaGo в 2016 году над человеком-гроссмейстером в Го, подвиг, которого не ожидали до 2026 года. Го — древняя китайская игра, сложность которой вводила в заблуждение компьютеры на протяжении десятилетий. Го имеет около 200 возможных ходов за ход, по сравнению с 20 в шахматах. В ходе игры в го существует так много возможных ходов, что предварительное изучение каждого из них с целью определения лучшего варианта слишком затратно с вычислительной точки зрения. Вместо этого AlphaGo обучалась игре, беря ходы, сделанные людьми-экспертами в 30 миллионах игр в го, и передавая их в нейронные сети глубокого обучения.

Обучение необходимых сетей глубокого обучения может занять очень много времени, требуя огромных объемов данных для приниматься и повторяться по мере того, как система постепенно совершенствует свою модель для достижения наилучшего результата. исход.

Однако, совсем недавно Google усовершенствовал процесс обучения с помощью AlphaGo Zero., система, которая играла «совершенно случайные» игры против себя, а затем извлекала уроки из результатов. На конференции Neural Information Processing Systems (NIPS) в 2017 году генеральный директор Google DeepMind Демис Хассабис рассказал, что AlphaZero, обобщенная версия AlphaGo Zero, также освоила игру в шахматы. и сёги.

ВИДЕТЬ: Платформа бизнес-аналитики Tableau: шпаргалка (бесплатная загрузка в формате PDF) (Техреспублик)

DeepMind продолжает открывать новые горизонты в области машинного обучения. В июле 2018 года DeepMind сообщила, что ее ИИ-агенты научились играть в многопользовательский 3D-шутер от первого лица 1999 года Quake III Arena, достаточно хорошо, чтобы побеждать команды игроков-людей.. Эти агенты научились играть в игру, используя не больше информации, чем доступно игрокам-людям. входные данные — это пиксели на экране, когда они опробовали случайные действия в игре, и отзывы об их производительности во время каждого из них. игра.

Совсем недавно DeepMind продемонстрировал агента искусственного интеллекта, способного проявлять сверхчеловеческую производительность в нескольких классических играх Atari., улучшение по сравнению с более ранними подходами, в которых каждый ИИ-агент мог хорошо работать только в одной игре. Исследователи DeepMind говорят, что эти общие возможности будут важны, если исследования ИИ будут направлены на решение более сложных задач реального мира.

Самое впечатляющее применение исследований DeepMind произошло в конце 2020 года, когда компания представила AlphaFold 2, систему, возможности которой были объявлен знаковым прорывом в медицинской науке.

AlphaFold 2 — это нейронная сеть, основанная на внимании, которая потенциально может значительно ускорить темпы разработки лекарств и моделирования заболеваний. Система может отображать трехмерную структуру белков, просто анализируя их строительные блоки, известные как аминокислоты. В конкурсе «Критическая оценка прогнозирования структуры белка» AlphaFold 2 смог определить трехмерную структуру белка. структура белка с точностью, конкурирующей с кристаллографией, золотым стандартом убедительного моделирования. белки. Однако, хотя кристаллографии требуются месяцы, чтобы получить результаты, AlphaFold 2 может точно моделировать структуры белка за несколько часов.

• Фармацевтические компании рассчитывают, что облачные вычисления и искусственный интеллект сделают разработку лекарств быстрее и дешевле.
• Прорыв DeepMind в области искусственного интеллекта в сворачивании белков ускорит медицинские открытия
• AlphaGo от Google уходит в отставку после победы над чемпионом Китая по го
• DeepMind AlphaGo Zero учится самостоятельно, без вмешательства мешка с мясом

Для чего используется машинное обучение?

Системы машинного обучения используются повсюду вокруг нас и сегодня являются краеугольным камнем современного Интернета.

Системы машинного обучения используются, чтобы рекомендовать, какой продукт вы, возможно, захотите купить в следующий раз на Amazon или какое видео вы, возможно, захотите посмотреть на Netflix.

Каждый поиск в Google использует несколько систем машинного обучения, чтобы понять язык вашего запроса и персонализировать результаты, чтобы любители рыбалки, ищущие «бас», не были завалены результатами о гитары. Аналогично, системы распознавания спама и фишинга Gmail используют модели, обученные машинному обучению, чтобы защитить ваш почтовый ящик от мошеннических сообщений.

Одной из наиболее очевидных демонстраций возможностей машинного обучения являются виртуальные помощники, такие как Siri от Apple, Alexa от Amazon, Google Assistant и Microsoft Cortana.

Каждый из них в значительной степени полагается на машинное обучение для поддержки распознавания голоса и способности понимать естественный язык, а также нуждается в огромном корпусе, который можно использовать для ответа на запросы.

Но помимо этих весьма заметных проявлений машинного обучения, системы начинают находить применение практически во всех отраслях. Эти эксплуатации включают в себя: компьютерное зрение для беспилотных автомобилей, дронов и роботов-доставщиков; распознавание и синтез речи и языка для чат-ботов и сервисных роботов; распознавание лиц для наблюдения в таких странах, как Китай; помощь рентгенологам в выявлении опухолей с помощью рентгеновских лучей, помощь исследователям в обнаружении генетических последовательностей, связанных с заболеваниями, и выявлении молекул, которые могут привести к созданию более эффективных лекарств в здравоохранении; обеспечение возможности прогнозного обслуживания инфраструктуры путем анализа данных датчиков Интернета вещей; лежит в основе компьютерного зрения, которое делает возможным создание безкассового супермаркета Amazon Go, предлагая достаточно точная транскрипция и перевод речи для деловых встреч – список можно продолжать и продолжать. на.

В 2020 году GPT-3 (Генераторный предварительно обученный трансформатор 3) от OpenAI попал в заголовки газет благодаря своей способности писать, как человек, практически на любую тему, о которой вы только могли подумать.

GPT-3 — это нейронная сеть, обученная на миллиардах статей на английском языке, доступных в открытой сети, и может генерировать статьи и ответы в ответ на текстовые подсказки. Хотя на первый взгляд это было часто трудно отличить текст, созданный GPT-3, от текста, созданного человеком., при ближайшем рассмотрении предложения системы не всегда выдерживали проверку.

Глубокое обучение может в конечном итоге проложить путь к роботам, которые смогут учиться непосредственно у людей. Nvidia создает систему глубокого обучения, предназначенную для обучения робота выполнению задачи, просто наблюдая за тем, как эту работу выполняет человек..

• Что такое ГПТ-3? Все, что вашему бизнесу нужно знать о революционной языковой программе искусственного интеллекта OpenAI
• Гигантский GPT-3 от OpenAI намекает на ограничения языковых моделей для ИИ
• Стартап использует искусственный интеллект и машинное обучение для проверки анкетных данных в режиме реального времени.
• Как вездесущий ИИ будет проникать во все, что мы делаем, без нашего ведома

Объективны ли системы машинного обучения?

Как и следовало ожидать, выбор и объем данных, используемых для обучения систем, будут влиять на задачи, для которых они подходят. Растет беспокойство по поводу того, как системы машинного обучения кодифицируют человеческие предубеждения и социальное неравенство, отраженные в данных их обучения.

Например, в 2016 году Рэйчел Тэтман, научный сотрудник Национального научного фонда в Кафедра лингвистики Вашингтонского университета обнаружила, что система распознавания речи Google выполненный лучше подходит для мужских голосов, чем для женских при автоматическом субтитрах к образцу видео на YouTube она объяснила этот результат «несбалансированными тренировочными наборами» с преобладанием говорящих мужчин.

Системы распознавания лиц были показаны им труднее правильно определить женщины и люди с более темной кожей. Вопросы об этичности использования таких навязчивых и потенциально предвзятых систем для работы полиции привели к тому, что крупные технологические компании временно прекратили продажи систем распознавания лиц правоохранительным органам.

В 2018 году Amazon также отказались от инструмента подбора персонала на основе машинного обучения, который определял предпочтение кандидатов-мужчин.

По мере того, как системы машинного обучения осваивают новые области, такие как помощь в медицинской диагностике, появляется возможность перекос в сторону предложения лучшего обслуживания или более справедливого обращения с определенными группами людей становится все более беспокойство. Сегодня исследования продолжаются способы компенсации предвзятости в самообучающихся системах.

А как насчет воздействия машинного обучения на окружающую среду?

Воздействие на окружающую среду питания и охлаждения вычислительных ферм, используемых для обучения и запуска моделей машинного обучения, было тема доклада Всемирного экономического форума в 2018 году. Один По оценкам на 2019 год, мощность, необходимая системам машинного обучения, удваивается каждые 3,4 месяца..

По мере роста размеров моделей и наборов данных, используемых для их обучения, например недавно выпущенная модель прогнозирования языка GPT-3 представляет собой обширную нейронную сеть с примерно 175 миллиардами параметров, как и обеспокоенность по поводу углеродного следа ML.

Необходимо учитывать различные факторы: модели обучения требуют гораздо больше энергии, чем их запуск после обучение, но стоимость использования обученных моделей также растет по мере роста спроса на услуги на базе машинного обучения. Существует также контраргумент, что Прогностические возможности машинного обучения потенциально могут оказать значительное положительное влияние в ряде ключевых областей, от окружающей среды до здравоохранения, как продемонстрировал AlphaFold 2 от Google DeepMind.

Какие курсы по машинному обучению лучшие?

Этот курс широко рекомендуется новичкам, чтобы освоить основы машинного обучения. бесплатная серия лекций Стэнфордского университета и Coursera эксперт по искусственному интеллекту и основатель Google Brain Эндрю Нг.

Совсем недавно Нг выпустил свой Специализированный курс глубокого обучения, который фокусируется на более широком спектре тем и применений машинного обучения, а также на различных архитектурах нейронных сетей.

Если вы предпочитаете учиться по принципу «сверху вниз», когда вы начинаете с запуска обученных моделей машинного обучения и позже углубляетесь в их внутреннюю работу, тогда fast.ai Практическое глубокое обучение для программистов рекомендуется, желательно для разработчиков с годовым опытом работы на Python по данным fast.ai. Оба курса имеют свои сильные стороны: курс Нга дает обзор теоретических основ машиностроения. обучение, в то время как предложение fast.ai сосредоточено на Python, языке, широко используемом инженерами по машинному обучению и обработке данных. ученые.

Это еще один бесплатный онлайн-курс с высоким рейтингом, получивший высокую оценку как за широту охвата, так и за качество преподавания. EdX и Колумбийский университет: введение в машинное обучение, хотя студенты отмечают, что для этого требуются глубокие знания математики вплоть до университетского уровня.

Как начать работу с машинным обучением?

Технологии, позволяющие разработчикам самостоятельно изучать машинное обучение, становятся все более распространенными. из камеры AWS DeepLens с поддержкой глубокого обучения к Наборы AIY от Google на базе Raspberry Pi.

Какие сервисы доступны для машинного обучения?

Все основные облачные платформы — Amazon Web Services, Microsoft Azure и Google Cloud Platform — предоставляют доступ к оборудованию, необходимому для обучения и запуска моделей машинного обучения. Google позволяет пользователям облачной платформы протестировать свои тензорные процессоры — специальные чипы, конструкция которых оптимизирована для обучения и запуска моделей машинного обучения.

Эта облачная инфраструктура включает в себя хранилища данных, необходимые для проведения огромного объема обучения. данные, сервисы для подготовки этих данных к анализу и инструменты визуализации для отображения результатов. четко.

Новые сервисы с помощью Google даже упрощают создание пользовательских моделей машинного обучения. предлагая услугу, автоматизирующую создание моделей искусственного интеллекта, под названием Cloud AutoML.. Эта служба перетаскивания создает собственные модели распознавания изображений и требует от пользователя отсутствия опыта машинного обучения, аналогично Microsoft Azure Machine Learning Studio. Аналогичным образом, у Amazon есть собственные сервисы AWS. предназначен для ускорения процесса обучения моделей машинного обучения.

Для специалистов по данным Google Cloud Платформа искусственного интеллекта — это управляемая служба машинного обучения, которая позволяет пользователям обучать, развертывать и экспортировать собственные модели машинного обучения на основе либо на платформе Google TensorFlow ML с открытым исходным кодом, либо на платформе открытой нейронной сети Keras, и которую можно использовать с изучение научного комплекта библиотеки Python и XGBoost.

Администраторы баз данных без опыта работы с данными могут использовать Google BigQueryML, бета-сервис, который позволяет администраторы могут вызывать обученные модели машинного обучения с помощью команд SQL, что позволяет делать прогнозы в базе данных, который проще, чем экспортировать данные в отдельную среду машинного обучения и аналитики.

Для фирм, которые не хотят создавать свои собственные модели машинного обучения, облачные платформы также предлагают услуги по требованию на основе искусственного интеллекта, такие как голос, зрение и распознавание языка.

Тем временем IBM, наряду со своими более общими предложениями по требованию, также пытается продавать ИИ для конкретных секторов. услуги, направленные на все, от здравоохранения до розничной торговли, группируя эти предложения под своим IBM Watson. зонтик.

В начале 2018 года Google расширил свои услуги, основанные на машинном обучении, на мир рекламы, выпустив набор инструментов для создания более эффективной рекламы, как цифровой, так и физической.

Хотя Apple не пользуется такой же репутацией в области передовых технологий распознавания речи, обработки естественного языка и компьютерного зрения, как Google и Amazon, она инвестирует в улучшение своих услуг искусственного интеллекта, при этом бывший руководитель отдела машинного обучения Google отвечает за стратегию искусственного интеллекта в Apple, включая разработку своего помощника Сири и сервис машинного обучения по требованию Core ML.

В сентябре 2018 года NVIDIA запустила комбинированную аппаратно-программную платформу, предназначенную для установки в центрах обработки данных, способную ускорить скорость, с которой обученные модели машинного обучения могут выполнять распознавание голоса, видео и изображений, а также другие услуги, связанные с МО.

 Платформа гипермасштабного вывода NVIDIA TensorRT использует Графические процессоры NVIDIA Tesla T4, который обеспечивает до 40-кратного увеличения производительности процессоров при использовании моделей машинного обучения для получения выводов на основе данных и программную платформу TensorRT, предназначенную для оптимизации производительности обученных нейронных сетей. сети.

• Amazon AWS представляет RedShift ML, чтобы «предоставить машинное обучение большему количеству строителей»
• Microsoft выпускает предварительную версию обучающего приложения Lobe для машинного обучения
• IBM надеется усилить цифровой опыт US Open с помощью системы обработки естественного языка Watson
• Informatica покупает стартап в сфере искусственного интеллекта для сопоставления сущностей и схем

Какие библиотеки программного обеспечения доступны для начала работы с машинным обучением?

Существует множество программных платформ для начала обучения и запуска моделей машинного обучения. обычно для языков программирования Python, R, C++, Java и MATLAB, причем Python и R наиболее широко используются в поле.

Известные примеры включают Google TensorFlow, библиотека с открытым исходным кодом Keras, Библиотека Python scikit-learn, платформа глубокого обучения CAFFE и библиотека машинного обучения Torch.

дальнейшее чтение

• Специальный доклад: Использование Интернета вещей на предприятии (бесплатный PDF-файл) (Техреспублик)
• Машинное обучение и Интернет вещей
• Машинное обучение: шпаргалка (Техреспублик)
• Аналитика в 2018 году: искусственный интеллект, Интернет вещей и мультиоблако, или крах
• 5 советов, как преодолеть препятствия на пути внедрения машинного обучения на предприятии (Техреспублик)