Landing AI нанимает эксперта по видению Дешоу, чтобы исправить ошибку больших данных

Область глубокого обучения страдает от того, что можно назвать ошибкой больших данных: убеждения, что все больше и больше данных — это всегда хорошо.

Возможно, пришло время сосредоточиться на качестве, а не только на количестве.

«Существует очень фундаментальная проблема, с которой сталкиваются многие ИИ», — сказал Эндрю Нг, основатель и генеральный директор Landing. AI, стартап, работающий над совершенствованием технологии для промышленного использования, в интервью ZDNet неделя.

«Большая часть искусственного интеллекта ориентирована на максимизацию количества калорий, и это работает до определенного момента», — сказал он.

«Иногда у вас действительно много данных, но когда у вас небольшой набор данных, это больше зависит от качества данных, а не от их объема».

Нг, который руководил разработкой крупномасштабных систем искусственного интеллекта, включая технологии распознавания речи, когда он был основателем подразделения Google Brain в Десять лет назад Google получил мандат на создание технологии искусственного интеллекта, которая будет использоваться корпоративными клиентами в практических целях, например, в заводских условиях. осмотр.

Посадочный ИИ получил $57 млн ​​финансирования на сегодняшний день в одном раунде в ноябре прошлого года от McRock Capital Insight Partners, Taiwania Capital, Canada Pension. Plan Investment Board, Intel Capital, Samsung Catalyst Fund, DRIVE Catalyst компании Far Eastern Group, Walsin Lihwa и AI Фонд.

Нг также является соучредителем Coursera, компании, занимающейся онлайн-курсами. и адъюнкт-профессор информатики в Стэнфордском университете.

Заблуждение больших данных коренится в технической необходимости форм глубокого обучения ИИ для больших выборок в заданной области исследований. Подходы к глубокому обучению сосредоточены на получении достаточного количества точек данных, чтобы избежать так называемого «переобучения», когда все более крупные нейронные сети просто запоминают данные обучения.

Если глубокое обучение запоминает обучающие данные, оно не может сделать обобщение о природе этих данных, что обычно является ключом к полезности нейронной сети для прогнозирования.

Но бюджет в миллионы или даже миллиарды данных невозможен в некоторых контекстах, таких как производственная проверка. система, в которой один дефект из миллиона идентичных деталей может быть единственной частью данных о производстве. недостатки.

«Я создал системы искусственного интеллекта на основе сотен миллионов изображений» в Google и в качестве главного научного сотрудника в Baidu. «Эти методы на самом деле не работают, когда у вас всего 50 изображений», — сказал он.

Нг сказал, что Landing AI смогла разработать полезные промышленные модели для клиентов с относительно небольшим количеством образцов данных.

«Вместо больших данных нам пришлось сосредоточиться на качественных данных», — сказал Нг.

В отличие от типичного подхода к большим данным, использование такого небольшого размера выборки, состоящего из десятков, а не миллионов примеров, может быть эффективным.

Также: ИИ должен решить проблему разреженности, говорит Гопи Прашант из Landing AI

«Я неоднократно удивлялся тому, насколько хорошо мы можем заставить нейронную сеть работать всего с 50 изображениями, если убедиться, что в ней есть 50 действительно хороших изображений», — сказал Нг. " инструменты, которые мы внедряем в Landing AI, у вас есть только 50 изображений, так как же их пометить, чтобы добиться максимальной производительности всего лишь от 50? изображений."

«Я чувствую, что мы раскрыли рецепт» использования глубокого обучения в производстве, сказал он.

В каком-то смысле ошибку больших данных можно рассматривать как «хвост, виляющий собакой». Чтобы избежать переобучения, все внимание в глубоком обучении было сосредоточено на том, как сделать глубокое обучение модель, структура программы, работает оптимально.

Теперь Нг выступает за то, чтобы уделять больше внимания тому, какие данные являются наиболее важными, и чтобы модель соответствовала этому.

«Рецепт, который такие люди, как я и многие мои друзья, разработали, чтобы заставить ИИ работать в компании-производители потребительского программного обеспечения не работают для компаний-производителей и многих других компаний», — сказал Нг.

«Фундаментальная проблема заключается в том, что если у вас есть сто миллиардов или миллионы пользователей, вы можете построить монолитную систему искусственного интеллекта; производство – это нечто иное».

Необходимо много-много архитектур, много разных нейронных сетей, подходящих для обработки данных.

«Проблема, с которой сталкивается область ИИ, заключается в том, как мы можем помочь производству создать не одну или дюжину моделей ИИ, а помочь 10 000 разных производителей создают 10 000 различных моделей искусственного интеллекта, потому что каждому заводу, каждому компоненту нужны свои собственные модель."

Задача стартапа, конечно же, заключается в том, «как это сделать, не нанимая 10 000 инженеров». На заре Landing AI — компания была основана в 2017 году — Нг говорил, что он был «наивен».

«В первые дни мы проводили много консультационной работы, пытаясь выполнить большую часть настройки мы сами, и это просто не масштабировалось». Нг считает, что многие стартапы в области ИИ сталкиваются с этой проблемой, становясь консалтинговые фирмы.

Также: Absci и глубокое обучение в поисках идеального белка

Компания сосредоточилась на создании инструментов, позволяющих всем клиентам выполнять настройку. По его словам, такой же подход должен быть и в таких отраслях, как здравоохранение.

«Обработка данных действительно сложна», — заметил Нг. «Я думаю, что есть опытные инженеры искусственного интеллекта, которые интуитивно делают долгое время, но создание инструментов, которые позволили бы многим людям быстро и легко сделать это успешно, было очень серьезной технической задачей».

Нг распространяет евангелие, рассказывая о новом акценте на качестве и о том, как подготовить данные для подходов машинного обучения.

Он называет свою точку зрения «ИИ, ориентированный на данные».

Более подробную информацию о мышлении Нг можно найти в видеоинтервью еще в марте.

Компания в среду объявил он нанял Дэвида Л. Дешоу, пионера в области технологий компьютерного зрения, который ранее был главным архитектором систем машинного зрения в стартапе Integro Technologies.

Большая часть работы по машинному обучению, которая велась в промышленности на протяжении многих лет, заключалась в установке камер в цехах. этаж, чтобы наблюдать за производственной линией, отметил Нг. Дешоу был пионером в перемещении наблюдения на фабрику. сказал.

Также: Стартап Abacus.ai, занимающийся искусственным интеллектом, получил 50 миллионов долларов в серии C на развитие гибридных моделей глубокого обучения

«На протяжении многих десятилетий, даже до недавнего бума компьютерного зрения, производители устанавливали камеры на заводах», — сказал Нг. «Камеры очень хорошие при измерении точной длины детали и обнаружении определенных типов дефектов, если вы можете запрограммировать правило, чтобы точно указать, что вы ищете для."

Цель современных систем глубокого обучения — создать гораздо более гибкий ИИ для обнаружения дефектов без таких жестких подходов, основанных на правилах.

«В мире машинного зрения и промышленной автоматизации он гуру», — сказал Нг из Дешоу. «Сегодняшние поколения инженеров по зрению прошли обучение у Дэвида.

«Если бы вы могли привлечь одного человека из области машинного зрения, это был бы он», — сказал Нг.