Исследователи разрабатывают алгоритм, который не позволит автоматизированным системам увековечивать человеческую дискриминацию.
За последние несколько лет исследования подняли опасения по поводу потенциальной предвзятости в машинном обучении системы. Исследователи предполагают, что алгоритмы могут быть столь же подвержены ошибкам, как и люди, которые их создают, и могут непреднамеренно усиливать человеческие предрассудки.
Потенциал алгоритмической предвзятости может проявиться в форме дискриминации в показ онлайн-рекламы, практика найма, предложения по кредиту и даже сайты знакомств.
Смотрите также
Как эти скрытые водяные знаки на видео могут помочь обнаружить пиратские и подделанные изображения
Испанские исследователи разрабатывают обратимый метод цифровой маркировки, используя стандарт сжатия видео H.264.
Прочитай сейчасСейчас многопрофильная команда из отдела обработки данных каталонского технологического центра Eurecat, совместно с Университетом Помпеу Фабра и Техническим университетом Берлина хочет исправить это проблема.
Они работают над алгоритмом, который реорганизует результаты поиска, не влияя на достоверность рейтинга. Они назвали алгоритм FA*IR, где IR означает поиск информации.
Карлос Кастильо, директор отдела обработки данных в Eurecat, рассказал ZDNet, что «в большинстве случаев неясно, как автоматизированные системы приходят к своим выводам». Смещение не является преднамеренным, а «следствием ввода данных и взаимодействия переменных».
Команда Кастильо сначала проанализировала несколько инструментов, основанных на алгоритмах ранжирования машинного обучения, предназначенных для оценки рисков, таких как COMPAS в США или Riscanvi в Каталонии.
Они также изучили принцип работы настроек рекламы Google: АдФишер, автоматизированный инструмент, свободно доступный на GitHub, который исследует, как взаимодействуют поведение пользователей, реклама Google и настройки рекламы Google.
Обладая всеми этими исходными данными и используя реальные наборы данных с платформы поиска работы и системы кредитования, исследователи разработали прототип, который может реорганизовать результаты поиска так, чтобы профили, находящиеся, скажем, на 100-й позиции, имели те же возможности, что и те, которые отображаются в верхней части места.
«Человек, использующий наш алгоритм, решает, кто является защищенной группой, а FA*IR избегает количества людей принадлежность к этой группе ниже определенного процента, независимо от того, в каком месте вы прекращаете поиск", Кастильо говорит.
Его междисциплинарная команда, в которую входит бывший главный научный сотрудник Yahoo Рикардо Баеза-Йейтс, сейчас пытается разработать более сложный продукт с открытым исходным кодом, основанный на справедливом алгоритме.
Первым шагом является работа над надстройкой для поисковых платформ Elasticsearch и Apache Solr, чтобы любой разработчик мог использовать ее в качестве поисковой системы. Однако конечной целью является создание «справедливой поисковой системы».
С этой целью FA*IR рассчитывает на поддержку Сообщество лаборатории прозрачности данных, который предоставил проекту грант в размере 50 000 евро. Лабораторию спонсируют, среди прочего, Telefónica и Mozilla, а также исследовательская группа MIT Connection Science.
Хотя Кастильо прекрасно понимает, что «технологии не решают всего», он также убежден, что FA*IR может «обеспечить стимулы для перемен».
Для Ориола Льорета, директора лаборатории Telefonica I+D Barcelona и руководителя отдела инноваций в продуктах, все это вопрос доверия.
«Когда компании используют инструменты выбора контента, и даже больше, когда этот контент связан с людьми, у них есть два варианта: надежны и обеспечивают доверие пользователям: они должны ввести в автоматический алгоритм элементы коррекции смещения или сделать его прозрачным», — сказал он. говорит.
Поскольку второй вариант раскрытия деталей может сделать участвующие предприятия менее конкурентоспособными, Первый подход является наиболее часто выбираемым вариантом, и он также обеспечивает дифференциацию рынка, сказал он. добавляет.
Однако Сюмеу Планеллс, специалист по данным из дублинской компании Chameleon Advertising Technologies, утверждает, что с того момента, как вы искусственно включаете защищенные группы в результатах ранжирования, вы снижаете эффективность своей поисковой системы, поскольку вам приходится оттеснять другие действительные профили.
«С точки зрения производительности лучше всего для вашей компании, чтобы среди 10 лучших результатов были 10 лучших профилей, независимо от того, кто они», — говорит он.
Узнайте больше об искусственном интеллекте
- Samsung открывает лабораторию искусственного интеллекта в Канаде
- Что нужно для развития навыков искусственного интеллекта
- Искусственный интеллект коренным образом трансформирует корпоративное программное обеспечение