Алгоритмы наблюдают за нами, но кто наблюдает за алгоритмами?

Расширение возможностей алгоритмов для принятия решений, потенциально меняющих жизнь граждан, по-прежнему сопряжено со значительным риском. несправедливой дискриминации, согласно новому отчету, опубликованному британским Центром этики данных и инноваций. (ЦДЕИ). В некоторых секторах необходимость предоставления адекватных ресурсов для обеспечения беспристрастности систем ИИ становится особенно острой, а именно, в государственном секторе и, в частности, в полиции.

CDEI провел два года, исследуя использование алгоритмов как в частном, так и в государственном секторе. секторе и столкнулся со многими различными уровнями зрелости в борьбе с рисками, создаваемыми алгоритмы. Например, в финансовом секторе регулирование использования данных для принятия решений, похоже, гораздо более строгое, тогда как местные органы власти все еще только начинают решать этот вопрос.

Хотя осведомленность об угрозах, которые может представлять собой ИИ, растет во всех отраслях, в докладе обнаружили, что не существует конкретного примера хорошей практики, когда речь идет о формировании ответственного алгоритмы. По данным CDEI, это особенно проблематично при предоставлении государственных услуг, таких как полицейская деятельность, от которых граждане не могут отказаться.

ВИДЕТЬ: Управление искусственным интеллектом и машинным обучением на предприятии в 2020 году: технологические лидеры активизируют разработку и реализацию проектов (Техреспублик Премиум)

Исследование, проведенное в рамках отчета пришел к выводу В правоохранительных органах Великобритании широко распространена обеспокоенность по поводу отсутствия официальных указаний по использованию алгоритмов в работе полиции. «Этот пробел следует устранить в срочном порядке», — говорится в исследовании.

Полицейские силы быстро расширяют внедрение цифровых технологий: в начале года Правительство объявило о выделении 63,7 млн ​​фунтов стерлингов (85 млн долларов США) на развитие полицейских технологий. программы. Новые инструменты варьируются от технологий визуализации данных до алгоритмов, которые могут выявить закономерности потенциальных преступлений и даже предсказать вероятность повторного правонарушения.

Однако если инструменты анализа данных развернуты без соответствующих мер безопасности, они могут иметь непредвиденные последствия. Отчеты неоднократно показывали, что данные полиции могут быть предвзятыми и часто не отражают распределение преступности. Согласно данным, опубликованным Министерством внутренних дел в прошлом году, например, те, кто идентифицирует себя как чернокожих или Вероятность того, что офицер остановит и обыщет чернокожих британцев, почти в десять раз выше, чем у белых. человек.

Система искусственного интеллекта, которая полагается на такого рода исторические данные, рискует увековечить дискриминационную практику. Полиция метрополитена использовала инструмент под названием «Матрица банд» для выявления тех, кто рискует участвовать в групповом насилии в Лондоне; Судя по устаревшим данным, в этой технологии непропорционально много чернокожих молодых людей. После того, как активисты выразили обеспокоенность, база данных матрицы была в конечном итоге пересмотрена, чтобы уменьшить представленность лиц чернокожего африканского происхождения из Карибского бассейна.

Такие примеры, как «Матрица банд», привели к растущей обеспокоенности среди полицейских сил, и эта проблема еще не решена под руководством правительства, утверждает CDEI. Несмотря на то, что ведется работа по разработке национального подхода к анализу данных в полиции, на данный момент полицейские силы приходится прибегать к неоднородным способам создания комитетов по этике и составлению руководств – и не всегда убедительно. Результаты.

Аналогичные выводы были сделаны в отчете, опубликованном ранее в этом году британским комитетом по стандартам общественной жизни, возглавляемым бывшим главой МИ-5 лордом Эвансом, который выразил особая озабоченность при использовании систем искусственного интеллекта в полиции. Эванс отметил, что в законодательстве не существует скоординированного процесса оценки и применения алгоритмических инструментов. правоприменение, и что зачастую отдельные полицейские управления сами должны разрабатывать свои собственные этические нормы. рамки.

Проблемы, с которыми полиция сталкивается при использовании данных, также распространены и в других государственных службах. Наука о данных применяется во всех правительственных ведомствах к решениям, принимаемым в отношении благосостояния граждан, жилья, образования или транспорта; и опора на предвзятые исторические данные также может привести к несправедливым результатам.

Например, всего несколько месяцев назад правительственный регулирующий орган по экзаменам правительства Великобритании Ofqual разработал алгоритм, который выставлять учащимся оценки за выпускной год, чтобы избежать проведения медосмотров в разгар COVID-19. пандемия. Выяснилось, что алгоритм давал несправедливые прогнозы, основанное на предвзятых данных о прошлых достижениях различных школ. Ofqual сразу же отказалась от этого инструмента и вернулась к прогнозам оценок учителей.

По мнению CDEI, совершенствование процесса принятия решений на основе данных в государственном секторе следует рассматривать как приоритет. «Демократически избранные правительства несут особые обязанности по подотчетности перед гражданами», - говорится в докладе. «Мы ожидаем, что государственный сектор сможет обосновать и доказать свои решения».

ВИДЕТЬ: Бизнес предупредил, что поддержание потока данных вскоре может стоить миллиарды долларов

Ставки высоки: завоевание доверия общественности станет ключом к успешному внедрению ИИ. Тем не менее, отчет CDEI показал, что до 60% граждан в настоящее время выступают против использования процесса принятия решений с использованием искусственного интеллекта в системе уголовного правосудия. Подавляющее большинство респондентов (83%) даже не уверены в том, как такие системы вообще используются в полиции, что подчеркивает пробел в прозрачности, который необходимо устранить.

От систем искусственного интеллекта можно многого добиться, если их правильно развернуть. На самом деле, утверждают исследователи CDEI, алгоритмы могут стать ключом к выявлению исторических человеческих предубеждений и обеспечению их исключения из будущих инструментов принятия решений.

«Несмотря на опасения по поводу алгоритмов «черного ящика», в некотором смысле алгоритмы могут быть более прозрачными, чем человеческие решения», — говорят исследователи. «В отличие от человека, можно надежно проверить, как алгоритм реагирует на изменения в частях входных данных».

В ближайшие несколько лет потребуются сильные стимулы, чтобы гарантировать, что организации разрабатывают системы искусственного интеллекта, соответствующие требованиям для принятия сбалансированных решений. Совершенно справедливый алгоритм, возможно, пока не появится в краткосрочной перспективе, но технология искусственного интеллекта вскоре может оказаться полезной, чтобы поставить людей лицом к лицу с их собственными предубеждениями.