лица, принимающие решения, принимали его близко к сердцу. Движимые искренним энтузиазмом, давлением извне или каким-то сочетанием того и другого, руководители Кремниевой долины делали более быстрые, смелые и, в некоторых случаях, более безрассудные шаги, чем когда-либо. Нам всем предстояло узнать, к чему приведет эта философия.
"Обезьяна", ради всего святого.
Это был ярлык, автоматически сгенерированный сервисом размещения изображений Flickr компании Yahoo в мае 2015 года для портрета Уильяма, пятидесятишестилетнего чернокожего мужчины , запечатленного в монохроме. Реакция была быстрой и вызвала заслуженный гнев, и это был лишь первый промах в череде ошибок новой технологии. В ходе запущенного проекта Flickr также пометил фотографию ворот в концлагере Дахау "спортзалом для джунглей" и снова применил слово "обезьяна" к белой женщине с цветной пудрой на лице. И дело не только в Yahoo: в июне Google столкнулся с аналогичным спором, когда его сервис Google Photos неправильно обозначил пару чернокожих подростков как "горилл". За считанные недели нехитрая история успеха классификации изображений стала гораздо сложнее.
Даже тем, кто не работает в соответствующих компаниях, трудно было не почувствовать себя виноватым. То, что эти казусы не были злонамеренными, утешало слабо, поскольку проблема, которую они выявили, была, если можно так выразиться, еще более тревожной: последствия недостаточно разнообразных наборов данных, включая ImageNet, усугубленные плохо проверенными алгоритмами и сомнительным принятием решений. Когда интернет представляет картину повседневной жизни преимущественно белых, западных и часто мужских людей, мы остаемся с технологией, которая пытается понять всех остальных.
Это был неизбежный результат того, что журналист и комментатор Джек Кларк назвал проблемой ИИ "Море чуваков": отсутствие представительства в технологической отрасли привело к непреднамеренной предвзятости алгоритмов, которые плохо работают с небелыми и немужскими пользователями. Статья Кларка, опубликованная в Bloomberg в 2016 году, стала первым вкладом в растущий диалог, обеспокоенный тем, что потенциал ИИ делать хорошие вещи - поддерживать инвалидов, отслеживать вырубку лесов и защищать человеческую жизнь любым новым способом - сопровождается таким же потенциалом делать плохие вещи.
Я вспомнил годы, которые мы потратили на сборку ImageNet, и то, что даже в самых творческих и импровизационных ситуациях мы были в значительной степени невежественны по отношению к подобным вопросам. За десять лет до этого взрыв контента, организованный Googles и Wikipedias мира, казалось, предлагал окно в человеческую жизнь, как она есть на самом деле, в отличие от провинциальных проблесков, которые можно найти в старых средствах массовой информации, таких как телевизионные сети и газеты. И в каком-то смысле, конечно, так оно и было. Но какими бы яркими они ни казались и какими бы восторженными ни были наши ожидания, картина все равно была далеко не полной.
Эта проблема давно назрела, но диалог не мог успокоить моего внутреннего инженера. Хотя однобокие наборы данных явно были большой частью проблемы, существовало бесчисленное множество других факторов, заслуживающих нашего внимания. Что насчет моделей? Не скрываются ли в архитектуре алгоритмов, отвыкших от всех этих данных, необнаруженные слабые места? Как насчет методов обучения, облегчающих процесс тренировки? Вопросов было больше, чем ответов, и это соотношение, похоже, становилось все более перекошенным.
Эти вопросы не давали покоя и Ольге. Будучи двумя из относительно немногих женщин в подавляющем большинстве мужских областей, мы много общались в течение многих лет, сравнивая обескураживающе похожие заметки о том, как быть женщиной в ИИ. Однако к середине десятилетия ей надоело, и она решила либо что-то с этим сделать, либо уйти из академии. Она выбрала первое, и мы решили сделать это вместе.
Понимая, что проблемы представительства обычно начинаются за несколько лет до того, как они осознаются, мы открыли SAIL для специально отобранного класса девочек из девятых и десятых классов. Последовавший за этим двухнедельный краш-курс по ИИ, несмотря на свою интенсивность, продемонстрировал всем присутствующим, что требуется на удивление мало, чтобы убедить исторически исключенных людей в том, что они тоже принадлежат к этой группе. Идея оказалась настолько популярной, что превратилась в национальную некоммерческую организацию, распространившуюся на кампусы по всей Северной Америке и расширившую свою миссию. Вскоре мы стали предлагать подобные курсы другим маргинализированным группам, включая цветных и экономически неблагополучных студентов.
Всего через несколько лет инициатива получила официальное название AI4ALL и даже привлекла определенный капитал: в финансировании приняли участие Pivotal Ventures Мелинды Френч Гейтс и основатель Nvidia Дженсен Хуанг. Это был маленький шаг на пути, на который , вероятно, уйдет несколько поколений, но это было начало. И это было желанное, пусть и скромное, успокоение, когда мы наблюдали за тем, как индустрия гонится за будущим этой технологии с гораздо большим энтузиазмом, чем за самоанализом.
Однако наблюдение за тем, как такие компании, как Yahoo и Google, получают мучительные уроки в режиме реального времени, в то время как весь мир наблюдает и осуждает их, напомнило нам, что недостаточно просто инвестировать в следующее поколение и надеяться на лучшее. Ольга, получившая предложение стать профессором в Принстоне и принявшая его, занялась расширением программы исследований своей новой лаборатории, перейдя от механики машинного восприятия к более широкому вопросу справедливости в вычислениях, включая особый акцент на "дебиасинге": формальной, математически строгой попытке количественно оценить и нейтрализовать предвзятость, скрывающуюся в наших данных. С такими людьми, как Ольга, которые предлагают такие социально сознательные идеи, моя надежда на будущее начала расти.
Я всем сердцем верил в ценность этой технологии, начиная с ее потенциала пролить новый свет на тайны интеллекта и заканчивая реальной пользой, которую я видел в работе с Арни в больницах. Но цена даже минутной самоуверенности стремительно росла. Хуже того, эту цену заплатят другие, вероятно, самые уязвимые из нас. ИИ вышел из лаборатории и в значительной степени вышел из-под нашего контроля; хотя вихрь новых идей, новых лиц и новых институтов был бодрящим, было так же много новых опасений. Даже обещание коммерческих инвестиций в эту сферу, казавшееся находкой для таких исследователей, как мы, наводняло все вокруг с такой силой, что это больше походило на дерзость, зловещую и чреватую, чем на удачу.
Слова продолжали терпеть неудачу. "Феномен" был слишком пассивным. "Разрушение" - слишком нагло. "Революция" - слишком самодовольно. Современный ИИ представал перед нами как головоломка, кусочки которой имели острые края. Тем не менее, как ни тревожно было это осознавать, растущее чувство опасности было именно тем, что ученые должны ценить. Оно разжигало во мне другую форму любопытства, некомфортную, но убедительную. Мне просто нужен был способ увидеть это вблизи.
"Пока результаты обнадеживают. В наших тестах поиск нейронной архитектуры позволил создать классификаторы, обученные
