на ImageNet, которые превзошли свои человеческие аналоги - причем все самостоятельно".
Шел 2018 год, и я сидел за дальним концом длинного конференц-стола в Google Brain, одной из самых известных исследовательских организаций компании в области ИИ, расположенной в самом сердце штаб-квартиры - Googleplex в Маунтин-Вью, штат Калифорния. Речь шла об особенно захватывающей разработке, которая уже несколько месяцев вызывала шум по всему кампусу: "поиск нейронной архитектуры", попытка автоматизировать оптимизацию архитектуры нейронной сети.
Поведение таких моделей определяется целым рядом параметров, определяющих компромисс между скоростью и точностью, памятью и эффективностью, а также другими аспектами. Настроить один или два параметра по отдельности достаточно просто, но найти способ сбалансировать все эти параметры - задача, которая часто не под силу человеку, и даже эксперты с трудом справляются с тем, чтобы настроить все как надо. Удобство, которое обеспечит автоматизация, - цель, безусловно, достойная, и, кроме того, она может сделать ИИ более доступным для растущего сообщества нетехнических пользователей, которые смогут использовать его для построения собственных моделей без руководства экспертов. Кроме того, было что-то поэтическое в том, что модели машинного обучения разрабатывают модели машинного обучения и быстро становятся лучше нас.
Но за всю эту мощь приходилось платить. Обучение даже одной модели все еще было дорогостоящим для всех лабораторий и компаний, кроме самых финансируемых, а поиск нейронной архитектуры предполагал обучение тысяч моделей. Это была впечатляющая инновация, но очень дорогая в вычислительном плане. Этот вопрос стал одним из основных предметов обсуждения на встрече.
"На каком оборудовании это работает?" - спросил один из исследователей.
"В любой момент времени мы тестируем сто различных конфигураций, каждая из которых обучает восемь моделей с немного отличающимися характеристиками . В общей сложности одновременно обучается восемьсот моделей, для каждой из которых выделяется свой графический процессор".
"Итак, мы рассматриваем около..."
"Восемьсот, да".
Восемьсот графических процессоров. Это было головокружительное увеличение, учитывая, что в 2012 году AlexNet потребовалось всего два, чтобы изменить мир. И дальше цифры становились все более внушительными. Если вспомнить бюджет моей лаборатории, что самые мощные GPU Nvidia стоят около 1000 долларов (что объясняло, почему у нас самих их было едва ли больше дюжины), то минимальные расходы на подобные исследования теперь составляли почти миллион долларов. Конечно, это не считая времени и персонала, необходимых для объединения в сеть такого количества высокопроизводительных процессоров и поддержания приемлемого температурного режима при круглосуточном кипении кремния. Не учитывается и местоположение. С точки зрения физического пространства и астрономического энергопотребления такая сеть точно не годится для среднего гаража или спальни. Даже университетские лаборатории, подобные моей, с трудом смогли бы создать нечто подобное. Я откинулся на спинку стула и оглядел комнату, гадая, находит ли кто-нибудь еще это столь же огорчительным, как я.
В 2016 году мне предстоял двадцатиодномесячный академический отпуск, и мой почтовый ящик был завален сообщениями об ухаживаниях от таких компаний, как Nvidia, Uber и Google. Я сохранил хорошо отточенный инстинкт отвергать их сразу, но все чаще ловил себя на том, что сначала задерживаюсь на мгновение. Возможно, в этом больше смысла, чем раньше, подумал я со вздохом. Я имею в виду, совсем немного.
Я должен был признать, что идея работы в частном секторе уже не казалась мне такой чуждой, как раньше. Коллеги, которых я не мог сосчитать, сами перешли на эту работу, и даже мои студенты делали перерывы в учебе для высокооплачиваемой работы в технологических фирмах по всему миру - и не всегда возвращались обратно. Теперь, когда многое меняется так быстро, мне пришлось задуматься, не изжила ли себя моя неприязнь к тому, чтобы делать все как раньше, . Я хотел увидеть, как выглядит современный ИИ за пределами Стэнфорда и страниц научных журналов. Возможно, это был шанс сделать именно это, по крайней мере на некоторое время.
Поразмыслив, я решил занять должность главного научного сотрудника по искусственному интеллекту в Google Cloud. Несмотря на то что Google была давно известной компанией, ее недавно сформированное подразделение облачных вычислений существовало всего год или около того, и мне представился шанс помочь построить что-то с нуля. Кроме того, я была знакома с недавно назначенным генеральным директором компании Дайаной Грин - одной из немногих женщин, покоривших Кремниевую долину в качестве соучредителя гиганта в области виртуализации VMware, - и рассчитывала работать вместе с ней в отрасли с таким перекошенным гендерным балансом.
Это не было похоже на подозрительно позолоченную должность на Уолл-стрит, которую мне предложили, когда я был студентом, или на быстрое место в McKinsey, над которым я мучился в Калтехе. Я больше не мог притворяться, что работа в частном секторе - это циничная взятка за отказ от лаборатории. В эти дни это было приглашение возглавить еще более крупную лабораторию. Возможности, превосходящие все, что я когда-либо себе представлял. Высокопроизводительные вычисления любого масштаба. Команды докторов наук на порядки больше, чем те, что я мог собрать в Стэнфорде. И, что самое удивительное, доступ к данным в таких объемах, о которых я и не мечтал. Конечно, моя работа будет определяться дорожной картой продуктов компании, по крайней мере косвенно, но эти продукты всегда были ниже фундаментальных исследований, которые делали их возможными.
Самое главное - Google Cloud означало, что я увижу не один пример применения искусственного интеллекта, а тысячи. Поскольку облачные сервисы нашли свое место практически во всех отраслях, которые только можно себе представить, такие поставщики, как Google, стали присутствовать во всех из них. Это был шанс увидеть, где используется искусственный интеллект и данные, на основе которых он работает, - в производстве, сельском хозяйстве, страховании, транспорте и логистике, розничной торговле, финансовых услугах и даже в правительстве. Это был уровень масштаба и разнообразия, превосходящий все, что может предложить университет, и все это одновременно.
Потребовалось некоторое время, чтобы обговорить детали, тем более что я не планировал полностью покидать Стэнфорд даже на время академического отпуска. Я продолжал бы проводить один день в неделю в кампусе, что позволило бы мне быть в курсе дел лаборатории и встречаться со студентами. Логистика, безусловно, будет сложной задачей. Но я уже принял решение.
Ничто из того, что я видел за все годы учебы в университете, не подготовило меня к тому, что ждало меня за кулисами Google Cloud. Технологическая индустрия не просто соответствовала своей репутации богатства, власти и амбиций, но и значительно превосходила ее. Все, что я видел, было больше, быстрее, изящнее и сложнее, чем то, к чему я привык.
Одно только
