людьми. Когда в 2014 году GoogLeNet, нейросетевой классификатор Google, достиг рекордно низкого уровня ошибок - всего 6,67 %, - мы, люди, оказались в тревожной близости от того, чтобы потерять место на вершине таблицы лидеров.
Но хотя AlexNet и GoogLeNet стали настоящим скачком вперед для компьютерного зрения, наше понимание их потенциала было далеко не полным. Например, мы были уверены, что глубина сети - один из определяющих секретов их производительности, а доступность графических процессоров означала, что у нас наконец-то появилась возможность сделать их больше, чем когда-либо прежде. Однако простой акт добавления новых слоев не стал панацеей - сначала более глубокие сети демонстрировали все более высокие показатели точности, но вскоре достигли точки убывающей отдачи. По мере того как наши амбиции заставляли нас строить все больше и больше, мы непреднамеренно превращали нейронные сети в лабиринты, их чрезмерное наслоение искажало сигнал на пути от одного конца сети к другому, останавливая процесс обучения и делая систему бесполезной.
Было ясно, что грандиозные высоты, к которым мы стремились, не будут достигнуты легко, сколько бы кремния мы ни бросили на решение проблемы. И это означало, что мощь таких наборов данных, как ImageNet, даже сейчас не используется в полной мере. Наши сети просто не могли поглотить их целиком. Статус-кво нуждался в эволюции - не только в масштабе, но и в инновациях - именно то, на что, как я надеялся, вдохновит ImageNet Challenge.
Как и положено, эта инновация появилась позже, в 2015 году, когда Deep Residual Network, представленная молодым исследователем из Microsoft по имени Кайминг Хе, снова изменила игру. Прозванная для краткости "ResNet", она была огромной - 152 слоя, но использовала архитектурный поворот, благодаря которому некоторые из этих слоев можно было обойти на этапе обучения, позволяя различным изображениям направлять свое влияние на меньшие субрегионы сети.
Хотя полностью обученная система в конечном итоге будет использовать всю свою глубину, ни один обучающий пример не должен был охватывать всю ее глубину. В результате мы получили лучшее из двух миров: увеличение количества слоев, необходимое для повышения производительности и поглощения большего объема данных - большего объема ImageNet, чем кому-либо удавалось задействовать до сих пор, - и простота, необходимая для свободного прохождения сигналов без ухудшения качества. Это был хрестоматийный пример изобретательности, которая двигала нашей областью в ее лучшие моменты.
Однако дизайн ResNet был лишь половиной истории. Она оказалась гораздо эффективнее, чем предполагали ее авторы, и показала настолько поразительные результаты, что об этом написали в таких популярных изданиях, как The New York Times. Неудивительно, что мир обратил на это внимание: Коэффициент ошибок ResNet в 4,5 % значительно превзошел оценку Андреем человеческой точности. Проще говоря, задача визуальной категоризации была решена: машины обошли своих создателей в задаче, которая еще несколько лет назад казалась практически невыполнимой. Это была захватывающая дух веха, но вскоре мы поняли, что она станет лишь первой из многих.
Вы следите за AlphaGo?
Есть идеи, кто победит
Стоит ли мне делать ставки?
Я только вышла из больницы после рождения второго ребенка, как мне стали приходить сообщения. Если что-то и могло оградить меня от мира хотя бы на неделю или две, то это должно было быть именно это. Не повезло, - весело напомнил мне жужжащий телефон.
К началу 2016 года внимание СМИ было приковано к лондонской компании DeepMind, которая готовилась к матчу между гроссмейстером го Ли Седолем и, конечно же, машиной. До этого момента компания была в основном малоизвестной технологической историей (и даже моя осведомленность о ней была лишь беглой), но теперь казалось, что она на пути к тому, чтобы стать известной всем. За год до этого Google начал активную деятельность по приобретению ИИ-стартапов, причем DeepMind стала самой дорогой из покупок - более полумиллиарда долларов. Но еще более запоминающейся, чем ее ценник, была ее миссия. "Они утверждают, что работают над AGI, - вспоминаю, как один коллега сказал мне об этом с усталым смешком академика.
Я сочувствовал. "AGI" - это сокращение от "искусственный общий интеллект", форма ИИ, настолько сложная и гибкая, что вместо выполнения узких задач, таких как классификация изображений или перевод текста с одного языка на другой, она может воспроизводить все когнитивные способности человека, от аналитических до творческих. Я не могу точно определить, когда этот термин вошел в лексикон, но я точно никогда не слышал, чтобы его использовали на факультете информатики. В конце концов, такой "общий" интеллект был целью ИИ с момента его зарождения; тот факт, что нам еще предстоит пройти такой долгий путь, не означал, что мы ставили перед собой более низкие цели. Для ушей таких исследователей, как мы, новый термин звучал несколько излишне. Но он был запоминающимся, и для сторонних наблюдателей были понятны конечные амбиции нашей области. И это позиционировало DeepMind как необычайно смелого игрока в и без того конкурентной экосистеме.
Меня засыпали вопросами студенты, друзья и даже случайные знакомые, и все они интересовались, есть ли у меня какие-нибудь прогнозы. На самом деле нет, но я не смог удержаться и спросил об этом другого профессора ИИ, когда он зашел к нам со свежей бутылочкой молочной смеси.
"Эх, я, наверное, могу пойти по любому пути", - сказал Сильвио. "Дип Блю сделал это с шахматами двадцать лет назад". Он, похоже, занялся мысленной арифметикой. "Ну, девятнадцать, если быть точным".
Ботаники есть ботаники.
"В любом случае, - продолжил он. "Я знаю, что Го намного сложнее шахмат, но это все равно настольная игра. Какой бы сложной она ни была, она проста. По крайней мере, с математической точки зрения".
Поняв, что перешел на профессорский тон, который мы оба пытались, но часто не получалось, проверить за дверью, он ухмыльнулся, осторожно ставя бутылку в подогреватель. Мы почти одновременно произнесли то, что последовало дальше. "В отличие от этого!"
Он был прав. При всей модной болтовне о моделировании комбинаторно непостижимой стратегической игры, такая простая задача, как приготовить бутылочку с детской смесью и поставить ее в подогреватель, все еще оставалась святым Граалем робототехника - и далеко не решенной проблемой за пределами жестко контролируемых лабораторных условий.
Действительно, компьютер официально превзошел шахматного гроссмейстера-человека в печально известном матче 1997 года между Гарри Каспаровым и суперкомпьютером Deep Blue компании IBM. Но го - не просто более сложная игра, чем шахматы. По правде говоря, ее правила порождают настолько обширное пространство возможностей, что сетка клеток доски размером девятнадцать на девятнадцать может быть выстроена в
