Исследователи ИИ Google обнаружили то, что может не понравиться их боссам

Написанная исследователями DeepMind Стивом Ядловски, Лириком Доши и Нилешем Трипуранени, еще не рецензированная статья раскрывает то, что многие люди наблюдали в последние месяцы: современные модели искусственного интеллекта не очень хороши в достижении результатов за пределами данных их обучения.

Статья, посвященная OpenAI GPT-2 (которая, да, на две версии отстает от более современной), фокусируется на так называемых моделях-трансформерах, которые, как следует из названия, представляют собой модели ИИ, которые преобразуют один тип входных данных в другой тип вывода.

Буква «Т» в архитектуре GPT OpenAI означает «трансформатор», и этот тип модели, который впервые был теоретически выдвинут группой исследователей, включая других сотрудников DeepMind, в статье 2017 года под названием «Внимание — это все, что вам нужно», часто считается быть тем, что может привести к созданию общего искусственного интеллекта (AGI) или ИИ человеческого уровня, потому что, как следует из рассуждений, это тип системы, которая позволяет машинам подвергаться интуитивному «мышлению», подобному нашему.

Хотя перспективы создания трансформеров весьма значительны — модель искусственного интеллекта, способная выйти за пределы своих обучающих данных, на самом деле была бы потрясающей — когда дело доходит до GPT-2, по крайней мере, желать еще многого.

«Когда нам предъявляют задачи или функции, которые выходят за рамки данных предварительного обучения, мы демонстрируем различные режимы отказа трансформаторов и ухудшение их обобщения даже для простых задач экстраполяции», — объясняют Ядловски, Доши и Трипуранеми.

Если модель преобразователя не обучена на данных, связанных с тем, что вы просите ее сделать, даже если поставленная задача проста, она, вероятно, не сможет ее выполнить.

Однако вам будет прощено думать иначе, учитывая, казалось бы, огромные наборы обучающих данных, используемые для построения больших языковых моделей OpenAI GPT (LLM), которые действительно очень впечатляют. Подобно ребенку, которого отправляют в самые дорогие и высокорейтинговые дошкольные учреждения, в эти модели втиснули так много знаний, что не осталось ничего, чему бы они не обучались.

Конечно, есть предостережения. На данный момент GPT-2 — это древняя история, и, возможно, в ИИ есть какое-то новое свойство, при котором при наличии достаточного количества обучающих данных он начинает устанавливать связи за пределами этой информации. Или, может быть, умные исследователи придумают новый подход, который выйдет за рамки ограничений нынешней парадигмы.

Тем не менее, суть открытия отрезвляет самую горячую шумиху вокруг ИИ. По сути, статья, похоже, утверждает, что лучший на сегодняшний день подход по-прежнему гибок только в темах, по которым он был тщательно обучен. Это означает, что, по крайней мере, на данный момент, ИИ впечатляет только тогда, когда он опирается на опыт людей, чья работа использовалась для его тренировки.

С момента выпуска в прошлом году ChatGPT, который был построен на основе GPT, прагматики призывали людей умерить свои ожидания в отношении ИИ и приостановить свои предположения об AGI — но осторожность гораздо менее привлекательна, чем генеральные директора, видящие знаки доллара, и прорицатели, заявляющие о разумности ИИ. Попутно даже самые эрудированные исследователи, похоже, выработали разные идеи о том, насколько умны на самом деле лучшие современные LLM, при этом некоторые верят в то, что ИИ становится способным к такого рода скачкам в мышлении, которые на данный момент отделяют людей от машины.

Эти предупреждения, которые теперь подкреплены исследованиями, похоже, не дошли до ушей генерального директора OpenAI Сэма Альтмана и генерального директора Microsoft Сатьи Наделлы, которые на этой неделе рекламировали инвесторам, что планируют «создавать AGI вместе».

Google DeepMind, конечно, тоже не застрахован от подобного рода предсказаний.

В интервью подкасту в прошлом месяце соучредитель DeepMind Шейн Легг сказал, что, по его мнению, существует 50-процентная вероятность того, что AGI будет достигнут к 2028 году — убеждение, которого он придерживается уже более десяти лет.

«Нет ничего, что могло бы это сделать, потому что я думаю, что такова природа этого», — сказал Легг техническому подкастеру Дваркешу Пателю. «Речь идет об общем интеллекте. Поэтому мне нужно было убедиться, что [система ИИ] может делать много-много разных вещей и в ней нет пробелов».

Но учитывая, что трое сотрудников DeepMind теперь обнаружили, что модели-трансформеры, похоже, не способны делать многое из того, чему они не обучены, похоже, что объединение просто может не пойти на пользу их боссу.

Futurism

Спасибо, что читаете «Капитал страны»! Получайте первыми самые важные новости в нашем Telegram-канале или Вступайте в группу в «ВКонтакте» или в «Одноклассниках»