По утверждению исследователей искусственного интеллекта, они сделали первое в мире научное открытие, используя большую языковую модель. Это событие свидетельствует о том, что технология, лежащая в основе ChatGPT и подобных программ, может генерировать информацию, выходящую за рамки человеческих возможностей.
Открытие было сделано в рамках проекта Google DeepMind, где исследователи изучают, могут ли большие языковые модели, на которых основаны современные чат-боты, такие как ChatGPT от OpenAI и Bard от Google, делать нечто большее, чем просто перерабатывать информацию, полученную в процессе обучения, и приходить к новым открытиям.
«Когда мы начинали проект, не было никаких признаков того, что он даст что-то действительно новое», — говорит Пушмит Кохли, глава научного отдела ИИ в DeepMind. «Насколько нам известно, это первый случай, когда большая языковая модель сделала действительно новое научное открытие».
Большие языковые модели, или LLM, — это мощные нейронные сети, которые изучают закономерности языка, включая компьютерный код, на основе огромного количества текста и других данных. С момента появления ChatGPT в прошлом году технология позволяла исправлять ошибки в программном обеспечении и создавать все, что угодно: от эссе для колледжа и маршрутов путешествий до стихов об изменении климата в стиле Шекспира.
Но хотя чат-боты оказались чрезвычайно популярными, они не генерируют новых знаний и склонны к конфабуляции, что приводит к ответам, которые беглые и убедительные, но с серьезными недочетами.
Чтобы создать «FunSearch», сокращение от «searching in the function space», DeepMind задействовала LLM для написания компьютерных программ для решения задач. LLM работает в паре с «оценщиком», который автоматически ранжирует программы по степени их эффективности. Лучшие программы объединяются и передаются обратно в LLM для дальнейшего совершенствования. Это заставляет систему постоянно улучшать плохие программы, превращая их в более мощные, способные совершать новые открытия.
Исследователи запустили FunSearch для решения двух задач. Первая — давняя и несколько заумная задача из области чистой математики, известная как «Cap set problem». Она связана с поиском наибольшего набора точек в пространстве, в котором никакие три точки не лежат на одной прямой. FunSearch создал программы, которые генерируют новые большие наборы, превосходящие все, что придумали математики.
Второй задачей была проблема упаковки контейнеров, которая ищет наилучшие способы упаковки предметов разного размера в контейнеры. Хотя она применяется к физическим объектам, например, к наиболее эффективному способу размещения коробок в транспортном контейнере, та же математика применима и в других областях, например, при планировании вычислительных заданий в центрах обработки данных. Обычно проблема решается либо упаковкой предметов в первый попавшийся контейнер, в котором есть место, либо в контейнер с наименьшим свободным пространством, в который предмет все же поместится. Согласно результатам, опубликованным в журнале Nature, FunSearch нашла лучший подход, позволяющий не оставлять небольших зазоров, которые вряд ли когда-нибудь будут заполнены.
«В последние два-три года появилось несколько интересных примеров сотрудничества математиков-людей с искусственным интеллектом для достижения успехов в решении нерешенных проблем», — говорит сэр Тим Гауэрс, профессор математики Кембриджского университета, который не принимал участия в исследовании. «Эта работа потенциально дает нам еще один очень интересный инструмент для такого сотрудничества, позволяя математикам эффективно искать умные и неожиданные конструкции. Еще лучше, если эти конструкции поддаются человеческой интерпретации».
Сейчас исследователи изучают спектр научных проблем, с которыми может справиться FunSearch. Основным ограничивающим фактором является то, что проблемы должны иметь решения, которые могут быть проверены автоматически, что исключает многие вопросы в биологии, где гипотезы часто необходимо проверять с помощью лабораторных экспериментов.
Более непосредственное влияние может быть оказано на компьютерных программистов. За последние 50 лет программирование в основном совершенствовалось за счет создания людьми все более специализированных алгоритмов. «На самом деле это будет трансформацией в том, как люди подходят к компьютерным наукам и алгоритмическим открытиям», — говорит Кохли.
Джордан Элленберг, профессор математики в Университете Висконсин-Мэдисон и соавтор статьи, сказал: «Что я считаю действительно захватывающим, даже больше, чем конкретные результаты, которые мы нашли, так это перспективы, которые это открывает для будущего взаимодействия человека и машины в математике».
«Вместо того чтобы генерировать решение, FunSearch генерирует программу, которая находит решение. Решение конкретной задачи может не дать мне никакого представления о том, как решать другие смежные задачи. Но программа, которая находит решение, — это то, что человек может прочитать, интерпретировать и, надеюсь, таким образом генерировать идеи для следующей задачи, следующей и следующей».