Многие отрасли, от развлечений до медицины, борются с появлением сложного искусственного интеллекта (ИИ). Научные исследования не являются исключением. Финансирующие организации уже пресекают использование генеративных текстовых ИИ вроде ChatGPT для рецензирования, ссылаясь на непоследовательность анализа, производимого этими алгоритмами, непрозрачность их обучающих моделей и другие опасения.
Но для двух профессоров Джорджтаунского университета растущие возможности моделей обработки естественного языка (LLM), включая ChatGPT от OpenAI, LlAMA2 от Meta* и BARD от Google, достойны внимательного изучения и осторожного оптимизма.
Джон Пол Хелвестон, доцент кафедры инженерного менеджмента и системной инженерии в Школе инженерии и прикладных наук, и Райан Уоткинс, профессор и директор программы лидерства в образовательных технологиях в Высшей школе образования и человеческого развития, считают, что LLM имеют потенциал для упрощения и улучшения аспектов научного метода, тем самым позволяя получить больший объем полезных, интересных исследований. Но для этого люди должны лучше понимать, что эти алгоритмы могут и не могут делать, какие стандарты/нормы использования ИИ существуют в их дисциплине и как их можно использовать наиболее эффективно.
С этой целью Хелвестон и Уоткинс совместно ведут онлайн-репозиторий LLMs in Science, который предоставляет записи и ресурсы для ученых и педагогов, изучающих потенциал этой технологии в качестве инструмента исследования.
«Прошлой весной Джон сказал нечто проницательное о том, как люди могут использовать LLM в рамках своего научного процесса, и я сказал: «Ну, тогда нам следует начать собирать информацию о том, как это происходит, и выяснить, какие нормы и стандарты будут для их использования», — вспоминает Уоткинс.
LLM обучаются на колоссальных наборах данных, чтобы распознавать закономерности – вероятные взаимосвязи определенных слов друг с другом, вероятность того, что определенные кластеры слов относятся к конкретным темам, — а затем используют вероятности, полученные из этих закономерностей, чтобы предсказывать ответы на запросы, сгенерированные пользователем. Эти алгоритмы предсказывают не только какие слова и фразы использовать, но и последовательность, в которой эти слова и фразы должны следовать друг за другом, что приводит к «человекоподобным» ответам.
ChatGPT-3, появившийся в 2022 году и получивший огромный резонанс, был обучен на более чем 570 ГБ данных – 300 миллиардах слов, эквивалентных 1,6 миллионов копий «Больших надежд» Чарльза Диккенса, — найденных в онлайн-текстовых базах данных.
Хелвестон и Уоткинс, которые начали сотрудничать в качестве консультантов факультета GW Coders, рано поняли, что возможность LLM выходит за рамки простого воспроизведения данных. Фактически, программы могут сэкономить огромное количество времени и сил на тех частях работы ученого, которые не требуют человеческого творчества или сотрудничества: шаблонный язык, составление конспекта заявки на грант, создание «виртуальных данных», на которых может быть обучен аналитический инструмент, и многое другое.
Соответственно, ресурсы, доступные на LLMs in Science, включают развивающийся список потенциальных научных применений LLM, руководства по использованию LLM, рекомендации для рецензентов, оценивающих исследования с использованием LLM, базу данных исследований об использовании LLM учеными в разных областях и многое другое.
Такие знания необходимы не только для воспроизводимости научных исследований с использованием LLM, но и для правильной оценки, когда следует и не следует использовать эти инструменты.
У них все еще есть серьезные ограничения, что Хелвестон продемонстрировал в первый день своего курса программирования в прошлом году, открыв ChatGPT и дав ему работать в прямом эфире для своих студентов. Сначала Хелвестон сказал алгоритму перевести предложение на русский язык, что-то вроде «Добро пожаловать на занятие, давайте хорошо проведем семестр». Он спросил у своих студентов: кто-нибудь из вас говорит по-русски? Нет? Ну, прочитали бы вы эту фразу вслух русскоговорящему? Если бы вы это сделали, были бы вы абсолютно уверены в ее точности? Ответ был очевиден любому, кто знаком с причудами автоматического перевода: вряд ли.
Затем Хелвестон попросил ChatGPT написать компьютерную функцию с определенными атрибутами, которая дала бы определенные результаты. Он снова спросил у своих студентов: доверили бы они этому коду выполнение того, для чего он предназначен? Они бы не доверили. Ну вот, это и есть смысл этого курса, сказал Хелвестон, — так же как курс русского языка научил бы их замечать ошибки в плохом переводе, этот курс программирования научит их читать язык, на котором написаны программы, и замечать ошибки.
«Инструмент бесполезен, если вы не знаете языка, а студенты здесь, чтобы выучить язык», — сказал Хелвестон.
Педагоги, понятно, выразили обеспокоенность по поводу ChatGPT, который, по мнению некоторых, может увеличить академическую нечестность. Но Хелвестон и Уоткинс говорят, что по их опыту, если студентов учат, как и когда использовать LLM в качестве инструментов для обучения, они могут фактически учиться лучше. Количественно, по словам Хелвестона, его студенты сдали письменный экзамен по программированию в этом семестре лучше, чем в предыдущие годы, — семестре, когда он представил ChatGPT как инструмент преподавания.
«Я думаю, что, как минимум, каждый преподаватель должен включить в свою учебную программу раздел об искусственном интеллекте в данном курсе и о том, как он будет использоваться или нет», Это будет меняться в разных классах и по предпочтению профессоров, но как преподаватели мы должны обсудить это со студентами, и я не могу придумать ни одного курса, где это не актуально», — говорит Уоткинс.
«Чего мы пока не знаем, так это изменит ли это то, как учатся студенты», — говорит Хелвестон. «Мы хотим научить студентов использовать эти инструменты, потому что ИИ — это будущее выполнения определенных задач. Но мы также хотим, чтобы они умели подвергать результаты сомнению».
*Meta признана экстремистcкой организацией в России.