Даже эксперты-лингвисты в значительной степени не в состоянии определить разницу между текстами, созданными искусственным интеллектом и людьми, согласно новому исследованию, соавтором которого является доцент Университета Южной Флориды.
Исследование, только что опубликованное в журнале «Research Methods in Applied Linguistics», показало, что эксперты из ведущих лингвистических журналов мира могут различать рефераты, созданные ИИ и людьми, менее чем в 39% случаев.
«Мы думали, если кто и сможет идентифицировать тексты, написанные людьми, то это должны быть лингвисты, которые посвятили свою карьеру изучению закономерностей языка и других аспектов человеческого общения», — сказал Мэтью Кесслер, ученый с кафедры мировых языков Университета Южной Флориды.
Работая вместе с Дж. Эллиотом Касалом, доцентом кафедры прикладной лингвистики в Университете Мемфиса, Кесслер поручил 72 экспертам в области лингвистики оценить различные научные рефераты, чтобы определить, написаны ли они ИИ или людьми.
Каждому эксперту было предложено изучить четыре образца текста. Ни один не идентифицировал правильно все четыре, в то время как 13% ошиблись со всеми. Кесслер сделал вывод, что, судя по результатам, профессора не смогут отличить собственное сочинение студента от текста, сгенерированного языковой моделью ИИ, такой как ChatGPT, без помощи программного обеспечения, которое еще не разработано.
Несмотря на попытки экспертов использовать обоснования для оценки образцов текста в исследовании, такие как выявление определенных лингвистических и стилистических особенностей, они в значительной степени потерпели неудачу с общей положительной долей идентификации 38,9%.
«Более интересным было то, когда мы спросили их, почему они решили, что текст написан ИИ или человеком», — сказал Кесслер. «Они приводили очень логичные причины, но снова и снова они были неточными или непоследовательными».
Исходя из этого, Кесслер и Касал сделали вывод, что ChatGPT может писать короткие тексты не хуже, а в некоторых случаях и лучше большинства людей, учитывая, что ИИ обычно не допускает грамматических ошибок.
Положительный момент для авторов-людей заключается в более длинных формах письма. «Известно, что в длинных текстах ИИ может галлюцинировать и выдумывать содержание, что облегчает определение того, что текст был создан ИИ», — сказал Кесслер.
Кесслер надеется, что это исследование приведет к более широкой дискуссии по установлению необходимой этики и руководящих принципов использования ИИ в научных исследованиях и образовании.