В начале 2000-х годов любитель компьютеров мог зайти в любой из почти 700 книжных магазинов Barnes and Noble и найти там целые ряды полок, заполненные руководствами по программированию, кодированию, дизайну, интернету и практически любой другой теме, хотя бы отдаленно связанной с компьютерами. Десятки журналов дополняли это убежище для компьютерных фанатов.
С тех пор эти ряды практически исчезли, из-за того, как пользователи теперь получают информацию. Цифровые книги и интернет-ресурсы в большой степени заменили те стопки книг.
Одним из ключевых ресурсов, который способствовал этому упадку, является Stack Overflow, крайне уважаемое онлайн-сообщество из 20 миллионов зарегистрированных пользователей, которые делятся советами и решениями вопросов по всем аспектам программирования. С момента своего создания в 2008 году участники задали более 24 миллионов вопросов и получили более 35 миллионов ответов.
Но в этом году сайт, пользующийся большим уважением, потерпел удар, став жертвой растущей популярности чат-ботов, таких как ChatGPT, хотя Stack Overflow по-прежнему остается незаменимым ресурсом для многих.
Аналитическая фирма сообщила в мае, что Stack Overflow страдал несколько месяцев подряд от снижения трафика в среднем на 6% с начала года. В апреле было зафиксировано падение на 17,7% по сравнению с цифрами за март.
Совершают ли мудрый шаг перебежчики, стекающиеся к ChatGPT?
Согласно новому исследованию Университета Пердью «Кто отвечает лучше? Глубокий анализ ответов ChatGPT и Stack Overflow на вопросы разработки программного обеспечения», это может быть и не лучшее решение.
Исследователи обнаружили то, что многие уже подозревали: значительное количество ответов ChatGPT на вопросы программирования были неточными или откровенно неправильными. Иронично, но, когда у субъектов спросили, какие ответы они предпочитают — Stack Overflow или ChatGPT, 40% сказали, что предпочитают ответы ChatGPT. Почему? Из-за «всеобъемлемости» и убедительного «внятного стиля изложения» ответов ChatGPT.
Исследователи сказали, что 52% из 512 ответов ChatGPT на вопросы были неверными. Тревожно то, что среди ответов, предпочитаемых участниками тестирования, 77% были неправильными.
Даже когда ответы ChatGPT были явно неправильными, 2 из 12 участников все равно предпочли ответы ChatGPT ответам Stack Overflow.
По словам Самии Кабир, одного из авторов статьи, «Участники игнорировали неправильность, когда считали ответ ChatGPT проницательным. То, как ChatGPT уверенно доносит проницательную (даже если неверную) информацию, вызывает доверие пользователя, что заставляет их предпочесть неправильный ответ».
«Очевидно, что вежливый язык, артикулированный и в стиле учебников ответ, всеобъемлемость и аффилиация в ответах, заставляют совершенно неправильные ответы казаться правильными», — сказал Кабир.
Исследователи отметили, что большие языковые модели имеют потенциал для того, чтобы перевернуть старые способы получения информации о программировании. Пользователи, ищущие помощи, получают ценную обратную связь от сообщества экспертов на таких сайтах, как Stack Overflow. Но на этих сайтах часто требуется ждать ответа в течение часов или дней.
ChatGPT может предоставить сложные инструкции по кодированию за секунды, и он будет вести диалог в человеческом стиле, чтобы подробно исследовать вопросы.
Но знание о способности чат-ботов накапливать и распространять ошибочную информацию «вводит риски для неопытных конечных пользователей, которые не имеют средств для проверки фактических несоответствий», — сказал Кабир.
Обеспокоенность потенциалом загрязнения информационных баз ложными данными привела Stack Overflow в начале этого года к запрету любого ответа, полученного с помощью ChatGPT.
Исследователи Университета Пердью назвали преобладание неправильных ответов «тревожным». Они призвали ChatGPT пойти дальше краткого предупреждения, которое он публикует в каждом ответе, предупреждая пользователей о возможности ошибки, и указывать уровень неправильности и неопределенности.
«Необходимо исследовать, как сообщить об уровне неправильности ответов», — говорится в их докладе, опубликованном на сервере препринтов arXiv 10 августа.
«ИИ наиболее эффективен, когда им управляют люди, — добавляется в докладе. — Поэтому мы призываем к ответственному использованию ChatGPT, чтобы повысить продуктивность ИИ».