ChatGPT, возможно, отлично отвечает на простые вопросы или даже помогает начать работу над постом в блоге, но ему нужно улучшить свои навыки кодирования, согласно исследованию ученых из Университета Пердью. Исследование изучило ответы ChatGPT на 517 различных вопросов с сайта Stack Overflow (SO), и результаты оказались довольно разочаровывающими. «Наше исследование показало, что 52% ответов ChatGPT содержат неточности, а 77% из них многословны», — написали исследователи в статье, которая не прошла экспертную оценку и была опубликована на предварительном сайте публикаций.
Более того, исследование выявило, что 54% ошибок чат-бота, похоже, возникли из-за того, что он не понял концепцию заданного ему вопроса. В случаях, когда он понимал вопрос, чат-бот часто не мог дать правильный ответ, что подчеркивает важность проверки ответов ChatGPT на достоверность.
«Во многих случаях мы видели, что ChatGPT давал решение, код или формулу без предвидения или размышления о результате», — сказали исследователи.
Чат-бот не полностью бесполезен в кодировании. В феврале Google задавал ChatGPT вопросы собеседования по кодированию, и на основе ответов ИИ определил, что его можно было бы нанять на должность инженера третьего уровня, согласно внутреннему документу.
В этом году инженер Amazon использовал ChatGPT, чтобы ответить на вопросы собеседования по программированию для работы в компании, и бот правильно ответил на все вопросы, сообщает Insider.
Хотя ChatGPT может быть и не лучшим кодером, ожидается, что чат-бот нанесет ущерб американскому рынку труда и потенциально нарушит работу 19% профессий. Исследование OpenAI в марте показало, что технологию можно использовать вместо переводчиков. В долгосрочной перспективе она также может повлиять на такие профессии, как писатели, математики, налоговые консультанты, бухгалтеры и аудиторы, среди прочих.
В этом исследовании также отмечалось, что ChatGPT имеет тенденцию придумывать ответы, поэтому даже если он может выполнять работу, обычно делаемую людьми, человеку все равно нужно контролировать эту работу, чтобы убедиться в ее правильности — по крайней мере, пока.