FraudGPT, новый инструмент генеративного ИИ по подписке для создания вредоносных кибератак, сигнализирует о наступлении новой эры тактики атак. Обнаруженный исследовательской группой по киберугрозам Netenrich в июле 2023 года, циркулирующий в телеграм-каналах теневого интернета, он потенциально может демократизировать оружейный генеративный ИИ в масштабе.
Предназначенный для автоматизации всего, от написания вредоносного кода и создания необнаруживаемых вредоносных программ до написания убедительных фишинговых писем, FraudGPT дает неопытным злоумышленникам доступ к продвинутым методам атак.
Приложения и инструменты оружейного ИИ являются бестселлерами даркнета
Ведущие поставщики средств кибербезопасности, включая CrowdStrike, IBM Security, Ivanti, Palo Alto Networks и Zscaler, предупредили, что злоумышленники, в том числе подразделения кибертеррористов государственного уровня, начали применять генеративный ИИ в качестве оружия еще до выпуска ChatGPT в конце ноября 2022 года.
В интервью Свена Крассера, главного ученого и старшего вице-президента CrowdStrike, о том, как злоумышленники ускоряют усилия по применению LLMs и генеративного ИИ в качестве оружия, Крассер отметил, что киберпреступники внедряют технологию LLM для фишинга и вредоносных программ, но что «хотя это повышает скорость и объем атак, которые противник может совершить, это существенно не меняет качество атак».
По словам Крассера, применение ИИ в качестве оружия иллюстрирует, почему «облачная безопасность, коррелирующая сигналы со всего мира с помощью ИИ, также является эффективной защитой от этих новых угроз. Говоря кратко: генеративный ИИ не поднимает планку в отношении этих злонамеренных методов, но повышает средний уровень и облегчает менее квалифицированным противникам более эффективные действия».
Определение FraudGPT и оружейного ИИ
FraudGPT, стартовый набор для кибератак, использует проверенные инструменты для атак, такие как пользовательские руководства по взлому, поиск уязвимостей и эксплойты нулевого дня. Ни один из инструментов в FraudGPT не требует продвинутых технических навыков.
За 200 долларов в месяц или 1700 долларов в год подписчики FraudGPT получают базовый уровень мастерства, который начинающему злоумышленнику в противном случае пришлось бы создавать самостоятельно. Возможности включают:
- Написание фишинговых писем и контента социальной инженерии
- Создание эксплойтов, вредоносных программ и инструментов взлома
- Обнаружение уязвимостей, скомпрометированных учетных данных и сайтов для кражи данных кредитных карт
- Предоставление советов по методам взлома и киберпреступности
FraudGPT сигнализирует о начале новой, более опасной и демократизированной эры инструментов и приложений оружейного генеративного ИИ. Текущая итерация не отражает продвинутого мастерства, которое применяют команды кибератак государственного уровня в крупномасштабных операциях, такие как элитное Подразделение 121 кибервойск Главного разведывательного управления армии Северной Кореи. Но то, чего не хватает FraudGPT и другим подобным программам в плане глубины генеративного ИИ, они с лихвой компенсируют возможностью обучения нового поколения злоумышленников.
Со своей моделью подписки в течение нескольких месяцев у FraudGPT может быть больше пользователей, чем у самых продвинутых киберармий государственного уровня, включая Подразделение 121, в котором, по данным New York Times, около 6800 кибервоинов, в том числе 1700 хакеров в семи различных подразделениях и 5100 технических специалистов.
Хотя FraudGPT может не представлять столь непосредственной угрозы, как более крупные и изощренные группы государственного уровня, его доступность для начинающих злоумышленников приведет к экспоненциальному росту попыток вторжения и нарушения, начиная с наиболее уязвимых целей, таких как образование, здравоохранение и производство.
Как сообщил главный охотник за угрозами Netenrich Джон Бамбенек, FraudGPT, вероятно, был создан путем взятия открытых ИИ-моделей и удаления этических ограничений, препятствующих злоупотреблению. Хотя он, вероятно, все еще находится на ранней стадии разработки, Бамбенек предупреждает, что его появление подчеркивает необходимость непрерывных инноваций в ИИ-ориентированной защите для противодействия враждебному использованию ИИ.
Оружейный генеративный ИИ стимулирует быстрый рост «red-teaming»
Учитывая растущее число чат-ботов на основе генеративного ИИ и моделей обработки естественного языка, учения «red-teaming» имеют решающее значение для понимания слабых сторон этих технологий и создания ограждений для предотвращения их использования для создания инструментов кибератак. Microsoft недавно представила руководство для клиентов, создающих приложения с использованием моделей Azure OpenAI, которое предоставляет основу для начала работы с «red-teaming».
На этой неделе DEF CON провел первое публичное мероприятие «красной команды» генеративного ИИ в партнерстве с AI Village, Humane Intelligence и SeedAI. Модели, предоставленные Anthropic, Cohere, Google, Hugging Face, Meta*, Nvidia, OpenAI и Stability, были протестированы на платформе оценки, разработанной Scale AI. Румман Чоудхури, соучредитель некоммерческой организации Humane Intelligence и соорганизатор этого Generative Red Team Challenge, написала в недавней статье в Washington Post о тестировании чат-ботов ИИ и моделей обработки естественного языка, что «каждый раз, когда я это делала, я видела что-то, чего не ожидала увидеть, узнавала то, чего не знала».
Критически важно проводить «red-teaming» с чат-ботами и опережать риски, чтобы обеспечить эволюцию этих новых технологий в этичном, а не во враждебном направлении. «Профессиональные «красные команды» обучены находить слабые места и использовать лазейки в компьютерных системах. Но с чат-ботами ИИ и генераторами изображений потенциальный вред для общества выходит за рамки уязвимостей безопасности», — сказала Чоудхури.
Пять способов, которыми FraudGPT предвещает будущее оружейного ИИ
Инструменты кибератак на основе генеративного ИИ заставляют поставщиков средств кибербезопасности и предприятия, которым они служат, ускорить темпы и оставаться конкурентоспособными в гонке вооружений. Поскольку FraudGPT увеличивает количество кибератакующих и ускоряет их развитие, одним из верных результатов будет то, что личные данные будут под еще большей осадой.
Генеративный ИИ представляет реальную угрозу для безопасности, основанной на идентификации. Он уже доказал свою эффективность в имитации голосов генеральных директоров с помощью дипфейковых технологий и организации атак социальной инженерии для сбора учетных данных привилегированного доступа. Вот пять способов, которыми FraudGPT предвещает будущее оружейного ИИ:
- 01. Автоматизированные атаки социальной инженерии и фишинга
FraudGPT демонстрирует способность генеративного ИИ поддерживать убедительные сценарии, которые могут ввести в заблуждение жертв, заставив их скомпрометировать свою личность и привилегии доступа, а также корпоративные сети. Например, злоумышленники просят ChatGPT написать научно-фантастические истории о том, как успешная стратегия социальной инженерии или фишинга сработала, обманывая LLM, чтобы они предоставили руководство по атаке.
Преступные группировки и государства регулярно запрашивают ChatGPT и другие модели обработки естественного языка на иностранных языках, так что модель не отвергает контекст потенциального сценария атаки так эффективно, как на английском языке. В теневом интернете есть группы, посвященные инжинирингу подсказок, которые учат злоумышленников, как обходить ограждения в моделях обработки естественного языка, чтобы создавать атаки социальной инженерии и поддерживающие их электронные письма.
Хотя обнаружить эти атаки сложно, лидеры кибербезопасности в области ИИ, машинного обучения и генеративного ИИ имеют наилучшие шансы поддерживать своих клиентов в гонке вооружений. Ведущие поставщики с глубокими знаниями в области ИИ, машинного обучения и генеративного ИИ включают ArticWolf, Cisco, CrowdStrike, CyberArk, Cybereason, Ivanti, SentinelOne, Microsoft, McAfee, Palo Alto Networks, Sophos и VMWare Carbon Black.
- 02. Вредоносные программы и эксплойты, сгенерированные ИИ
FraudGPT продемонстрировал способность генерировать вредоносные сценарии и код, адаптированные к конкретной сети, конечным точкам и общей ИТ-среде жертвы. Начинающие злоумышленники могут быстро освоить последние методы угроз с помощью систем на основе генеративного ИИ, таких как FraudGPT, чтобы изучить и затем развернуть сценарии атак. Поэтому организации должны полностью сосредоточиться на кибергигиене, включая защиту конечных точек.
Вредоносные программа, сгенерированная ИИ, может обходить давно существующие системы кибербезопасности, не предназначенные для идентификации и остановки этой угрозы. Вторжение без вредоносных программ составляет 71% всех обнаружений, индексируемых CrowdStrike Threat Graph, что еще раз отражает растущую изощренность злоумышленников еще до широкого применения генеративного ИИ. Недавние объявления о выпуске новых продуктов и услуг в отрасли показывают, какой высокий приоритет имеет борьба с вредоносными программами. Amazon Web Services, Bitdefender, Cisco, CrowdStrike, Google, IBM, Ivanti, Microsoft и Palo Alto Networks выпустили усовершенствования платформ на основе ИИ для идентификации шаблонов атак вредоносных программ и, таким образом, снижения ложных срабатываний.
- 03. Автоматизированное обнаружение ресурсов
Генеративный ИИ сократит время, необходимое для выполнения ручных исследований с целью обнаружения новых уязвимостей, поиска и сбора скомпрометированных учетных данных, изучения новых инструментов взлома и овладения навыками, необходимыми для запуска изощренных кампаний киберпреступности. Злоумышленники всех уровней квалификации будут использовать его для обнаружения незащищенных конечных точек, поверхностей атаки, и запуска кампаний атак на основе анализа результатов простых запросов.
Наряду с идентификацией, конечные точки столкнутся с большим количеством атак. CISO сообщают, что самовосстанавливающиеся конечные точки являются обязательным минимумом, особенно в смешанных ИТ- и операционных технологических (OT) средах, которые полагаются на датчики Интернета вещей. В недавней серии интервью CISO сообщили, что самовосстанавливающиеся конечные точки также имеют основополагающее значение для их стратегий консолидации и необходимы для повышения киберустойчивости. Ведущие поставщики самовосстанавливающихся конечных точек, имеющие корпоративных клиентов: Absolute Software, Cisco, CrowdStrike, Cybereason, ESET, Ivanti, Malwarebytes, Microsoft Defender 365, Sophos и Trend Micro.
- 04. Обход защиты с помощью ИИ только начинается, и мы еще ничего не видели
Оружейный генеративный ИИ все еще находится в зачаточном состоянии, и FraudGPT — это его первые шаги. Грядут более продвинутые и смертоносные инструменты. Они будут использовать генеративный ИИ для обхода систем обнаружения и реагирования на угрозы на конечных точках и создания вариантов вредоносных программ, способных избегать статического обнаружения по сигнатурам.
Из пяти факторов, сигнализирующих о будущем оружейного ИИ, наиболее стойкой стратегической угрозой является способность злоумышленников использовать генеративный ИИ, чтобы опередить поставщиков кибербезопасности и предприятия в инновациях. Поэтому интерпретация поведения, выявление аномалий на основе телеметрических данных в реальном времени во всех облачных экземплярах и мониторинг каждой конечной точки являются обязательным минимумом.
Поставщикам средств кибербезопасности необходимо в приоритетном порядке объединить конечные точки и идентификационные данные для защиты поверхностей атак на конечные точки. Использование ИИ для обеспечения безопасности идентификационных данных и конечных точек крайне важно. Многие CISO движутся в сторону сочетания стратегии, ориентированной на атаку, с консолидацией технологий, чтобы получить более реальное единое представление всех поверхностей угроз и повысить эффективность технологических стеков. 96% CISO планируют консолидировать свои платформы безопасности, 63% из них считают расширенное обнаружение и реагирование (XDR) лучшим вариантом решения.
Ведущие поставщики платформ XDR: CrowdStrike, Microsoft, Palo Alto Networks, Tehtris и Trend Micro. Тем временем поставщики EDR ускоряют разработку своих продуктов, чтобы выпустить новые релизы XDR и оставаться конкурентоспособными на растущем рынке.
- 05. Сложность обнаружения и атрибуции
FraudGPT и будущие приложения и инструменты оружейного генеративного ИИ будут разработаны для сведения к минимуму обнаружения и атрибуции вплоть до анонимности. Поскольку жесткое кодирование не используется, командам безопасности будет сложно атрибутировать атаки, управляемые ИИ, конкретной группе угроз или кампании на основе судебных артефактов или доказательств. Большая анонимность и меньшее обнаружение приведут к более длительному пребыванию в системе и позволят злоумышленникам осуществлять атаки «низко и медленно», что характерно для целенаправленных атак на объекты высокой ценности. Со временем оружейный генеративный ИИ сделает это доступным для каждого злоумышленника.
Командам SecOps и поддерживающим их командам безопасности нужно рассмотреть, как они могут использовать ИИ и машинное обучение для выявления тонких индикаторов потока атаки, управляемого генеративным ИИ, даже если содержание кажется законным. Ведущие поставщики, которые могут помочь защититься от этой угрозы: Blackberry Security (Cylance), CrowdStrike, Darktrace, Deep Instinct, Ivanti, SentinelOne, Sift и Vectra.
Добро пожаловать в новую гонку вооружений ИИ
FraudGPT сигнализирует о начале новой эры оружейного генеративного ИИ, где базовые инструменты кибератаки доступны любому злоумышленнику любого уровня квалификации и знаний. С тысячами потенциальных подписчиков, включая государства, наибольшая угроза FraudGPT заключается в том, насколько быстро он расширит глобальную базу злоумышленников, стремящихся напасть на незащищенные мягкие цели в сферах образования, здравоохранения, государственного управления и производства.
Поскольку CISO просят сделать больше с меньшими затратами, а многие сосредоточены на консолидации своих технологических стеков для большей эффективности и видимости, пришло время подумать о том, как эта динамика может обеспечить большую киберустойчивость. Пришло время перейти в наступление с генеративным ИИ и не отставать в совершенно новой, более быстрой гонке вооружений.
*Meta признана экстремистcкой организацией в России.