Исследования компании HiddenLayer, специализирующейся на безопасности искусственного интеллекта, выявили потенциальную угрозу, связанную с техникой составления запросов к моделям генеративного ИИ, известной как Policy Puppetry. Эта методика может быть использована для обхода защитных механизмов крупнейших систем ИИ. Об этом сообщает 3dnews.ru.
Суть атаки заключается в формулировании запросов таким образом, что языковые модели воспринимают их как политики поведения. В результате базовые инструкции моделей пересматриваются, и средства защиты теряют свою эффективность. Генеративные ИИ обучены избегать ответов на запросы, которые могут привести к опасным последствиям, включая угрозы химического, биологического или радиационного характера, а также к насилию или самоповреждению.
Метод обучения с подкреплением, используемый при тонкой настройке моделей, должен предотвращать генерацию опасного контента, даже если запросы содержат гипотетические сценарии. Однако HiddenLayer разработала методику, позволяющую обойти эти ограничения. Атакующий создает запрос, который выглядит как файл одной из политик, например, в формате XML, INI или JSON. Это позволяет ему миновать системные настройки и защитные меры, установленные на этапе обучения.
Тестирование Policy Puppetry на популярных моделях ИИ, включая разработки компаний Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral, OpenAI и Alibaba, показало эффективность метода. В некоторых случаях потребовались небольшие корректировки, но в целом атака оказалась успешной против всех протестированных систем.
Эксперты подчеркивают, что наличие универсального способа обхода защитных механизмов указывает на необходимость дополнительных мер безопасности для моделей ИИ, чтобы они могли более эффективно контролировать выдачу недопустимого контента.
Источник: esoreiter.ru
