Таксономия Corsar: классификация методов обхода ограничений в языковых моделях по механизму воздействия

Аннотация

Атаки, направленные на обход встроенных механизмов безопасности больших языковых моделей с целью получения ответов на запрещенные запросы, известные также как «jailbreak-атаки», являются критически актуальной и быстро развивающейся угрозой. С переходом цифровой индустрии к использованию сложных ИИ-агентов, опасность таких атак значительно возросла. Простая генерация запрещенного текста сменилась риском компрометации информационных систем. Для совершенствования механизмов защиты необходимо структурирование методов реализации атак. Существующие таксономии атак рассматривают запрос как неделимую единицу, классифицируя его исключительно по внешним признакам, что приводит к пересечению категорий и не объясняет механизмов обхода защиты. Целью работы является разработка новой классификации атак на большие языковые модели. Предложена таксономия CORSAR, основанная на декомпозиции атак на атомарные приемы по механизму воздействия на модель. Если выполняемая атака сочетает несколько приемов, то она раскладывается на части, каждая из которых рассматривается как самостоятельная единица анализа. Группировки основана на природе работы техники. Использование в качестве основы классификации применяемых атакующим приемов минимизирует пересечения между категориями и делает их близкими к ортогональным. В рамках таксономии выделено шесть независимых категорий, разделенных на 20 подкатегорий, каждая из которых содержит набор конкретных техник. Предложенная классификация позволит формировать профиль угрозы для большой языковой модели, что даст возможность создания более гибких механизмов защиты.