🧪 Отравление обучающих данных и моделей (LLM04): атаки и защита
Отравление данных и моделей (Data and Model Poisoning, OWASP LLM04:2025) — это атака на целостность ИИ, при которой злоумышленник манипулирует данными на этапе предобучения, дообучения или формирования базы знаний RAG, внедряя бэкдоры, искажения и скрытое поведение, активирующееся по триггеру. Это одна из самых коварных угроз: отравленная модель ведёт себя нормально на всех обычных входах и «оживает» только при появлении секретного триггера. В этом руководстве мы разбираем таксономию отравления (от веб-масштабных датасетов до RAG-корпуса), подтверждённые исследованиями цифры, реальные инциденты — и честно показываем, где проходит граница: основная защита от отравления лежит на этапе MLOps и цепочки поставок, а SYNTREX — защитный слой платформы Spectorn — закрывает рантайм-часть: детекцию спящих нагрузок и неизменяемый аудит.
Spectorn — платформа безопасности и compliance-периметр; SYNTREX — её слой AI-защиты, разворачиваемый в составе Spectorn и standalone. Отравление — преимущественно проблема этапа обучения; SYNTREX дополняет MLOps-контролы детекцией триггерных нагрузок в рантайме и доказуемым следом, но не заменяет защиту обучающего конвейера.
Эта страница углубляет категорию LLM04 из обзора OWASP Top 10 для LLM. Смежная тема отравления именно RAG-корпуса детально разобрана в руководстве по безопасности RAG.
Что изменилось: от «Training Data Poisoning» к «Data and Model Poisoning»
В редакции 2023 года эта категория называлась «Training Data Poisoning» и охватывала только обучающую выборку. В 2025 году OWASP расширил её до «Data and Model Poisoning», включив три стадии жизненного цикла:
- Предобучение — контаминация общего корпуса знаний;
- Дообучение / instruction-tuning — отравление данных адаптации под задачу;
- Эмбеддинги / база знаний RAG — отравление корпуса извлечения.
Главная причина расширения: атаковать RAG-корпус кратно дешевле, чем переобучать модель, а эффект сопоставим. Ниже — почему.
Таксономия атак отравления
Отравление веб-масштабных датасетов: это практически осуществимо
Исследование Carlini et al. «Poisoning Web-Scale Training Datasets is Practical» (arXiv:2302.10149, 2023/2024) показало, что отравление 0,01% датасетов LAION-400M или COYO-700M стоило около $60. Две техники:
- Split-view poisoning — эксплуатация изменяемости веб-контента: куратор датасета видит один контент в момент снимка, а скачивающие позже получают другой (атакующий поменял содержимое по URL).
- Frontrunning poisoning — для краудсорсинговых датасетов с периодическими снимками (например, Wikipedia): атакующий внедряет контент в краткое окно перед снимком, затем откатывает.
Десять популярных датасетов оказались уязвимы; авторы уведомили всех мейнтейнеров.
Бэкдоры и трояны: дремлющие до триггера
Базовая работа BadNets (Gu et al., 2019) показала механизм: подмножество обучающих примеров помечается триггером и переразмечается на целевой класс атакующего. На чистых входах модель работает нормально; на входах с триггером выдаёт нужный атакующему результат. Различают таргетированное отравление (ошибка на конкретных входах), availability-отравление (деградация общей точности) и бэкдор/троян (дремлющее поведение, активируемое триггером в рантайме).
Бэкдоры, переживающие защитное обучение
Работа «Sleeper Agents» (Hubinger et al., Anthropic, arXiv:2401.05566, январь 2024) — тревожный результат: модели обучили писать безопасный код, когда в промпте указан 2023 год, но вставлять эксплуатируемый код при указании 2024 года. Бэкдор пережил supervised fine-tuning, RLHF и adversarial-обучение. Хуже того: adversarial-обучение могло научить модель лучше прятать триггер, создавая ложное впечатление безопасности. Бэкдор наиболее устойчив у крупнейших моделей и у моделей, обученных рассуждать о том, как обмануть процесс обучения.
Отравление дообучения и LoRA-адаптеров
LoRA-адаптеры легковесны и массово распространяются через Hugging Face — пользователи подключают сторонние адаптеры, не обучая модель с нуля. Исследования показывают, что LoRA-адаптеры надёжно бэкдорятся через отравление обучающих данных при сохранении нормальной базовой производительности, а вредное поведение может возникать при композиции нескольких безобидных по отдельности адаптеров — безопасность отдельного адаптера не гарантирует безопасность их слияния.
Отравление RAG-корпуса: дёшево и эффективно
Работа PoisonedRAG (Zou et al., USENIX Security 2025, arXiv:2402.07867) формализовала отравление базы знаний RAG как задачу оптимизации и показала 90% успеха атаки при внедрении всего пяти вредоносных текстов на целевой вопрос в базу из миллионов текстов. Проверенные авторами защиты оказались недостаточны. Это и есть причина, по которой OWASP вынес RAG-отравление в LLM04: точечная атака на корпус не требует доступа к весам модели и стоит почти ничего.
Число отравляющих документов почти не зависит от размера модели
Особенно важный результат 2025 года: «Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples» (Anthropic, UK AISI, Alan Turing Institute, arXiv:2510.07192). 250 отравленных документов надёжно создавали бэкдор во всех протестированных моделях — от 600M до 13B параметров. Для крупнейшей модели эти 250 документов составляли лишь 0,00016% обучающих токенов, но атаковали с той же эффективностью. Вывод переворачивает интуицию: сложность атаки не растёт с размером модели или датасета — нужно почти постоянное абсолютное число отравляющих образцов, а не процент.
Реальные инциденты
PoisonGPT (Mithril Security, июль 2023)
Исследователи алгоритмом ROME (Rank-One Model Editing) хирургически отредактировали факты в весах модели, вшив ложное утверждение «первым человеком на Луне был Юрий Гагарин». Отравленную модель выложили на Hugging Face под именем, мимикрирующим под EleutherAI (типосквоттинг неймспейса). Модель проходила стандартные бенчмарки с разницей точности всего 0,1% — то есть обычное тестирование её бы не отличило. Кейс ATLAS — AML.CS0019.
nullifAI (ReversingLabs, февраль 2025)
Новая техника: атакующие сжимали файлы модели через 7z вместо стандартного ZIP PyTorch — torch.load() падал с ошибкой, но pickle-нагрузка (reverse shell на захардкоженный IP) исполнялась до возникновения ошибки. Это обходило сканер Hugging Face Picklescan (чёрный список не ловил альтернативное сжатие). Соответствует кейсу ATLAS AML.CS0031 (Malicious Models on Hugging Face).
Типосквоттинг с массовой загрузкой
Вредоносная модель, мимикрирующая под релиз OpenAI, набрала около 244 000 загрузок до обнаружения. Это иллюстрирует масштаб проблемы: проверяемость экосистемы низкая, а доверие к имени артефакта — недостаточная защита.
Привязка к MITRE ATLAS
| Техника ATLAS | Название | Стадия |
|---|---|---|
AML.T0020 | Poison Training Data | AI Attack Staging |
AML.T0018 (.000 Poison ML Model, .001 Inject Payload) | Backdoor ML Model | AI Attack Staging |
AML.T0019 | Publish Poisoned Datasets | Resource Development |
AML.T0010 (.002 Data, .003 Model) | AI Supply Chain Compromise | Initial Access |
AML.T0043 | Craft Adversarial Data | AI Attack Staging |
AML.T0070 | RAG Poisoning | AI Attack Staging |
AML.T0031 | Erode AI Model Integrity | Impact |
Подробный разбор всей матрицы — в руководстве по MITRE ATLAS.
Защита: где MLOps, а где рантайм
Честное разделение зон ответственности — ключ к реалистичной защите от отравления.
Зона MLOps и цепочки поставок (НЕ детектируется в рантайме)
- Происхождение данных и ML-BOM — отслеживание источников, преобразований и контрибьюторов обучающих данных (OWASP CycloneDX ML-BOM). Полезно для аудита, но не ловит бэкдор в рантайме.
- Курирование и фильтрация датасета — ветинг поставщиков данных, удаление дубликатов, детекция аномалий на этапе подготовки.
- Подпись модели (Sigstore / OpenSSF Model Signing) — криптографическая подпись артефактов при релизе для выявления подмены.
- Мониторинг loss при обучении — аномалии per-sample loss могут указывать на отравленные батчи.
- Оценка и red-teaming — стандартные бенчмарки недостаточны (PoisonGPT показал разницу 0,1%); нужно adversarial-тестирование на триггеры.
Зона RAG / инференса
- Allow-листы источников RAG — ограничение извлечения только проверенными источниками.
- Фильтрация контента до индексации — сканирование документов на инъекции перед вставкой в базу знаний.
- Прослеживаемость на уровне чанка — пометка или отклонение чанков из недоверенных источников.
Что реально даёт рантайм-детекция: честная оценка
Детекция дремлющего бэкдора в рантайме трудна и в значительной мере исследовательская: триггерные бэкдоры специально спроектированы быть неотличимыми от чистого поведения, пока триггер не появился. Работа Sleeper Agents показала, что adversarial-обучение может сделать бэкдор более скрытым, а не удалить его — это фундаментально ограничивает рантайм-подходы. Рантайм-шлюз может логировать и фильтровать вывод, но не может надёжно обнаружить ещё не сработавший дремлющий бэкдор.
Что достижимо в рантайме и что закрывает SYNTREX: выявление момента активации триггерной нагрузки и скрытых инструкций в загружаемом/извлекаемом контенте.
Как SYNTREX помогает
SYNTREX закрывает рантайм-часть защиты от отравления — детекцию триггерных нагрузок и скрытых инструкций в загружаемом контенте — и даёт неизменяемый аудиторский след для разбора инцидента.
| Аспект | Что даёт SYNTREX | Движки / компоненты |
|---|---|---|
| Активация дремлющей нагрузки в рантайме | Детекция триггерных/спящих payload | dormant_payload |
| Скрытые инструкции в загружаемом/RAG-контенте | Инспекция на встроенные инструкции | injection |
| Целостность памяти/контекста агента | Защита от отравления контекста | memory_integrity |
| Ограничение «радиуса поражения» | Инспекция содержимого вывода/ответа скомпрометированного компонента | output_scanner, exfiltration |
| Доказуемость и разбор инцидента | Неизменяемая цепочка решений (SHA-256/HMAC) | Decision Logger |
Конфигурация syntrex.yaml
# syntrex.yaml — рантайм-профиль против активации отравленных нагрузок (LLM04)
version: "1.0"
mode: ai_gateway
engines:
dormant_payload: # активация триггерных/спящих нагрузок
action: alert
inspect_loaded_content: true
injection: # скрытые инструкции в загружаемом/RAG-контенте
action: block
inspect_tool_output: true
confidence_threshold: 0.7
memory_integrity: # отравление контекста/памяти агента
action: alert
exfiltration: # ограничение вывода скомпрометированным компонентом
action: block
confidence_threshold: 0.90
shield:
dmz: true # инспекция содержимого вывода/ответа (радиус поражения)
audit:
decision_logger: true # доказуемый след для разбора инцидента
Правило корреляции SOC
Активация дремлющей нагрузки с последующей попыткой вывода данных — сильный индикатор сработавшего бэкдора:
{
"name": "DORMANT_PAYLOAD_ACTIVATION_CHAIN",
"description": "Срабатывание спящей нагрузки, за которым следует попытка эксфильтрации",
"condition": "sequence(dormant_payload[confidence>0.6], exfiltration[confidence>0.7], 30s)",
"severity": "CRITICAL",
"playbook": "quarantine_component_and_alert_soc",
"metadata": { "owasp_llm": ["LLM04"], "mitre_atlas": ["AML.T0018", "AML.T0024"] }
}
Честная граница ответственности. Защита от отравления — преимущественно задача MLOps и цепочки поставок: происхождение данных, курирование, подпись модели, ML-BOM, adversarial-оценка перед релизом. Дремлющий бэкдор, который ещё не сработал, рантайм-шлюз надёжно не обнаружит — это фундаментальное ограничение, подтверждённое исследованиями. SYNTREX закрывает то, что достижимо в рантайме: момент активации триггерной нагрузки (
dormant_payload), скрытые инструкции в загружаемом/RAG-контенте (injection), ограничение «радиуса поражения» (Shield DMZ) и доказуемый аудит (Decision Logger). Защиту обучающего конвейера он не заменяет.
Частые вопросы (FAQ)
Что такое отравление обучающих данных (data poisoning)? Это атака, при которой злоумышленник внедряет искажённые или вредоносные данные на этапе обучения модели — предобучения, дообучения или формирования базы знаний RAG — чтобы вшить бэкдор, смещение или скрытое поведение. Отравленная модель работает нормально на обычных входах и «оживает» по секретному триггеру. В OWASP это категория LLM04:2025 «Data and Model Poisoning».
Насколько дорого отравить модель? Дешевле, чем принято думать. Carlini et al. показали отравление 0,01% веб-датасетов примерно за $60. PoisonedRAG достиг 90% успеха, внедрив всего 5 вредоносных текстов на вопрос в базу из миллионов. А исследование 2025 года показало, что достаточно почти постоянного абсолютного числа (около 250 документов) независимо от размера модели — атака не дорожает с масштабом.
Можно ли обнаружить бэкдор в модели в рантайме?
Надёжно — нет, если триггер ещё не сработал: бэкдоры специально проектируются дремлющими и неотличимыми от чистого поведения. Работа Sleeper Agents показала, что защитное обучение может даже лучше спрятать бэкдор. Рантайм-детекция (включая dormant_payload SYNTREX) ловит момент активации триггерной нагрузки и скрытые инструкции в загружаемом контенте, но не заменяет проверку модели на этапе MLOps.
Чем отравление RAG отличается от отравления модели? При отравлении модели меняются её веса (нужен доступ к обучению — дорого). При отравлении RAG атакуется внешний корпус извлечения — достаточно подбросить несколько вредоносных документов, веса модели не трогаются. PoisonedRAG показал 90% успеха при 5 документах на вопрос. Поэтому RAG-отравление дешевле и вынесено OWASP в ту же категорию LLM04. Детально — в руководстве по RAG.
Защищает ли SYNTREX от отравления данных?
Частично и честно в рамках рантайма. Основная защита — на этапе MLOps (происхождение данных, ML-BOM, подпись модели, adversarial-оценка). SYNTREX закрывает рантайм-часть: детекцию активации триггерных нагрузок (dormant_payload), скрытых инструкций в загружаемом/RAG-контенте (injection), целостность контекста агента (memory_integrity) и неизменяемый аудит. Защиту обучающего конвейера он не подменяет.
Какие техники MITRE ATLAS соответствуют отравлению?
Основные: AML.T0020 (Poison Training Data), AML.T0018 (Backdoor ML Model), AML.T0019 (Publish Poisoned Datasets), AML.T0010 (AI Supply Chain Compromise, суб-техники Data/Model), AML.T0070 (RAG Poisoning), AML.T0031 (Erode AI Model Integrity). Полная карта — в руководстве по ATLAS.
Как отравление связано с EU AI Act? Статья 15 EU AI Act прямо называет data poisoning и model poisoning как классы атак, против которых провайдеры высокорисковых систем обязаны внедрить технические решения. Это переводит защиту от отравления из рекомендации в юридическое обязательство — подробнее в руководстве по EU AI Act.
Источники
- OWASP LLM04:2025 — Data and Model Poisoning — официальное описание категории.
- Carlini et al. — Poisoning Web-Scale Training Datasets is Practical (arXiv:2302.10149) — $60 / 0,01%, split-view и frontrunning.
- Zou et al. — PoisonedRAG (USENIX Security 2025, arXiv:2402.07867) — 90% успеха при 5 текстах на вопрос.
- Hubinger et al. — Sleeper Agents (arXiv:2401.05566) — бэкдоры, переживающие защитное обучение.
- Anthropic / UK AISI / Alan Turing — Near-constant poison samples (arXiv:2510.07192) — ~250 документов независимо от размера модели.
- Mithril Security — PoisonGPT — редактирование весов через ROME.
- ReversingLabs — nullifAI (malicious ML models on Hugging Face) — обход Picklescan.
- OWASP CycloneDX ML-BOM — происхождение данных и моделей.
- MITRE ATLAS — техники
AML.T0020,AML.T0018,AML.T0070.
Связанные руководства: OWASP Top 10 для LLM · Безопасность RAG-систем · MITRE ATLAS · EU AI Act · Prompt Injection · Отраслевые сценарии