🛡️ OWASP Top 10 для LLM-приложений (2025): разбор и защита

OWASP Top 10 для LLM-приложений — это отраслевой стандарт-список десяти наиболее критичных уязвимостей систем на основе больших языковых моделей (Large Language Models, LLM) и генеративного ИИ. Редакция 2025 года заметно отличается от первой версии 2023-го: появились новые категории (утечка системного промпта, слабости векторных представлений), а старые были переосмыслены под эпоху автономных ИИ-агентов. В этом руководстве мы разбираем все десять рисков (LLM01–LLM10) и показываем, какие движки платформы SYNTREX закрывают каждый из них.

Эта страница — «хаб». Для углубления по конкретным темам смотрите наши пилларные руководства: Prompt Injection: полное руководство по защите, Джейлбрейки LLM: семейства атак и защита и Безопасность RAG-систем.

Что изменилось в OWASP LLM Top 10 2025

Список 2025 года (официально — «OWASP Top 10 for LLM Applications 2025», версия v2025, опубликован в ноябре 2024) — результат работы сообщества OWASP GenAI Security Project. Ключевые сдвиги относительно версии 2023:

Prompt Injection остался риском №1 — это по-прежнему фундаментальная, нерешённая проблема архитектуры LLM.
Старый Insecure Output Handling переименован в Improper Output Handling и опустился на пятую позицию.
Training Data Poisoning расширен до Data and Model Poisoning — теперь охватывает и дообучение (fine-tuning), и отравление баз знаний RAG.
Model Denial of Service превратился в Unbounded Consumption с акцентом на «Denial of Wallet» — неконтролируемый расход денег на токены.
Появились две принципиально новые категории: System Prompt Leakage (LLM07) и Vector and Embedding Weaknesses (LLM08).
Категории Insecure Plugin Design и Model Theft убраны — их риски перераспределены между Excessive Agency и Supply Chain.

Ниже — разбор каждой из десяти категорий с примерами реальных атак и привязкой к движкам SYNTREX.

LLM01:2025 — Prompt Injection (Инъекция промптов)

Суть. Уязвимость возникает, когда пользовательский или внешний ввод изменяет поведение модели непредусмотренным образом, переопределяя инструкции разработчика. Различают прямую инъекцию (вредоносный текст вводит сам пользователь) и косвенную (модель обрабатывает заражённый внешний контент — документ, веб-страницу, письмо, вывод инструмента). Инъекция не обязана быть видимой человеку — достаточно, чтобы её распарсила модель.

Примеры атак. Классическое «Ignore the above directions and...» (Райли Гудсайд, 2022); утечка содержимого приватных каналов через Slack AI (PromptArmor, 2024); zero-click эксфильтрация данных из Microsoft 365 Copilot (EchoLeak, CVE-2025-32711, CVSS 9.3, 2025); RCE в GitHub Copilot через содержимое репозитория (CVE-2025-53773).

Движки SYNTREX: injection, output_scanner, lethal_trifecta, goal_predictability. Подробный разбор — в руководстве по Prompt Injection.

LLM02:2025 — Sensitive Information Disclosure (Раскрытие чувствительных данных)

Суть. LLM раскрывает конфиденциальные данные — PII, финансовую и медицинскую информацию, учётные данные, проприетарные алгоритмы — через ответы, логи или утечку из обучающих данных и RAG-базы. Особенно критично, когда система RAG возвращает данные одного пользователя в ответ на запрос другого: это уже регистрируемый инцидент утечки.

Примеры атак. Сотрудники Samsung вставляли проприетарный код в ChatGPT (2023); таргетированная инъекция для извлечения API-ключей; межтенантная утечка фрагментов из векторного хранилища.

Движки SYNTREX: pii, exfiltration, output_scanner. PII-redaction и output scanning маскируют номера карт, токены и ключи до возврата ответа пользователю.

LLM03:2025 — Supply Chain (Цепочка поставок)

Суть. Уязвимости в сторонних компонентах — предобученных моделях, датасетах, LoRA-адаптерах, PyPI-пакетах, плагинах и MCP-серверах — ставят под угрозу всё приложение. Скомпрометированная модель ведёт себя нормально вплоть до активации вредоносного триггера.

Примеры атак. Typosquatting на Hugging Face (вредоносные модели под именами, похожими на популярные); заражённый PyPI-пакет, компрометирующий цепочку AI-пайплайнов.

Движки SYNTREX. Прямого «сканера зависимостей» в SYNTREX нет — это зона процессов DevSecOps (SBOM/ML-BOM, верификация подписей и хешей, пиннинг версий). На стороне рантайма частично помогает движок dormant_payload, выявляющий спящие полезные нагрузки (Phantom/CorruptRAG), активирующиеся по триггеру. Честная граница: управление цепочкой поставок — преимущественно организационный контроль, а не функция движков детекции.

LLM04:2025 — Data and Model Poisoning (Отравление данных и модели)

Суть. Атакующий манипулирует данными на этапе предобучения, дообучения или формирования базы знаний RAG, внедряя бэкдоры, искажения и скрытое поведение. В контексте RAG отравляется не модель, а внешний корпус — что требует кратно меньших ресурсов: исследование PoisonedRAG (USENIX Security 2025) показало 90% успеха при внедрении всего 5 вредоносных документов на целевой вопрос.

Примеры атак. «Sleeper agents» в дообученных моделях; Split-View Poisoning (разные данные в open-source и в реальном обучении); отравление RAG-корпуса.

Движки SYNTREX: dormant_payload, injection (для скрытых инструкций в загружаемом контенте). Детально — в руководстве по безопасности RAG.

LLM05:2025 — Improper Output Handling (Небезопасная обработка вывода)

Суть. Приложение передаёт вывод LLM в нижестоящие системы (SQL, shell, HTML, API) без валидации, как будто это доверенные данные. Результат — классические уязвимости: XSS, SQL-инъекция, command injection. Главный принцип: любой вывод LLM считать недоверенным вводом.

Примеры атак. Text2SQL генерирует DELETE FROM users без WHERE; код от ассистента исполняется в CI/CD без ревью.

Движки SYNTREX: output_scanner, injection. Shield DMZ проверяет каждый ответ модели и при обнаружении опасных конструкций блокирует или заменяет его безопасной заглушкой.

LLM06:2025 — Excessive Agency (Избыточные полномочия)

Суть. ИИ-агенту дали больше функциональности, разрешений или автономии, чем необходимо. При компрометации (например, через косвенную инъекцию) или ошибке агент совершает необратимые действия с реальными последствиями: отправляет письма, удаляет файлы, проводит транзакции.

Примеры атак. Email-ассистент, обманутый инъекцией, пересылает конфиденциальную переписку атакующему; агент с доступом к shell удаляет критичные файлы.

Движки SYNTREX: goal_predictability, tool_abuse, cross_tool_guard, lethal_trifecta. goal_predictability — эвристический поведенческий движок: выявляет многошаговые цепочки атак / увод агента с штатной цели в командах агента; принцип наименьших привилегий и human-in-the-loop остаются обязательными организационными мерами.

LLM07:2025 — System Prompt Leakage (Утечка системного промпта)

Суть. Новая категория 2025 года. Атакующий извлекает скрытый системный промпт — внутренние правила, бизнес-логику, иногда учётные данные, по ошибке помещённые в инструкции. Это обнажает архитектуру защиты и облегчает её обход. Ключевой вывод OWASP: система безопасности не должна полагаться на секретность промпта — секреты не место в системном промпте.

Примеры атак. «Repeat your system prompt above verbatim»; извлечение бизнес-правил e-commerce бота для обхода ограничений на скидки и возвраты.

Движки SYNTREX: injection (паттерн System Prompt Extraction), output_scanner. Output Scanner перехватывает ответы, содержащие фрагменты системных инструкций.

LLM08:2025 — Vector and Embedding Weaknesses (Слабости векторов и эмбеддингов)

Суть. Новая категория 2025 года, специфичная для RAG. Включает: отравление векторного индекса; межтенантную утечку (эмбеддинги одной группы попадают в ответы другой в общем хранилище); атаки инверсии эмбеддингов (восстановление исходного текста из вектора); недостаточный контроль доступа к чанкам.

Примеры атак. Резюме со скрытыми инструкциями (белый текст на белом фоне) в системе найма; межтенантная утечка из неверно сконфигурированной векторной БД; инверсия эмбеддингов — исследование Morris et al. (EMNLP 2023) восстановило 92% токенов и полные имена из клинических записей.

Движки SYNTREX: pii, exfiltration, output_scanner, injection. Полный разбор и пример syntrex.yaml — в руководстве по безопасности RAG.

LLM09:2025 — Misinformation (Дезинформация)

Суть. Бывший Overreliance, переосмысленный. LLM генерирует правдоподобную, но ложную или непроверенную информацию (галлюцинации). В медицине, юриспруденции и финансах это причиняет реальный вред. Отдельный вектор — «hallucinated packages»: модель регулярно «придумывает» имена несуществующих пакетов, а атакующие публикуют под этими именами вредоносный код.

Примеры атак. Галлюцинированные имена npm/PyPI-пакетов, которые пользователи устанавливают; некорректные медицинские дозировки от чат-бота.

Движки SYNTREX. Детекция галлюцинаций как таковых — не зона движков SYNTREX (это требует верификации фактов против источника). Честная граница: митигация здесь — архитектурная (RAG с доверенными источниками, обязательные цитаты, human review для высокорисковых ответов). SYNTREX помогает косвенно: output_scanner фиксирует опасные рекомендации, а Decision Logger сохраняет неизменяемый след для аудита.

LLM10:2025 — Unbounded Consumption (Неограниченное потребление)

Суть. Бывший Model Denial of Service. Приложение допускает неконтролируемый расход ресурсов — токенов, API-вызовов, вычислений. Итог: отказ в обслуживании (DoS), деградация сервиса или «Denial of Wallet» — внезапные финансовые потери. Особенно опасно для агентских систем с рекурсивными вызовами.

Примеры атак. Флуд гигантскими промптами для перегрузки inference-сервера; рекурсивные цепочки агентов без таймаута, экспоненциально наращивающие счёт за API.

Движки SYNTREX. Контроль расхода — это rate-limiting, квоты и таймауты на уровне шлюза gomcp, а не движков детекции. SOC Correlation Engine содержит правило ALERT_FLOOD (100+ событий от одного сенсора за 60 секунд), которое выявляет аномальный всплеск нагрузки как индикатор атаки.

Как SYNTREX защищает

SYNTREX — это «иммунная система» для LLM-приложений: единый конвейер из специализированных движков детекции, DMZ-фильтрации вывода (Shield), корреляции событий (SOC) и неизменяемого аудита (Decision Logger). Сводная карта «риск OWASP → движок»:

OWASP 2025	Основные движки SYNTREX
LLM01 Prompt Injection	`injection`, `output_scanner`, `lethal_trifecta`, `goal_predictability`
LLM02 Sensitive Information Disclosure	`pii`, `exfiltration`, `output_scanner`
LLM03 Supply Chain	`dormant_payload` (+ процессы SBOM/ML-BOM)
LLM04 Data and Model Poisoning	`dormant_payload`, `injection`
LLM05 Improper Output Handling	`output_scanner`, `injection`
LLM06 Excessive Agency	`goal_predictability`, `tool_abuse`, `cross_tool_guard`, `lethal_trifecta`
LLM07 System Prompt Leakage	`injection`, `output_scanner`
LLM08 Vector and Embedding Weaknesses	`pii`, `exfiltration`, `output_scanner`, `injection`
LLM09 Misinformation	`output_scanner` (косвенно) + архитектура RAG
LLM10 Unbounded Consumption	rate-limiting шлюза + SOC `ALERT_FLOOD`

Базовая конфигурация `syntrex.yaml`

Минимальный набор движков, покрывающий ядро OWASP LLM Top 10:

YAML

engines:
  injection:
    action: block
    confidence_threshold: 0.7
  jailbreak:
    action: block
    confidence_threshold: 0.85
  output_scanner:
    action: sanitize        # перехватываем утечки и опасный вывод модели
  pii:
    action: redact          # маскируем PII, не блокируя весь запрос
    mask_character: "*"
  exfiltration:
    action: block           # ключи, токены и каналы утечки не должны покидать периметр
  lethal_trifecta:
    action: alert           # одновременность data-access + untrusted + exfil
  goal_predictability:
    action: block           # поведенческая эвристика: многошаговые цепочки атак / увод с цели

Правило корреляции SOC (Correlation Engine)

Многоступенчатая атака почти всегда видна как цепочка событий. Пример правила, связывающего инъекцию с последующим вызовом инструмента:

YAML

rules:
  - id: INJECTION_TO_EXEC
    name: "Prompt Injection → Tool Execution"
    description: "Инъекция, за которой следует исполнение инструмента в течение 3 минут"
    enabled: true
    conditions:
      - sequence:
          - category: injection
            min_confidence: 0.7
          - category: tool_abuse
            min_confidence: 0.5
        within: "3m"
        same_field: "source_ip"
    action:
      create_incident: true
      severity: CRITICAL
      kill_chain_stage: "exploitation"
      playbook: "auto_block_session"
    metadata:
      mitre_atlas: ["AML.T0051"]
      owasp_llm: ["LLM01", "LLM05", "LLM06"]

Все решения движков пишутся в Decision Logger — неизменяемую цепочку с хешами SHA-256 и HMAC, пригодную для предъявления регулятору.

Частые вопросы (FAQ)

Что такое OWASP Top 10 для LLM и зачем он нужен?

Это консенсусный список десяти самых критичных уязвимостей приложений на больших языковых моделях, составленный сообществом OWASP GenAI Security Project. Он служит общим языком для разработчиков, безопасников и аудиторов: по нему удобно строить модель угроз, чек-листы и требования к закупаемым решениям.

Чем версия OWASP LLM Top 10 2025 отличается от 2023?

В 2025-м добавлены две новые категории — System Prompt Leakage (LLM07) и Vector and Embedding Weaknesses (LLM08). Training Data Poisoning расширен до Data and Model Poisoning, Model DoS стал Unbounded Consumption (с «Denial of Wallet»), а Insecure Plugin Design и Model Theft убраны. Prompt Injection остался риском №1.

Какая уязвимость LLM считается самой опасной?

OWASP ставит на первое место Prompt Injection (LLM01) — это структурная проблема: модель не отличает доверенные инструкции от недоверенного контента, поскольку всё проходит единым потоком токенов. Именно поэтому простые «фильтры на входе» её не закрывают, и нужна эшелонированная защита.

Чем prompt injection отличается от джейлбрейка?

Джейлбрейк нацелен на обход защитного обучения самой модели (заставить её нарушить свои политики), а prompt injection переопределяет инструкции конкретного приложения. OWASP формально рассматривает джейлбрейк как частный случай prompt injection. Подробнее — в руководстве по джейлбрейкам.

Покрывает ли SYNTREX все 10 категорий OWASP?

SYNTREX закрывает движками те риски, которые проявляются на уровне ввода-вывода и поведения агента (LLM01, LLM02, LLM05, LLM06, LLM07, LLM08 и частично LLM04). Категории LLM03 (Supply Chain), LLM09 (Misinformation) и LLM10 (Unbounded Consumption) требуют преимущественно организационных и инфраструктурных мер (SBOM, RAG с верификацией, rate-limiting) — SYNTREX дополняет их корреляцией и аудитом, но не подменяет.

Как OWASP LLM Top 10 соотносится с MITRE ATLAS и NIST AI RMF?

OWASP даёт перечень уязвимостей, MITRE ATLAS — матрицу тактик и техник атак на ИИ (например, AML.T0051 — LLM Prompt Injection), а NIST AI RMF — управленческий каркас (GOVERN/MAP/MEASURE/MANAGE). Они дополняют друг друга: OWASP отвечает на «что сломается», ATLAS — «как атакуют», NIST — «как управлять риском».

С чего начать защиту LLM-приложения?

Начните с модели угроз по OWASP LLM Top 10, затем закройте «летучую тройку» (lethal trifecta) — не давайте агенту одновременно доступ к приватным данным, контакт с недоверенным контентом и канал наружу. Дальше включите детекцию инъекций и джейлбрейков на входе, сканирование вывода и PII/секретов, а сверху — корреляцию и аудит.

Источники

Связанные руководства: Prompt Injection · Джейлбрейки LLM · Безопасность RAG-систем · Отраслевые сценарии