Create llm_agent_security.md

CyberOrda · Jan 21, 2025 · ca6e660 · ca6e660
1 parent 84d4764
commit ca6e660
Showing 1 changed file with 172 additions and 0 deletions.
diff --git a/docs/llm_agent_security.md b/docs/llm_agent_security.md
@@ -0,0 +1,172 @@
+# Безопасность LLM агентов
+
+<figure markdown style="text-align: center;">
+![Angryyyy](../img/llm_agent_security/angry.png){ width="700" }
+</figure>
+
+!!! info "О разделе"
+    Этот раздел посвящен безопасности LLM агентов, включая уязвимости, атаки и их применение в кибербезопасности.
+
+## Основные концепты
+
+### LLM Agent
+LLM Agent - это интеллектуальная система, использующая большую языковую модель для выполнения задач.
+
+!!! note "MultiAgent"
+    **MultiAgent**: Когда существует ансамбль из множества агентов, выполняющих одну большую задачу - это называется мульти-агентной системой. Она основана на большой языковой модели, отвечающей за планирование задач и принятие решений.
+
+### Память
+
+Память в автономных агентах можно разделить на два основных типа:
+
+- **Краткосрочная память**: Способность агента использовать контекстное обучение, временно сохраняя информацию во время одного взаимодействия.
+- **Долгосрочная память**: Позволяет агенту хранить и вспоминать информацию в течение длительных периодов времени.
+
+### Планирование
+Планирование включает способность агента разбивать сложные задачи на управляемые подцели:
+
+- **Декомпозиция задач**: Разбиение большой задачи на меньшие, более управляемые шаги
+- **Самоанализ**: Оценка прошлых действий и улучшение стратегий
+- **Внешние инструменты планирования**: Использование классических методов планирования
+
+### Действие
+Действие относится к выполнению задач на основе планирования и памяти агента:
+
+- **Использование инструментов**: Взаимодействие с внешними API и инструментами
+- **ReAct Framework**: Интеграция рассуждений и действий
+- **Динамическое взаимодействие**: Адаптация действий на основе обратной связи
+
+<figure markdown style="text-align: center;">
+![LLM Agent Modules](../img/llm_agent_security/modules.png){ width="700" }
+</figure>
+
+## Сравнение фреймворков
+
+| Фреймворк | Ключевые особенности | Область применения | Лицензия | Поддержка языков | Распределенные системы |
+|:---------:|:------------|:-----------|:--------|:-----------------|:-------------------|
+| **LangChain** | - Блочная архитектура<br>- Управление памятью<br>- Интеграция инструментов | Общего назначения | MIT | Python, JavaScript | Ограниченно |
+| **AutoGPT** | - Автономное достижение целей<br>- Долгосрочная память<br>- Может писать промпты для себя | Автономные агенты | MIT | Python | Нет |
+| **AgentGPT** | - Веб-интерфейс<br>- Декомпозиция задач<br>- GUI | Автоматизация задач | MIT | TypeScript | Да |
+| **BabyAGI** | - Приоритизация задач<br>- Простая архитектура<br>- Фокус на обучении | Исследования и образование | MIT | Python | Нет |
+| **Lyzr** | - Коммерческая платформа для корпораций <br>- Масштабируемая архитектура<br>- Готовые агенты с ролями | Решение для корпораций | Commercial | Python | Да |
+| **CrewAI** | - Мульти-агентная коллаборация<br>- Агенты с ролями<br>- Координация и управление агентами | Построение сложных агентных систем | Apache 2.0 | Python | Да |
+
+### Ключевые различия
+
+| Категория | Особенности | Примеры/Детали |
+|:---------|:---------|:----------------|
+| **Архитектурный фокус** | - Ориентация на задачи<br>- Блочная структура<br>- Мульти-агентность<br>- Корпоративное решение | - BabyAGI, AgentGPT<br>- LangChain<br>- CrewAI<br>- Lyzr |
+| **Оптимизация под случаи использования** | - Исследования<br>- Корпоративные решение<br>- Автоматизация под себя<br>- Для обучения | - Академические проекты<br>- Бизнес-решения<br>- Индивидуальные инструменты<br>- Обучающие платформы |
+| **Подход к разработке** | - Low-code решения<br>- Программно-интенсивный<br>- Визуальные управление агентами<br>- API-first дизайн | - No-code платформы<br>- Кастомная разработка<br>- Drag-and-drop интерфейсы<br>- API интеграция |
+| **Варианты развертывания** | - Cloud-native<br>- Self-hosted<br>- Гибридное развертывание<br>- Edge computing | - Облачные платформы<br>- On-premise решения<br>- Смешанные среды<br>- Edge устройства |
+
+## LLM Агенты в кибербезопасности
+
+### Основные свойства агентов
+
+| Базовые компоненты | Описание |
+|:--------------------|:------------|
+| **Определение роли** | Специфические функции безопасности и разделение обязанностей |
+| **Постановка целей** | Четкие цели для обеспечения защиты и критерии успеха |
+| **Предыстория** | Детальные возможности и операционный контекст |
+| **Доступ к инструментам** | Интеграция с инструментами безопасности и API |
+
+### Ключевые возможности
+
+| Возможность | Описание |
+|:-----------------|:------------|
+| **Наследование задач** | Способность получать и делегировать задачи |
+| **Управление границами** | Работа в рамках определенных ограничений, которые могут быть наложены на агента |
+| **Использование инструментов** | Эффективное применение инструментов безопасности и API |
+| **Совместная оценка** | Оценка и координация с другими агентами |
+
+### Применение в безопасности
+
+| Категория | Функции |
+|:---------|:---------|
+| **Обнаружение угроз** | - Мониторинг в реальном времени<br>- Автоматизированное реагирование на инциденты |
+| **Операции безопасности** | - Круглосуточный автономный мониторинг<br>- Автоматизация рутинных задач |
+| **Управление уязвимостями** | - Непрерывная оценка безопасности<br>- Автоматизированное сканирование |
+| **Расследование инцидентов** | - Автоматический сбор доказательств<br>- Реконструкция временной шкалы |
+
+## Ландшафт безопасности
+
+### OWASP Top 10 для AI агентов (Неофициальный)
+
+| Категория | Риск | Описание |
+|:---------|:-----|:------------|
+| [AAC-01](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-auth-control-01.md) | Захват авторизации и контроля | Несанкционированный контроль действий агента |
+| [ACS-02](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-critical-systems-02.md) | Взаимодействие с критическими системами | Небезопасное взаимодействие с критическими системами |
+| [AGI-03](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-goal-instruction-03.md) | Манипуляция целями | Злонамеренное изменение целей агента |
+| [AHE-04](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-hallucination-04.md) | Эксплуатация галлюцинаций | Использование ложных предположений агента |
+| [AIC-05](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-impact-chain-05.md) | Цепочка воздействия | Каскадные эффекты действий агента |
+| [AMC-06](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-memory-context-06.md) | Манипуляция памятью | Вмешательство в память агента |
+| [AOR-07](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-orchestration-07.md) | Эксплуатация оркестрации | Уязвимости мульти-агентных систем |
+| [ARE-08](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-resource-exhaustion-8.md) | Истощение ресурсов | DoS атаки и истощение ресурсов |
+| [ASC-09](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-supply-chain-09.md) | Атаки на цепочку поставок | Скомпрометированные зависимости |
+| [AKP-10](https://github.com/precize/OWASP-Agentic-AI/blob/main/agent-knowledge-poisoning-10.md) | Отравление базы знаний | Загрязнение базы знаний агента |
+
+![LLM Agent Security Landscape](../img/llm_agent_security/landscape.png){ width="700", align=center }
+
+## Практические лаборатории
+
+| Проект | Тип | Особенности | Назначение |
+|:--------|:-----|:---------|:---------|
+| [Damn Vulnerable LLM Agent](https://github.com/WithSecureLabs/damn-vulnerable-llm-agent) | Уязвимое приложение | - Тестирование ReAct агентов<br>- Сценарии инъекций промптов<br>- Практика Prompt Injection | Изучение атак на LLM агентов |
+| [Medusa](https://medusa.detoxio.dev/) | Тестовая платформа | - Тестирование уязвимостей агентов<br>- Оценка безопасности<br>- Симуляция атак | Обучение угрозам |
+
+## Исследования и публикации
+
+### Академические статьи
+
+| Название | Авторы | Год | Ключевые выводы |
+|:------|:--------|:-----|:-------------|
+| [Security Concerns with AI Agents](https://www.vpnranks.com/resources/security-concerns-with-ai-agents/) | VPNRanks | 2024 | - 52.5% утечек данных к 2025<br>- Рост рынка до $7.41B |
+| [Key Challenges in AI Agent Security](https://taleliyahu.medium.com/key-challenges-in-ai-agent-security-332d718ec8b4) | Tal Eliyahu | 2024 | - Описывает риски конфиденциальности<br>- Проблемы целостности |
+| [Beyond RCE: Autonomous Code Execution](https://www.securityrunners.io/post/beyond-rce-autonomous-code-execution-in-agentic-ai) | Security Runners | 2024 | - Описывает риски выполнения кода<br>- Угрозы автономности |
+| [Exploiting Huggingface's Assistants](https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data) | Lasso Security | 2023 | - Описывает уязвимости извлечения данных |
+
+### Инструменты и фреймворки безопасности
+
+| Проект | Тип | Описание | Особенности |
+|:--------|:-----|:------------|:----------|
+| [HackSynth](https://github.com/aielte-research/HackSynth) | Фреймворк | Тестирование безопасности AI | - Оценка уязвимостей<br>- Симуляция атак |
+| [OsintAGI](https://github.com/wearetyomsmnv/OsintAGI/) | Инструмент | Автоматизация OSINT | - Сбор информации<br>- Анализ данных |
+| [Agent-Smith](https://github.com/sail-sg/Agent-Smith) | PoC | Эксплуатация уязвимостей | - Jailbreak<br>- Уязвимости агентов |
+| [AI-OPS](https://github.com/antoninoLorenzo/AI-OPS) | Платформа | Тестирование безопасности| - Обнаружение рисков<br>- Автоматизация реагирования |
+| [PentAGI](https://github.com/vxcontrol/pentagi/) | Инструмент | Тестирование безопасности | - Автономные AI агенты<br>- Мониторинг |
+
+### Бенчмарки и оценки
+
+| Проект | Фокус | Метрики | Ключевые особенности |
+|:--------|:------|:--------|:-------------|
+| [Agent-Attack](https://github.com/ChenWu98/agent-attack) | Тестирование атак | Уязвимости безопасности | - Векторы атак<br>- Оценка защиты<br>- Оценка рисков |
+| [Auto-Pen-Bench](https://github.com/lucagioacchini/auto-pen-bench) | Пентест | Бенчмарки безопасности | - Автоматизированное тестирование<br>- Метрики производительности<br>- Оценка безопасности |
+| [ASB](https://github.com/agiresearch/ASB) | Бенчмарк безопасности | Безопасность агентов | - Метрики безопасности<br>- Анализ производительности<br>- Тестирование уязвимостей |
+| [LLM-Agent-Benchmark](https://github.com/zhangxjohn/LLM-Agent-Benchmark-List) | Комплексный | Оценка агентов | - Тестирование безопасности<br>- Метрики производительности<br>- Коллекция бенчмарков |
+
+### Проекты по безопасности агентов
+
+| Проект | Тип | Назначение | Особенности |
+|:--------|:-----|:--------|:----------|
+| [Multi-Agent-SecOps](https://github.com/tegridydev/multi-agent-secops-llm) | SecOps | Безопасность с использованием LLM | - Обнаружение угроз<br>- Автоматизация реагирования<br>- Мониторинг безопасности |
+| [Cyber-Security-LLM-Agents](https://github.com/NVISOsecurity/cyber-security-llm-agents) | SecOps | Безопасность на основе агентов | - Автоматизация безопасности<br>- Анализ угроз<br>- Координация агентов для реагирования на инциденты |
+| [Ridge Security](https://ridgesecurity.ai/) | Платформа | AI решение для безопасности | - Оценка уязвимостей<br>- Тестирование безопасности<br>- Управление рисками |
+
+### Технические презентации
+
+| Название | Организация | Год | Ключевые темы |
+|:------|:-------------|:-----|:-----------|
+| [The Double AI Agent](http://i.blackhat.com/EU-24/Presentations/EU-24-Cohen-TheDoubleAIAgent.pdf) | Black Hat EU | 2024 | - Техники манипуляции агентами<br>- Сценарии двойных агентов |
+| [Mind the Data Gap](http://i.blackhat.com/EU-24/Presentations/EU-24-Pappu-Mind-the-Data-Gap.pdf) | Black Hat EU | 2024 | - Приватность в AI агентах<br>- Мульти-агентные системы |
+| [Agentic AI: New Frontier](https://aisuf.org/blogs/f/agentic-ai-a-new-frontier-in-security) | AI Security Union | 2024 | - Про то, как AI Agents могут быть использованы в кибербезопасности<br>- Тренды |
+| [Agent Security Analysis](https://arxiv.org/abs/2409.10737) | arXiv | 2023 | - Фреймворки безопасности<br>- Оценка уязвимостей |
+
+## Ресурсы сообщества
+
+- [OWASP AI Agent Security Project](https://github.com/precize/OWASP-Agentic-AI/) - Неофициальный репозиторий
+- [OWASP Slack #team-llm-autonomus-agents](https://owasp.slack.com/archives/team-llm-autonomus-agents) - Обсуждения сообщества
+
+<figure markdown style="text-align: center;">
+![That is AGI](../img/llm_agent_security/agi.gif){ width="400" }
+</figure>