diff --git a/docs/llm_agent_security.md b/docs/llm_agent_security.md index 43a9f42..ebd7028 100644 --- a/docs/llm_agent_security.md +++ b/docs/llm_agent_security.md @@ -13,13 +13,13 @@ LLM Agent - это интеллектуальная система, использующая большую языковую модель для выполнения задач. !!! note "MultiAgent" - **MultiAgent**: Когда существует ансамбль из множества агентов, выполняющих одну большую задачу - это называется мульти-агентной системой. Она основана на большой языковой модели, отвечающей за планирование задач и принятие решений. + **MultiAgent**: Когда существует ансамбль из множества агентов, выполняющих одну большую задачу - это называется мульти-агентной системой. Она использует LLM, в качестве ядра, которое отвечает за планирование задач и принятие решений. ### Память Память в автономных агентах можно разделить на два основных типа: -- **Краткосрочная память**: Способность агента использовать контекстное обучение, временно сохраняя информацию во время одного взаимодействия. +- **Краткосрочная память**: Способность агента использовать данные из контекста, временно сохраняя информацию во время одного взаимодействия. - **Долгосрочная память**: Позволяет агенту хранить и вспоминать информацию в течение длительных периодов времени. ### Планирование @@ -55,10 +55,10 @@ LLM Agent - это интеллектуальная система, исполь | Категория | Особенности | Примеры/Детали | |:---------|:---------|:----------------| -| **Архитектурный фокус** | - Ориентация на задачи<br>- Блочная структура<br>- Мульти-агентность<br>- Корпоративное решение | - BabyAGI, AgentGPT<br>- LangChain<br>- CrewAI<br>- Lyzr | -| **Оптимизация под случаи использования** | - Исследования<br>- Корпоративные решение<br>- Автоматизация под себя<br>- Для обучения | - Академические проекты<br>- Бизнес-решения<br>- Индивидуальные инструменты<br>- Обучающие платформы | -| **Подход к разработке** | - Low-code решения<br>- Программно-интенсивный<br>- Визуальные управление агентами<br>- API-first дизайн | - No-code платформы<br>- Кастомная разработка<br>- Drag-and-drop интерфейсы<br>- API интеграция | -| **Варианты развертывания** | - Cloud-native<br>- Self-hosted<br>- Гибридное развертывание<br>- Edge computing | - Облачные платформы<br>- On-premise решения<br>- Смешанные среды<br>- Edge устройства | +| **Фокус на архитектуру системы** | - Ориентация на задачи<br>- Блочная структура<br>- Мульти-агентность<br>- Корпоративное решение | - BabyAGI, AgentGPT<br>- LangChain<br>- CrewAI<br>- Lyzr | +| **Оптимизация под разные применения** | - Исследования<br>- Корпоративные решение<br>- Автоматизация под себя<br>- Для обучения | - Академические проекты<br>- Бизнес-решения<br>- Индивидуальные инструменты<br>- Обучающие платформы | +| **Упрощённый подход к разработке** | - Low-code решения<br>- Программно-интенсивный<br>- Визуальные управление агентами<br>- API-first дизайн | - No-code платформы<br>- Кастомная разработка<br>- Drag-and-drop интерфейсы<br>- API интеграция | +| **Варианты развертывания** | - Cloud-native<br>- Self-hosted<br>- Гибридное развертывание<br>- Edge computing | - Облачные платформы<br>- On-premise решения<br>- Смешанные среды<br>- Edge-devices | ## LLM Агенты в кибербезопасности @@ -85,7 +85,7 @@ LLM Agent - это интеллектуальная система, исполь | Категория | Функции | |:---------|:---------| | **Обнаружение угроз** | - Мониторинг в реальном времени<br>- Автоматизированное реагирование на инциденты | -| **Операции безопасности** | - Круглосуточный автономный мониторинг<br>- Автоматизация рутинных задач | +| **Использование в SecOps** | - Круглосуточный автономный мониторинг<br>- Автоматизация рутинных задач | | **Управление уязвимостями** | - Непрерывная оценка безопасности<br>- Автоматизированное сканирование | | **Расследование инцидентов** | - Автоматический сбор доказательств<br>- Реконструкция временной шкалы | @@ -113,7 +113,7 @@ LLM Agent - это интеллектуальная система, исполь | Проект | Тип | Особенности | Назначение | |:--------|:-----|:---------|:---------| | [Damn Vulnerable LLM Agent](https://github.com/WithSecureLabs/damn-vulnerable-llm-agent) | Уязвимое приложение | - Тестирование ReAct агентов<br>- Сценарии инъекций промптов<br>- Практика Prompt Injection | Изучение атак на LLM агентов | -| [Medusa](https://medusa.detoxio.dev/) | Тестовая платформа | - Тестирование уязвимостей агентов<br>- Оценка безопасности<br>- Симуляция атак | Обучение угрозам | +| [Medusa](https://medusa.detoxio.dev/) | Тестовая платформа | - Тестирование уязвимостей агентов<br>- Оценка безопасности<br>- Симуляция атак | Обучение атакам | ## Исследования и публикации @@ -122,9 +122,9 @@ LLM Agent - это интеллектуальная система, исполь | Название | Авторы | Год | Ключевые выводы | |:------|:--------|:-----|:-------------| | [Security Concerns with AI Agents](https://www.vpnranks.com/resources/security-concerns-with-ai-agents/) | VPNRanks | 2024 | - 52.5% утечек данных к 2025<br>- Рост рынка до $7.41B | -| [Key Challenges in AI Agent Security](https://taleliyahu.medium.com/key-challenges-in-ai-agent-security-332d718ec8b4) | Tal Eliyahu | 2024 | - Описывает риски конфиденциальности<br>- Проблемы целостности | -| [Beyond RCE: Autonomous Code Execution](https://www.securityrunners.io/post/beyond-rce-autonomous-code-execution-in-agentic-ai) | Security Runners | 2024 | - Описывает риски выполнения кода<br>- Угрозы автономности | -| [Exploiting Huggingface's Assistants](https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data) | Lasso Security | 2023 | - Описывает уязвимости извлечения данных | +| [Key Challenges in AI Agent Security](https://taleliyahu.medium.com/key-challenges-in-ai-agent-security-332d718ec8b4) | Tal Eliyahu | 2024 | - Описывает риски конфиденциальности<br>- Проблемы для обеспечения безопасности агентов | +| [Beyond RCE: Autonomous Code Execution](https://www.securityrunners.io/post/beyond-rce-autonomous-code-execution-in-agentic-ai) | Security Runners | 2024 | - Описывает риски выполнения кода<br>- Угрозы среде, где агент может быть использован | +| [Exploiting Huggingface's Assistants](https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data) | Lasso Security | 2023 | - Описывает уязвимости извлечения данных из агентной системы, которая была сделана в huggingface| ### Инструменты и фреймворки безопасности @@ -149,8 +149,8 @@ LLM Agent - это интеллектуальная система, исполь | Проект | Тип | Назначение | Особенности | |:--------|:-----|:--------|:----------| -| [Multi-Agent-SecOps](https://github.com/tegridydev/multi-agent-secops-llm) | SecOps | Безопасность с использованием LLM | - Обнаружение угроз<br>- Автоматизация реагирования<br>- Мониторинг безопасности | -| [Cyber-Security-LLM-Agents](https://github.com/NVISOsecurity/cyber-security-llm-agents) | SecOps | Безопасность на основе агентов | - Автоматизация безопасности<br>- Анализ угроз<br>- Координация агентов для реагирования на инциденты | +| [Multi-Agent-SecOps](https://github.com/tegridydev/multi-agent-secops-llm) | SecOps | Безопасность с использованием агентов и LLM | - Обнаружение угроз<br>- Автоматизация реагирования<br>- Мониторинг безопасности | +| [Cyber-Security-LLM-Agents](https://github.com/NVISOsecurity/cyber-security-llm-agents) | SecOps | Безопасность с использованием агентов | - Автоматизация безопасности<br>- Анализ угроз<br>- Координация агентов для реагирования на инциденты | | [Ridge Security](https://ridgesecurity.ai/) | Платформа | AI решение для безопасности | - Оценка уязвимостей<br>- Тестирование безопасности<br>- Управление рисками | ### Технические презентации @@ -160,7 +160,7 @@ LLM Agent - это интеллектуальная система, исполь | [The Double AI Agent](http://i.blackhat.com/EU-24/Presentations/EU-24-Cohen-TheDoubleAIAgent.pdf) | Black Hat EU | 2024 | - Техники манипуляции агентами<br>- Сценарии двойных агентов | | [Mind the Data Gap](http://i.blackhat.com/EU-24/Presentations/EU-24-Pappu-Mind-the-Data-Gap.pdf) | Black Hat EU | 2024 | - Приватность в AI агентах<br>- Мульти-агентные системы | | [Agentic AI: New Frontier](https://aisuf.org/blogs/f/agentic-ai-a-new-frontier-in-security) | AI Security Union | 2024 | - Про то, как AI Agents могут быть использованы в кибербезопасности<br>- Тренды | -| [Agent Security Analysis](https://arxiv.org/abs/2409.10737) | arXiv | 2023 | - Фреймворки безопасности<br>- Оценка уязвимостей | +| [Agent Security Analysis](https://arxiv.org/abs/2409.10737) | arXiv | 2024 | - Фреймворки безопасности<br>- Оценка уязвимостей | ## Ресурсы сообщества