Skip to content

Commit

Permalink
Update llm_agent_security.md
Browse files Browse the repository at this point in the history
  • Loading branch information
wearetyomsmnv authored Jan 21, 2025
1 parent 3b0fec9 commit 20d6b24
Showing 1 changed file with 14 additions and 14 deletions.
28 changes: 14 additions & 14 deletions docs/llm_agent_security.md
Original file line number Diff line number Diff line change
Expand Up @@ -13,13 +13,13 @@
LLM Agent - это интеллектуальная система, использующая большую языковую модель для выполнения задач.

!!! note "MultiAgent"
**MultiAgent**: Когда существует ансамбль из множества агентов, выполняющих одну большую задачу - это называется мульти-агентной системой. Она основана на большой языковой модели, отвечающей за планирование задач и принятие решений.
**MultiAgent**: Когда существует ансамбль из множества агентов, выполняющих одну большую задачу - это называется мульти-агентной системой. Она использует LLM, в качестве ядра, которое отвечает за планирование задач и принятие решений.

### Память

Память в автономных агентах можно разделить на два основных типа:

- **Краткосрочная память**: Способность агента использовать контекстное обучение, временно сохраняя информацию во время одного взаимодействия.
- **Краткосрочная память**: Способность агента использовать данные из контекста, временно сохраняя информацию во время одного взаимодействия.
- **Долгосрочная память**: Позволяет агенту хранить и вспоминать информацию в течение длительных периодов времени.

### Планирование
Expand Down Expand Up @@ -55,10 +55,10 @@ LLM Agent - это интеллектуальная система, исполь

| Категория | Особенности | Примеры/Детали |
|:---------|:---------|:----------------|
| **Архитектурный фокус** | - Ориентация на задачи<br>- Блочная структура<br>- Мульти-агентность<br>- Корпоративное решение | - BabyAGI, AgentGPT<br>- LangChain<br>- CrewAI<br>- Lyzr |
| **Оптимизация под случаи использования** | - Исследования<br>- Корпоративные решение<br>- Автоматизация под себя<br>- Для обучения | - Академические проекты<br>- Бизнес-решения<br>- Индивидуальные инструменты<br>- Обучающие платформы |
| **Подход к разработке** | - Low-code решения<br>- Программно-интенсивный<br>- Визуальные управление агентами<br>- API-first дизайн | - No-code платформы<br>- Кастомная разработка<br>- Drag-and-drop интерфейсы<br>- API интеграция |
| **Варианты развертывания** | - Cloud-native<br>- Self-hosted<br>- Гибридное развертывание<br>- Edge computing | - Облачные платформы<br>- On-premise решения<br>- Смешанные среды<br>- Edge устройства |
| **Фокус на архитектуру системы** | - Ориентация на задачи<br>- Блочная структура<br>- Мульти-агентность<br>- Корпоративное решение | - BabyAGI, AgentGPT<br>- LangChain<br>- CrewAI<br>- Lyzr |
| **Оптимизация под разные применения** | - Исследования<br>- Корпоративные решение<br>- Автоматизация под себя<br>- Для обучения | - Академические проекты<br>- Бизнес-решения<br>- Индивидуальные инструменты<br>- Обучающие платформы |
| **Упрощённый подход к разработке** | - Low-code решения<br>- Программно-интенсивный<br>- Визуальные управление агентами<br>- API-first дизайн | - No-code платформы<br>- Кастомная разработка<br>- Drag-and-drop интерфейсы<br>- API интеграция |
| **Варианты развертывания** | - Cloud-native<br>- Self-hosted<br>- Гибридное развертывание<br>- Edge computing | - Облачные платформы<br>- On-premise решения<br>- Смешанные среды<br>- Edge-devices |

## LLM Агенты в кибербезопасности

Expand All @@ -85,7 +85,7 @@ LLM Agent - это интеллектуальная система, исполь
| Категория | Функции |
|:---------|:---------|
| **Обнаружение угроз** | - Мониторинг в реальном времени<br>- Автоматизированное реагирование на инциденты |
| **Операции безопасности** | - Круглосуточный автономный мониторинг<br>- Автоматизация рутинных задач |
| **Использование в SecOps** | - Круглосуточный автономный мониторинг<br>- Автоматизация рутинных задач |
| **Управление уязвимостями** | - Непрерывная оценка безопасности<br>- Автоматизированное сканирование |
| **Расследование инцидентов** | - Автоматический сбор доказательств<br>- Реконструкция временной шкалы |

Expand Down Expand Up @@ -113,7 +113,7 @@ LLM Agent - это интеллектуальная система, исполь
| Проект | Тип | Особенности | Назначение |
|:--------|:-----|:---------|:---------|
| [Damn Vulnerable LLM Agent](https://github.com/WithSecureLabs/damn-vulnerable-llm-agent) | Уязвимое приложение | - Тестирование ReAct агентов<br>- Сценарии инъекций промптов<br>- Практика Prompt Injection | Изучение атак на LLM агентов |
| [Medusa](https://medusa.detoxio.dev/) | Тестовая платформа | - Тестирование уязвимостей агентов<br>- Оценка безопасности<br>- Симуляция атак | Обучение угрозам |
| [Medusa](https://medusa.detoxio.dev/) | Тестовая платформа | - Тестирование уязвимостей агентов<br>- Оценка безопасности<br>- Симуляция атак | Обучение атакам |

## Исследования и публикации

Expand All @@ -122,9 +122,9 @@ LLM Agent - это интеллектуальная система, исполь
| Название | Авторы | Год | Ключевые выводы |
|:------|:--------|:-----|:-------------|
| [Security Concerns with AI Agents](https://www.vpnranks.com/resources/security-concerns-with-ai-agents/) | VPNRanks | 2024 | - 52.5% утечек данных к 2025<br>- Рост рынка до $7.41B |
| [Key Challenges in AI Agent Security](https://taleliyahu.medium.com/key-challenges-in-ai-agent-security-332d718ec8b4) | Tal Eliyahu | 2024 | - Описывает риски конфиденциальности<br>- Проблемы целостности |
| [Beyond RCE: Autonomous Code Execution](https://www.securityrunners.io/post/beyond-rce-autonomous-code-execution-in-agentic-ai) | Security Runners | 2024 | - Описывает риски выполнения кода<br>- Угрозы автономности |
| [Exploiting Huggingface's Assistants](https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data) | Lasso Security | 2023 | - Описывает уязвимости извлечения данных |
| [Key Challenges in AI Agent Security](https://taleliyahu.medium.com/key-challenges-in-ai-agent-security-332d718ec8b4) | Tal Eliyahu | 2024 | - Описывает риски конфиденциальности<br>- Проблемы для обеспечения безопасности агентов |
| [Beyond RCE: Autonomous Code Execution](https://www.securityrunners.io/post/beyond-rce-autonomous-code-execution-in-agentic-ai) | Security Runners | 2024 | - Описывает риски выполнения кода<br>- Угрозы среде, где агент может быть использован |
| [Exploiting Huggingface's Assistants](https://www.lasso.security/blog/exploiting-huggingfaces-assistants-to-extract-users-data) | Lasso Security | 2023 | - Описывает уязвимости извлечения данных из агентной системы, которая была сделана в huggingface|

### Инструменты и фреймворки безопасности

Expand All @@ -149,8 +149,8 @@ LLM Agent - это интеллектуальная система, исполь

| Проект | Тип | Назначение | Особенности |
|:--------|:-----|:--------|:----------|
| [Multi-Agent-SecOps](https://github.com/tegridydev/multi-agent-secops-llm) | SecOps | Безопасность с использованием LLM | - Обнаружение угроз<br>- Автоматизация реагирования<br>- Мониторинг безопасности |
| [Cyber-Security-LLM-Agents](https://github.com/NVISOsecurity/cyber-security-llm-agents) | SecOps | Безопасность на основе агентов | - Автоматизация безопасности<br>- Анализ угроз<br>- Координация агентов для реагирования на инциденты |
| [Multi-Agent-SecOps](https://github.com/tegridydev/multi-agent-secops-llm) | SecOps | Безопасность с использованием агентов и LLM | - Обнаружение угроз<br>- Автоматизация реагирования<br>- Мониторинг безопасности |
| [Cyber-Security-LLM-Agents](https://github.com/NVISOsecurity/cyber-security-llm-agents) | SecOps | Безопасность с использованием агентов | - Автоматизация безопасности<br>- Анализ угроз<br>- Координация агентов для реагирования на инциденты |
| [Ridge Security](https://ridgesecurity.ai/) | Платформа | AI решение для безопасности | - Оценка уязвимостей<br>- Тестирование безопасности<br>- Управление рисками |

### Технические презентации
Expand All @@ -160,7 +160,7 @@ LLM Agent - это интеллектуальная система, исполь
| [The Double AI Agent](http://i.blackhat.com/EU-24/Presentations/EU-24-Cohen-TheDoubleAIAgent.pdf) | Black Hat EU | 2024 | - Техники манипуляции агентами<br>- Сценарии двойных агентов |
| [Mind the Data Gap](http://i.blackhat.com/EU-24/Presentations/EU-24-Pappu-Mind-the-Data-Gap.pdf) | Black Hat EU | 2024 | - Приватность в AI агентах<br>- Мульти-агентные системы |
| [Agentic AI: New Frontier](https://aisuf.org/blogs/f/agentic-ai-a-new-frontier-in-security) | AI Security Union | 2024 | - Про то, как AI Agents могут быть использованы в кибербезопасности<br>- Тренды |
| [Agent Security Analysis](https://arxiv.org/abs/2409.10737) | arXiv | 2023 | - Фреймворки безопасности<br>- Оценка уязвимостей |
| [Agent Security Analysis](https://arxiv.org/abs/2409.10737) | arXiv | 2024 | - Фреймворки безопасности<br>- Оценка уязвимостей |

## Ресурсы сообщества

Expand Down

0 comments on commit 20d6b24

Please sign in to comment.