Lostarmour web scrapper

Это репозиторий проекта, посвященный летней практике 2024 в АО "ИТТ".

Структура микросервиса

Tip

На текущий момент репозиторий содержит микросервис, написанный на FastAPI и MongoDB. Он имеет следующие "ручки".

1. POST /load_html_document:

{
  "armclass": "",
  "path_to_document": ""
}

Доступны все классы, используемые сервисом lostarmour.info: "tank", "bmp" и другие.

На выходе получаем путь к сохраненному HTML-документу.

2. POST /cache_lostarmour_data:

{
  "path_to_document": ""
}

В json указываем путь к сохраненному документу.

Ничего не возвращает, заполняет БД согласно поднятому контейнеру.

3. POST /download_images:

{
  "armour_names": ["Т-72А", "..."],
  "path_to_images": ""
}

Необходимо указать список желаемой бронетехники, а также путь, по которому будут сохранены изображения.

На выходе получаем директорию, куда сохранены изображения.

4.POST /download_videos:

{
  "armour_names": ["Т-72А", "..."],
  "path_to_videos": ""
}

Необходимо указать список желаемой бронетехники, а также путь, по которому будут сохранены видеофайлы.

На выходе получаем директорию, куда сохранены видеофайлы.

Инструкция по эксплуатации

1. Создаем виртуальное окружение (.venv).

Unix:

python -m venv .venv
source .venv/bin/activate

Windows:

python -m venv .venv
.venv\Scripts\activate.bat

2. Устанавливаем зависимости.

cd server
pip install -r requirements.txt

3. Поднимаем сервер.

fastapi dev server.py

4. Запускаем докер с базой.

docker-compose up -d
docker exec -i -t mongodb bash
mongosh -u "user" -p "pass"
use lostarmour_store

Цели

На текущий момент были поставлены и выполнены следующие цели:

• Сервер на FastAPI, скачивающий данные с lostarmour
• Парсер скачанного HTML документа
• Интеграция микросервиса с MongoDB и кэширование результатов
• Скачивание изображений и видео по "ручке"
• Автоматическая аннотация изображений
• Обучение стандартной конфигурации на YOLOv8n
• Зашумление изображений
• Распознавание видео