[🚧 FEAT] Connexion back et front

[KyllianBeguin]

Demande de fonctionnalité

Description de la fonctionnalité
Il faut connecter le back (bdd + mage) avec l'appli

Raison de la demande

• Ne pas dépendre de github pour le stockage des données
• Pouvoir lancer des traitements de données automatiques et par les admin de ZDS

Détails de la demande

• Il faut fusionner les dossier etl et dashboard
• Il faut fusionner les deux docker-compose et mettre à jour les networks
• On s'attend à ce que l'appli réponde plus vide lors du paramétrage du niveau administratif

Onglet associé
Aucun

Captures d'écran
Aucun

Contexte supplémentaire
Aucun

[KyllianBeguin]

Avant de connecter la bdd avec l'appli, je vais migrer tous les datasets dans la bdd.
Je vais m'aider de #2 pour savoir ce qu'il reste à migrer.

Datasets à migrer :

• structures_export_cleaned
• export_events_cleaned
• dict_dechet_groupe_materiau
• releves_corrects_surf_lineaire

🟢 C'est bon pour tous les datasets, je pousse le dump sql sur la branche.

Je n'ai pas mis les geojson parce que je ne sais pas si ça passe dans une base MySQL

[KyllianBeguin]

Je migre les scripts de chargements des datasets depuis Github vers le chargement des tables de la bdd.

Scripts à migrer :

SCRIPT	FILE-NAME	MIGRATED
🏠	/Exploration_visualisation/data/data_zds_enriched.csv	🟢
🏠	/Exploration_visualisation/data/structures_export_cleaned.csv	🟢
🏠	/Exploration_visualisation/data/data_releve_nb_dechet.csv	🟢
🏠	/Exploration_visualisation/data/export_events_cleaned.csv	🟢
🔎	/Exploration_visualisation/data/dict_dechet_groupe_materiau.csv	🟢
🔥	/Exploration_visualisation/data/releves_corrects_surf_lineaire.xlsx	🟢

Les scripts sont ceux du staging :
🏠 home.py
👊 actions.py
🔎 data.py
🔥 hotspots.py
🔭 structures.py

Je n'ai pas mis les geojson parce que je ne sais pas si ça passe dans une base MySQL
Je n'ai pas fait export_structures_29022024.xlsx puisque ce fichier n'est pas en bdd. Il ressemble à structures_export_cleaned.csv, ce qui est confus. À voir ce que l'on en fait...

[KyllianBeguin]

On est pas trop mal sur la migration des sources de données, ça se fait plutôt bien.
A une chose près : il faut que la table data_enriched soit cohérente avec ce que sors le 📄 script de Floriane. Il y a beaucoup de colonnes en moins, ce qui fait planter l'app. Certainement une erreur d'intégration.

Avant de poursuivre la migration des sources de données :

• Injecter la table directement dans la base

J'en profite pour dire que j'ai retravaillé la BDD pour créer automatiquement le user merterre à la création du conteneur.

[KyllianBeguin]

Mise à jour du script

• Nouvelle table data_enriched : directement depuis 📄 ce fichier.

Page data.py, structures.py, actions.py, hotspots.py OK 🟢

Il a fallu monter en version duckdb à cause d'une erreur connue (Index out of bound) et patchée depuis.

[KyllianBeguin]

La migration est ok et les noms de colonnes sont OK 🟢

[KyllianBeguin]

Mise à jour de la base : ajout de clés primaires
Attention : la table des structures contient des duplications sur son id

Merge dans la branche 2 pour pouvoir assurer le développement des pipelines dans la nouvelle structure (évite d'avoir à faire la migration des pipelines du dossier etl vers zds.