1j1s-etl

Dépôt qui regroupe les opérations de transformation et de chargement des données issues de flux pour les stages du site 1j1s

Installer

Pour construire l'application il faut lancer les commandes pour synchroniser votre poste

$ npm ci

Puis il faut construire l'application cible

$ npm run build

Lancer un job

Pour lancer un job il faut mettre les bons arguments dans la commande de lancement de la CLI.

En local

$ npm run dev:cli -- [action] [nomDuFlux]

En production

$ npm run cli -- [action] [nomDuFlux]

Quand on a besoin de créer un bucket

En dev

$ npm run dev:start

Sur scalingo

Démarrer le conteneur (dans l'onglet Resources mettre Qty: 1) web puis l'éteindre (dans l'onglet Resources mettre Qty: 0)

Liste des jobs disponibles

Stage

nom du flux\action	Extract	transform	load
hellowork	X	X	X
jobteaser	X	X	X
stagefr-compresse	X	X	X
stagefr-decompresse	X	X	X

Evenement

nom du flux\action	Extract	transform	load
tous-mobilises	X	X	X

Logement

nom du flux\action	Extract	transform	load
immojeune	X	X	X
studapart	X	X	X