Merge pull request #13 from aragonopendata/bugfix/solucionar-issues-s…

…onarqube

Bugfix/solucionar issues sonarqube

.gitignore

@@ -0,0 +1,2 @@
+*.env
+__pycache__/

.scannerwork/report-task.txt

@@ -0,0 +1,6 @@
+projectKey=opendata-crawler
+serverUrl=http://host.docker.internal:9000
+serverVersion=10.4.1.88267
+dashboardUrl=http://host.docker.internal:9000/dashboard?id=opendata-crawler
+ceTaskId=538ec790-e88d-4bd8-9d5e-3077e8297f42
+ceTaskUrl=http://host.docker.internal:9000/api/ce/task?id=538ec790-e88d-4bd8-9d5e-3077e8297f42

README.md

@@ -106,7 +106,7 @@ https://aragoncircular.es/,economia
 
 ## Instalación y paso entre entornos 
 
-Para instalar el crawler simplemente hay que clonar el repositorio en la máquina correspondiente y rellenar los valores del fichero de configuración anterior que tienen '***' con los valores adecuados en cada entorno.
+Para instalar el crawler simplemente hay que clonar el repositorio en la máquina correspondiente y crear el archivo .env con las variables correspondientes según el entorno.
 
 Antes de ejecutar el programa se debe crear la imagen de docker que contiene dicho programa y todas sus dependencias, para ello hay que ejecutar el siguiente comando desde la carpeta principal del proyecto
 ```sh

src/main/docker/Dockerfile

@@ -1,4 +1,4 @@
-FROM python:3.6.9
+FROM python:3.8
 #https://medium.com/@DahlitzF/run-python-applications-as-non-root-user-in-docker-containers-by-example-cba46a0ff384
 
 RUN pip3 install --upgrade pip
@@ -24,4 +24,4 @@ RUN python3 --version
 
 USER worker 
 
-CMD [ "python3.6", "crawler.py"]
+CMD [ "python3", "crawler.py"]

src/main/python/config.py

@@ -8,6 +8,7 @@
                     "aragonhoy.net/index.php/mod.tags",
                     "aragonhoy.net/index.php/mod.documentos",
                     "aragonhoy.net/index.php/mod.podcasts",
+                    "www.aragonhoy.es/intranet/image/",
                     "transparencia.aragon.es/COVID19_20",
                     "inaem.aragon.es/print/",
                     "www.turismodearagon.com/fr/",
@@ -34,18 +35,17 @@
         "https://www.turismodearagon.com/es/":"turismo",
         "https://acpua.aragon.es/":"educacion",
         "https://arasaac.org/":"sociedad-bienestar",
-        "http://patrimonioculturaldearagon.es/":"cultura-ocio",
-        "http://www.sarga.es":"medio-ambiente",
+        "https://patrimonioculturaldearagon.es/":"cultura-ocio",
+        "https://www.sarga.es":"medio-ambiente",
         "https://inaem.aragon.es/":"empleo",
         "https://sda.aragon.es/":"ciencia-tecnologia",
-        "https://aragoncircular.es/":"economia"
+        "https://aragoncircular.es/":"economia",
+        "https://www.aragonhoy.es/":"sector-publico",
+        "https://culturadearagon.es/":"cultura-ocio"
 
 }
 
 depth=5
-sparql_user='***'
-sparql_pass='***'
-sparql_server='***'
 sparql_path='/sparql'
 sparql_path_auth='/sparql-auth'
-querystring='?default-graph-uri=&should-sponge=&timeout=0&signal_void=on'
+querystring='?default-graph-uri=&should-sponge=&timeout=0&signal_void=on'