Skip to content

Ingesta de datos en batch, sobre datos no estructurados, sin Api.

Notifications You must be signed in to change notification settings

frank927/Data-Ingestion-Apklis

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 

Repository files navigation

Data-Ingestion-Apklis

Ingesta de datos en batch, sobre datos no estructurados, sin Api.

El archivo CommentsApklis.py tiene como función recorrer cada aplicación publicada en la página de forma iterativa e interactuando de manera dinámica con sus componentes. Para poder recorrer cada aplicación de forma automatizada se hace necesario usar la librería Selenium de Python, ya que este sitio está implementado con JavaScript y sus elementos se cargan de forma dinámica, con estas características no puede ser utilizada la librería requests. Selenium se utiliza para realizar pruebas automatizadas de software sobre sitios web, al acceder a la URL principal de Apklis con Selenium se levanta una página del navegador Chrome en donde está el sitio web de destino. Luego se utiliza BeautifulSoup para rastrear las URLs de las aplicaciones, al obtenerlas se itera sobre cada aplicación programando clics automatizados sobre cada una de ellas, al entrar en cada plataforma se va hacia el final de la página de forma automatizada para extraer sus comentarios, si se requiere mostrar más comentarios es necesario hacer clic sobre esa opción automáticamente. Cada comentario es almacenado con el nombre de la aplicación y el número de comentarios. Para no ser bloqueados por la página se hace necesario agregar tiempos en la ejecución de las tareas automatizadas y de esta forma simular el comportamiento de un humano al navegar por la web.

About

Ingesta de datos en batch, sobre datos no estructurados, sin Api.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages