13 de enero de 2019

Listado de los vídeos de las charlas de Codemotion mediante web scraping con Puppeteer

Vídeo de la charla en el Codemotion sobre cómo desarrollar aplicaciones descentralizadas en la Blockchain de Etheruem

El año pasado dí una charla en el Codemotion sobre cómo desarrollar aplicaciones descentralizadas en la Blockchain de Etheruem. El caso es que hace poco han subido los vídeos de las charlas del evento a la web de Codemotion. El problema es que no me gusta como han organizado la información.

Primero tienes que acceder a la página de ponentes del Codemotion:

Página de ponentes del Codemotion

Y luego tienes que acceder a la página de un ponente del Codemotion:

Página de un ponente del Codemotion

Y luego tienes que hacer scroll para ver el título, el resumen y el vídeo de la charla que ha dado el ponente:

Página de un ponente abajo donde se ve el vídeo y las slides

Pero además, si no estás logueado, no te aparece la charla:

Página de un ponente abajo donde se ve un mensaje que te pide que te loguees si no lo estás

Así que me he entretenido haciendo un script para juntar toda la información relevante de las charlas de Codemotion con un enlace a los vídeos en un solo fichero. He utilizado Puppeteer, que es una librería de NodeJS que proporciona una API de alto nivel para controlar Chrome y con la cual podemos hacer web scraping.

Para ejecutar el script tienes que, primero clonar mi repositorio codemotion-talks:

git clone git@github.com:asanzdiego/codemotion-talks.git
Luego instalar NodeJS, y luego Puppeteer con el siguiente comando:

npm install puppeteer
Y por último ejecutar el siguiente comando poniendo el mail y la contraseña de vuestro usuario de la página de Codemotion:

node codemotion-talks.js YOUR_EMAIL YOUR_CODEMOTION_PASSWORD
El proceso tarda un ratito y os saldrá algo así:

Ejecución del proceso

Y al final del proceso obtendréis un bonito fichero codemotion-talks.html con toda la información relevante (nombre del ponente, nombre de la charla, resumen de la charla, idioma de la charla, nivel de la charla, y un enlace al vídeo de la misma):

Listado de los vídeos de las charlas de Codemotion mediante web scraping con Puppeteer

Sois libres de forkear y modificar este proyecto a vuestro gusto :-)

0 comentarios:

Publicar un comentario