Alguien me da una mano ? Scrapy en una url que no se modifica

Iniciado por lemos.ema, Agosto 30, 2019, 09:02:15 AM

Tema anterior - Siguiente tema

0 Miembros y 1 Visitante están viendo este tema.

Agosto 30, 2019, 09:02:15 AM Ultima modificación: Agosto 30, 2019, 12:12:25 PM por Denisse
Hola que tal comunidad !!! como estan ?
bueno tengo un problema con un escraping que quiero hacer, ya sea con selenium o cualquier otro medio . El tema es asi.. mi tactica anteriormente era , ver como carga url segun sus diferentes paginas y luego una vez tengo todas las paginas que quiero escribía un codigo para extraer toda la data de cada pagina.
Resulta quiero sacar unos datos de esta pagina "No tienes permitido ver los links. Registrarse o Entrar a mi cuenta" para realizar unas metricas. Me gustaria pinchar en 'Mortgage Registration' y cambiarlo a 'Sale' y luego...día por día (desde el 2005) hasta hoy obtener todos los datos de 'Lands Transactions' , 'Buildings transactions', 'Units Transactions' de cada día. El tema es que como verán si pinchan en un dia... luego en el siguiente... la url no cambia !! Nose ni por donde empezar.

Para empezar te recomendaría probar primero seguir el post de Mortal_Poison, asi ves como se comporta selenium, y luego leer la documentación de esa herramienta para ver el uso de otros selectores (elegir elemento de un select que es lo que necesitas), te dejo acá el post, es genial:
No tienes permitido ver los links. Registrarse o Entrar a mi cuenta

Gracias pero no es lo que buscaba , obvio que es un super aporte , pero usar de esa manera selenium me tomaria mucho tiempo tomar todos los datos que quiero

Me gustaria que si logras hacer esto puedas compartirlo en un post, ya que por lo visto no hay ninguno sobre el tema y esta siendo dificil que alguien sepa la respuesta, seria un muy buen aporte

Saludos!




Con la fuerza del mar, con la paz del rio