Underc0de

Foros Generales => Dudas y pedidos generales => Mensaje iniciado por: lemos.ema en Agosto 30, 2019, 09:02:15 AM

Título: Alguien me da una mano ? Scrapy en una url que no se modifica
Publicado por: lemos.ema en Agosto 30, 2019, 09:02:15 AM
Hola que tal comunidad !!! como estan ?
bueno tengo un problema con un escraping que quiero hacer, ya sea con selenium o cualquier otro medio . El tema es asi.. mi tactica anteriormente era , ver como carga url segun sus diferentes paginas y luego una vez tengo todas las paginas que quiero escribía un codigo para extraer toda la data de cada pagina.
Resulta quiero sacar unos datos de esta pagina "https://www.dubailand.gov.ae/English/RealEstateTransaction/Pages/Daily-Transactions.aspx" para realizar unas metricas. Me gustaria pinchar en 'Mortgage Registration' y cambiarlo a 'Sale' y luego...día por día (desde el 2005) hasta hoy obtener todos los datos de 'Lands Transactions' , 'Buildings transactions', 'Units Transactions' de cada día. El tema es que como verán si pinchan en un dia... luego en el siguiente... la url no cambia !! Nose ni por donde empezar.
Título: Re:Alguien me da una mano ? Scrapy en una url que no se modifica
Publicado por: nightfog en Agosto 30, 2019, 10:43:11 PM
Para empezar te recomendaría probar primero seguir el post de Mortal_Poison, asi ves como se comporta selenium, y luego leer la documentación de esa herramienta para ver el uso de otros selectores (elegir elemento de un select que es lo que necesitas), te dejo acá el post, es genial:
https://underc0de.org/foro/python/selenium-aprende-a-crear-tus-propios-bots-con-python/
Título: Re:Alguien me da una mano ? Scrapy en una url que no se modifica
Publicado por: lemos.ema en Septiembre 01, 2019, 04:50:32 AM
Gracias pero no es lo que buscaba , obvio que es un super aporte , pero usar de esa manera selenium me tomaria mucho tiempo tomar todos los datos que quiero
Título: Re:Alguien me da una mano ? Scrapy en una url que no se modifica
Publicado por: Bartz en Septiembre 02, 2019, 08:36:51 AM
Me gustaria que si logras hacer esto puedas compartirlo en un post, ya que por lo visto no hay ninguno sobre el tema y esta siendo dificil que alguien sepa la respuesta, seria un muy buen aporte

Saludos!