Underc0de

Foros Generales => Dudas y pedidos generales => Mensaje iniciado por: lemos.ema en Mayo 23, 2019, 04:54:57 PM

Título: Ayuda con Scraping
Publicado por: lemos.ema en Mayo 23, 2019, 04:54:57 PM
Hola que tal gente como estas? estoy en la duda, sigo aprendiendo scraping de a poco. Intente hacer scraping a diferentes paginas, siguiendo el post de undercode (https://underc0de.org/foro/python/hacking-con-api's-o-redes-sociales/) donde explica como extraer los mensajes.. habla de ir al codigo fuente de la pagina... a la parte de 'javascript' 'windows shared_data' .. y ese objeto en javascript y lo pasa a un beautify para trabajarlo como json....
Por otro lado estube haciendo scraping a otras paginas donde accedia a los datos mediante Networks (que si estoy acertado, ahi te muestra como se van cargando las pagina), una vez alli voy a los headers => request URL y me aparecia algo como lo siguiente (https://www.espanol.skyscanner.com/g/browseservice/dataservices/browse/v3/bvweb/AR/ARS/es-MX/destinations/BUEA/anywhere/anytime/?profile=minimalcityrollupwithnamesv2&include=image;holiday;hotel&apikey=8aa374f4e28e4664bf268f850f767535) y accedia a los datos desde alli.

bueno ahora bien se viene la pregunta... no entiendo por que en instegram no logro acceder por networks.... osea se supone que el texto de la gente se carga en un momento en la pagina no ? intento ingresar y me aparece esto . (https://www.instagram.com/graphql/query/?query_hash=0f318e8cfff9cc9ef09f88479ff571fb&variables={%22id%22:%228022573678%22}) por que??? por favor si alguien me ayuda o me explica (mejor) como es que funciona se lo super agradeceria. son unos genios todos ! .

Plus: si tambien tienen ganas de explicarme si es posible utilizar Selenium pero cambiando de proxies (que no sea tor por que algunas paginas no las toma) se los agradeceria tambien !  Mil puntoss al que ayudaaaaa ! jajajaja