[SOLUCIONADO] scraping anonimo

Iniciado por ronluas, Octubre 06, 2019, 11:37:09 PM

Tema anterior - Siguiente tema

0 Miembros y 1 Visitante están viendo este tema.

Octubre 06, 2019, 11:37:09 PM Ultima modificación: Octubre 23, 2019, 05:01:21 PM por blackdrake
Tengo una pagina web que consulta números de cédula y deseo ver la misma información pero con una pagina creada por mi persona la idea es no sobrecargar la pagina fuente y que no me van la ip de hay mi pregunta. Puedo hacer scraping sin ser detectado? Alguna idea que me pueda ayudar.

Youtube: You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login - Twitter: You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Hola Ronluas,

No creo que se fijen mucho en la IP, generalmente la IP que la pagina va a ver será de del ISP.
Los logs de un servidor tipo nginx y también apache si guarda información de la cabecera User-Agent y esta es la que tu programa debe enviar para que simulé ser un navegación normal.

Hola @You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login,

Tal y como ha dicho @You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login, te recomiendo que modifiques también el User-Agent de tu script.

Sobre el tema de la IP, lo más fácil es:

A) Que uses una lista de proxys y que cada vez se conecte a uno diferente (el inconveniente de esto es ir actualizando la lista si se van cayendo).
B) Utilices el script a través de tor, de ésta manera, no hace falta que mantengas una lista de proxys etc...
C) En caso de que tengas alguna VPN, pues usarla :)

Sin duda, la B es mucho más sencilla.

Un saludo.