[SOLUCIONADO] scraping anonimo

Iniciado por ronluas, Octubre 06, 2019, 11:37:09 PM

Tema anterior - Siguiente tema

0 Miembros y 1 Visitante están viendo este tema.

Octubre 06, 2019, 11:37:09 PM Ultima modificación: Octubre 23, 2019, 05:01:21 PM por blackdrake
Tengo una pagina web que consulta números de cédula y deseo ver la misma información pero con una pagina creada por mi persona la idea es no sobrecargar la pagina fuente y que no me van la ip de hay mi pregunta. Puedo hacer scraping sin ser detectado? Alguna idea que me pueda ayudar.

Youtube: No tienes permitido ver los links. Registrarse o Entrar a mi cuenta - Twitter: No tienes permitido ver los links. Registrarse o Entrar a mi cuenta

Hola Ronluas,

No creo que se fijen mucho en la IP, generalmente la IP que la pagina va a ver será de del ISP.
Los logs de un servidor tipo nginx y también apache si guarda información de la cabecera User-Agent y esta es la que tu programa debe enviar para que simulé ser un navegación normal.

Hola @No tienes permitido ver los links. Registrarse o Entrar a mi cuenta,

Tal y como ha dicho @No tienes permitido ver los links. Registrarse o Entrar a mi cuenta, te recomiendo que modifiques también el User-Agent de tu script.

Sobre el tema de la IP, lo más fácil es:

A) Que uses una lista de proxys y que cada vez se conecte a uno diferente (el inconveniente de esto es ir actualizando la lista si se van cayendo).
B) Utilices el script a través de tor, de ésta manera, no hace falta que mantengas una lista de proxys etc...
C) En caso de que tengas alguna VPN, pues usarla :)

Sin duda, la B es mucho más sencilla.

Un saludo.