Este sitio utiliza cookies propias y de terceros. Si continúa navegando consideramos que acepta el uso de cookies. OK Más Información.

[SOLUCIONADO] Me están haciendo scraping

  • 3 Respuestas
  • 377 Vistas

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado lemos.ema

  • *
  • Underc0der
  • Mensajes: 15
  • Actividad:
    5%
  • Reputación 0
    • Ver Perfil
« en: Mayo 08, 2019, 11:45:01 am »
Hola que tal?
les vengo a contar sobre mi problema, hace un mes intento intento intento y no puedo hacer scraping a una url. Mi idea es inventar un sistema de ir cambiando los proxies y cuando te bajan uno.. cambiar al otro y seguir con el scraping (o cualquier otra forma que permita hacer scraping ilimitado) . Es importante que si alguien me ayuda( ojala si ) intente hacerlo con el link que pase reiteradas veces a ver si funciona, por que me a pasado que proponen otros links y no la url que he mandado.
en este scrip buscamos los proxies....

Código: [Seleccionar]
import requests
from bs4 import BeautifulSoup
sourceProxy = requests.get('https://free-proxy-list.net/', headers={'User-Agent':'Mozilla/5.0'})
bSoup = BeautifulSoup(sourceProxy.text,"lxml")
for items in bSoup.select("tbody tr"):
    proxy_list = ':'.join([item.text for item in items.select("td")[:2]])
    print(proxy_list)

hasta ahi muy lindo todo... ahora vamos a pegarle a la url...
Código: [Seleccionar]
import requests

validador = "https://www.espanol.skyscanner.com/g/browseservice/dataservices/browse/v3/bvweb/AR/ARS/es-MX/destinations/es/ar/2019-06-22/?profile=minimalcityrollupwithnamesv2&include=image;holiday&apikey=8aa374f4e28e4664bf268f850f767535"

proxy = '179.124.240.199:40524' # se podria hacer la iteracion de arriba pero vamos a probar con esta..
print("Request: ")
try:
    response = requests.get(validador,proxies={"http": proxy, "https": proxy})
    print(response.json())
except:
    print("Connnection error")

una de las respuestas que me da
{'redirect_to': '/sttc/px/captcha/index.html?url=Lw==&uuid=ace23420-70e8-11e9-9e16-99c145471a63&vid=', 'reason': 'blocked'}

por favor ayuda :(
« Última modificación: Junio 10, 2019, 09:41:36 am por xyz »

Conectado DtxdF

  • *
  • Moderator
  • Mensajes: 300
  • Actividad:
    33.33%
  • Reputación 5
  • Fácil manipular + No es fácil manipularse
    • Ver Perfil
    • Transfi: Un sistema de almacenamiento en Herramientas de seguridad informática alojadas en mi repositorio
« Respuesta #1 en: Mayo 08, 2019, 02:47:12 pm »
@lemos.ema

Hola, no creo que la redirección sea culpa del proxy, ni de python, le colocaste un agente de usuario incorrecto, por lo tanto la página creerás que eres un bot o alguien que trata de hacer "user-agent spoofing".

Para verificar si es culpa del agente de usuario, coloca uno que sea exactamente igual al de un navegador muy conocido.

Para que obtener más conocimientos acerca del agente de usuario visita: https://developer.mozilla.org/es/docs/Web/HTTP/Headers/User-Agent
- Gobiernos: Personas desoladas de la inteligencia

Conectado Kirari

  • *
  • Underc0der
  • Mensajes: 46
  • Actividad:
    36.67%
  • Reputación 2
  • Solo espero el momento adecuado
    • Ver Perfil
    • Baúl para el público
« Respuesta #2 en: Mayo 08, 2019, 02:54:28 pm »
Buenas, si has probado lo anterior que han dicho, pero te sigue sin funcionar, lo que puedes hacer es utilizar proxys con Tor. Te comparto este enlace para que lo puedas ver. El link es este:

https://techmonger.github.io/68/tor-new-ip-python/

Espero que te sirva, saludos!
« Última modificación: Mayo 08, 2019, 02:56:08 pm por Kirari »
Jamás te contarán la verdadera versión, siempre te dirán la suya... Por eso... Si quieres saber la verdad, debes buscarla tú mismo... Eso es lo que les da pánico... tú.

Conectado DtxdF

  • *
  • Moderator
  • Mensajes: 300
  • Actividad:
    33.33%
  • Reputación 5
  • Fácil manipular + No es fácil manipularse
    • Ver Perfil
    • Transfi: Un sistema de almacenamiento en Herramientas de seguridad informática alojadas en mi repositorio
« Respuesta #3 en: Mayo 08, 2019, 08:11:34 pm »
@Kirari

Espléndido, te recomiendo que hagas un aporte en python, seré el primero que lo va a ver.
- Gobiernos: Personas desoladas de la inteligencia

 

¿Te gustó el post? COMPARTILO!



[SOLUCIONADO] ¿Kali Linux o Kali Linux Ligth ?

Iniciado por worq

Respuestas: 2
Vistas: 14405
Último mensaje Noviembre 21, 2017, 12:28:54 pm
por Codig0Bit
[SOLUCIONADO] ¿Como publicar un software como software libre?

Iniciado por FuriosoJack

Respuestas: 2
Vistas: 2797
Último mensaje Mayo 23, 2017, 07:24:22 am
por HATI
[SOLUCIONADO] Multiuploader de imagenes con mysql, hosting de imagenes con mysql

Iniciado por graphixx

Respuestas: 4
Vistas: 3431
Último mensaje Marzo 26, 2013, 05:42:58 pm
por Xt3mP
[SOLUCIONADO] Linux Mint, errores, errores y mas errores...

Iniciado por n1sendev

Respuestas: 12
Vistas: 5059
Último mensaje Noviembre 22, 2017, 06:50:55 am
por RuidosoBSD
[SOLUCIONADO] Problem al instalar Windows "cualquier windows"

Iniciado por Made

Respuestas: 7
Vistas: 4078
Último mensaje Septiembre 03, 2012, 04:53:08 pm
por Made