Menú

Mostrar Mensajes

Esta sección te permite ver todos los mensajes escritos por este usuario. Ten en cuenta que sólo puedes ver los mensajes escritos en zonas a las que tienes acceso en este momento.

Mostrar Mensajes Menú

Mensajes - lemos.ema

Páginas 1 2
#21
Dudas y pedidos generales / Scraping cambiar proxys o algo, por favor ayuda
Mayo 03, 2019, 11:28:03 PM
Hola que tal , ya hace dias estoy con esto y no hay caso nose como hacerlo.
intento hacer requests a la siguiente pagina pero siempre despues de un tiempo me bloquean el get... me gustaria que cuando sea asi pueda cambiar de proxie y seguir escrapeando . Se que ustedes son mi salvacion y confio en este FORO !!!!!!!! nose si esta bien usar proxies y a la vez user agent por favor ayuda

Código: php
import requests
from bs4 import BeautifulSoup
from random import choice
import random </code>

def get_proxy():
    proxiDomain= 'https://free-proxy-list.net/'
    r = requests.get(proxiDomain)
    soup= BeautifulSoup(r.content,'html.parser')
    table=soup.find('table',{'id':'proxylisttable'})
    nuevo=[]
    for row in table.find_all('tr'):
        columns= row.find_all('td')
        try:
            nuevo.append({'https':("%s:%s" %(columns[0].get_text(),columns[1].get_text()))})
        except:
             pass
    return choice(nuevo)

proxy=get_proxy()
desktop_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0.1 Safari/602.2.14',
                 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36']


url = "https://www.espanol.skyscanner.com/g/browseservice/dataservices/browse/v3/bvweb/AR/ARS/es-MX/destinations/ar/anywhere/2019-07-10/?profile=minimalcityrollupwithnamesv2&include=image;holiday&apikey=8aa374f4e28e4664bf268f850f767535"

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
headers = {
    "referer": "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&rtn=0&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false&ref=home",
    "user-agent" :random.choice(desktop_agents),
    "x-requested-with": "XMLHttpRequest"}

response = requests.get( url,headers=headers,proxies=proxy)

if response.status_code == 200:
    print ("ok")
else:
    print ("error 400")
print(response.json())
#22
Dudas y pedidos generales / Duda: Introducirse al mundo de Hacking Etico
Abril 26, 2019, 10:39:03 AM
Hola que tal? como estan ? me quiero introducir al hacking etico. Como puedo hacer ? pero desde 0 y explicado para un Navo con ganas de aprender (como yo) . El problema es que veo tutoriales y todos explican desde su perspectiva y conocimiento (por lo que piensan que todos tenemos ese conocimiento y se saltean varias cosas) . Le estoy metiendo mucha voluntad , me baje el kali, algunos comandos muy simples. Pero nada en accion. Muchas gracias
#23
Dudas y pedidos generales / como puedo hacer scraping cambiando la vpn, proxy o con tor?
Abril 26, 2019, 10:35:03 AM
Hola que tal? como están? mi idea es poder realizar un scraping a skycanner. Tengo los siguientes problemas: cuando intento hacerles muchas peticiones este me bloquea. Nose muy bien como poder hacer para cambiar la vpn cada vez que haga una petición (otra de las cosas que se me había ocurrido es hacerlo mediante TOR browser, pero nose si es que hice el código mal o que pero tampoco me deja) les envió el codigo para que vean y me digan que piensan, estoy utilizando python3 con un sistema operativo linux ubuntu y lo corro en VS (es bueno aclarar todo los detalles):

Código: python
lugarDeseado="Israel"
paises=['al',
'de',
'ad',
'at',
'be',
'by',
'ba',
'bg',
'hr',
'dk',
'sk',
'si',
'es',
'ee',
'ru',
'fi',
'fr',
'gi',
'gr',
'gg',
'hu',
'ie',
'im',
'is',
'ax',
'fo',
'it',
'je',
'lv',
'li',
'lt',
'lu',
'mk',
'mt',
'md',
'mc',
'me',
'no',
'nl',
'pl',
'pt',
'uk',
'cz',
'ro',
'sm',
'va',
'rs',
'se',
'ch',
'sj',
'tr',
'ua']
import random
from lxml.html import fromstring
import requests
from itertools import cycle
import traceback


desktop_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0.1 Safari/602.2.14',
                 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36',
                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0']



try:
    for i in range(len(paises)):
        ## json url ##
        url="https://www.espanol.skyscanner.com/g/browseservice/dataservices/browse/v3/bvweb/AR/ARS/es-MX/destinations/"+paises[i]+"/anywhere/anytime/?profile=minimalcityrollupwithnamesv2&include=image;holiday&apikey=8aa374f4e28e4664bf268f850f767535" 
        print(url)
        headers = {
            "referer": "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&rtn=0&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false&ref=home",
            "user-agent" :random.choice(desktop_agents),
            "x-requested-with": "XMLHttpRequest"}

        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            print ("ok")
        else:
            print ("error 400")
        data = response.json()
        try:
            for pais in data["PlacePrices"]:
                if pais.get('Name')== lugarDeseado:
                    dprice = pais.get("DirectPrice")
                    iprice = pais.get('IndirectPrice')

                    if dprice != None and iprice != None:
                        print(f"{pais['Id']}  {dprice} {iprice}  {pais['Name']} ")
                    # solo existe DirectPrice
                    elif dprice == None:
                        print(f"{pais['Id']}  {iprice:<10}  {pais['Name']} ")
                    # solo existe IndirectPrice
                    else:
                        print(f"{pais['Id']}  {dprice:<10}  {pais['Name']} ")
                else:
                    pass
        except:
            print("no")


    else:
        i=i+1
except:
    pass

perdon si es algo facil para ustedes, yo me estoy introduciendo y le estoy metiendo toda la voluntad del mundo. Si me pueden explicar como funciona el cambio de proxy o un browser con Tor tambien se los agradeceria . Obvio que si tienen alguna mejor sugerencia porfa expliquenla. Gracias
#24
Python / Re:¿Hacking con API's o redes sociales?
Febrero 05, 2019, 05:51:04 PM
Se que sueno molesto e insistir con preguntas , pero yo realmente quiero aprender y la forma de hacerlo es preguntando y sacandose las dudas. Vos usaste ?__a=1 para despues pasarlo a JSON... pero yo por ejemplo ahora se me ocurrio hacer scraping de skycanner . net . Como puedo hacer ? mi idea es entrar a la pagina , buscador origen= uno particular, destino= (todos los destinos), fechas=todos los meses.. y cuando entra a buscar ponerle condicion, si el pasaje esta menos de esto, descargar y enviar un mail. eso seria mi punto final
#25
Python / Re:¿Hacking con API's o redes sociales?
Enero 12, 2019, 11:44:12 AM
pude hacer que me lo guarde en carpeta, pero sigo teniendo el problema con el numero de post tomados.... si filtras en insta #Obama tiene 3 millones... solo me toma 2 mil , ayuda alguien sabe por que ?
también me gustaría saber como poner condiciones, por ejemplo que tome solo los comentarios que tengan la palabra "precio" .

otra cosa que me gustaria saber. en Instagram sacamos los datos con /?__a=1 ... pero en otras paginas como seria ? o como se puede averiguar ?
gracias
#26
Python / Re:¿Hacking con API's o redes sociales?
Enero 10, 2019, 11:44:16 AM
Hola que tal ?
Muchas gracias por contestar. La verdad es que es muy buena onda de tu parte estar ayudando. Vamos con El codigo.
Si si lo copie y pegue ... Y solo me toma 2 mil.. nose que estara pasanso.
Con respecto a los comentarios. Me trae los nicknames y dentro algunos vacios y otros con comentarios. Per ademas me trae Todo esto suelto no dentro de una carpeta... Sino todos los nicknames sueltos y si entro a los nicknames estan en algunos los comentarios.
Me gustaria ponerles filtros Como , si tiene comentarios o no, si tiene tal palabra o no El comentarios. (Me gustaria aprender mas sobre esto )
Por que no hacemos un video en vivo hoy ? Que Les parece ? Tengo algunas propuestas tambien por si están interesados
#27
Python / Re:¿Hacking con API's o redes sociales?
Enero 09, 2019, 09:10:03 PM
Hola que tal? muchas gracias por responder , estoy leyendo mucho asi puedo no molestarlos tanto jejeje . de todas maneras todavía no puedo resolver los problemas, y no quiero tirar la toalla aunque ya estoy haciendo muchos intentos :(

problema 1-me sigue estrayendo solo 2400 y si voy a instagram son 3 millones (a vos te trajo los 3 millones?)

problema 2-yo uso el jupyter (que viene con python 3) . el tema es que tuve que crear dos veces las mismas cosas (osea el código No tienes permitido ver los links. Registrarse o Entrar a mi cuenta, el main.php, y links). Esas tres las ubique en: una en la carpeta (C:\Users\Alumno_Invitado\scrapiins) donde corre el jupyter y allí corro el código python , y otra en (C:\xampp\htdocs) donde puedo correr el php (por que no me corria el php y lei que si lo ubicabas allí corre)
para el Python ya intente abrir cmd.... luego cd C:/xampp/htdocs/instagram.py y no corre.
para el php abro xampp activo el Apache entro al navegador escribo No tienes permitido ver los links. Registrarse o Entrar a mi cuenta y me trae solo 2 mil comentarios

problema3- cuando corro el Python, me deja el nombre de usuario con sus comentarios todo suelto y no dentro de la carpeta "Comments"

problema4-Como seria un caso con condición por ejemplo?


GRACIAS MILESSSSSS DE VERDADDDD !! estoy muy agradecido con ustedes
#28
Python / Re:¿Hacking con API's o redes sociales?
Enero 09, 2019, 03:16:55 PM
Hola que tal gente ? yo otra vez. Perdón pero estoy muy enfocado a entender web scraping como lo saben Ustedes (creo que nunca llegare a eso jejej pero le voy a poner pilas ) .
El tema es el siguientes:
- Del PHP no me toma todos los TAGs, solo me toma 2 mil. Alguno sabe por que ?
-Pude correr el Python (nose por que por consola no me corre, solo me corre con Jupyter). El tema es que no me guarda el contenido en la carpeta comments... me tira los nombres de los usuarios sueltos en la carpeta del jupyter (pero tampoco me trae todo los textos de cada usuario)
Alguno corrio el codigo ?
Alguno tiene el codigo arreglado y si lo puede explicar seria genial. Como se almacenan los datos text en la carpeta y los nombres de usuario. Tambíen me queda una duda se le puedo pegar a la pagina con una condicion, por ejemplo (si el usuario dice comienza con tal nombre, o si en su texto tiene tal cosa) Muchisimas Gracias son los Mejores !
#29
Python / Re:¿Hacking con API's o redes sociales?
Enero 07, 2019, 04:37:11 PM
Hola que tal a ver si me pueden ayudar con este problema, intento correr el código en cmd... voy buscando con cd el archivo hasta llegar a la carpeta que contiene No tienes permitido ver los links. Registrarse o Entrar a mi cuenta . y me tira el siguiente error.

Código: text
File "C:\xampp\htdocs\instagram.py", line 75
    file = open("C:\xampp\htdocs\links.txt", "r")
               ^
SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-4: truncated \xXX escape


siempre corri con jupyter todo. nose que será , es la primera vez que intento correr con cmd un Python .  Aclaro, en la carpeta links.txt ya pude extraer algunos tags( ya que cuando busco en Instagram son 3 millones, y solo me trajo 2400) si me pueden aclarar esa duda también seria genial. Perdón por no saber tanto como ustedes, estoy aprendiendo para saber tanto como ustedes. cambie en el codigo No tienes permitido ver los links. Registrarse o Entrar a mi cuenta la parte de la carpeta y puse C:\xampp\htdocs\links.txt" que es donde esta ubicado mi links.txt . Son los mejores. GRacias


Páginas 1 2