[SOLUCIONADO] Duda con beautifulsoup

  • 3 Respuestas
  • 404 Vistas

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado alan.caedus

  • *
  • Underc0der
  • Mensajes: 2
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
    • Email

[SOLUCIONADO] Duda con beautifulsoup

  • en: Junio 30, 2020, 12:17:19 am
Hola gente! Estuve practicando web scraping con el framework beautifulsoup de Python en esta página: You are not allowed to view links. Register or Login

Mi idea es obtener los links de todas las ofertas pero por algún motivo el script solamente obtiene el enlace de la primer oferta. Agradecería cualquier idea/consejo, saludos!

Código: Python
  1. from requests import get
  2. from bs4 import BeautifulSoup
  3.  
  4. url = 'http://www.python.org.ar/trabajo/'
  5. links_ofertas = []
  6. respuesta = get(url)
  7. soup = BeautifulSoup(respuesta.text, 'html.parser')
  8. ofertas = soup.findAll('div', class_ = 'content-wrapper')
  9.  
  10. for oferta in ofertas:
  11.     oferta.find('div', class_ = 'col-md-12')
  12.     link = oferta.h4.a
  13.     if(link.has_attr('href')):
  14.         links_ofertas.append(link['href'])
  15.  
« Última modificación: Julio 01, 2020, 07:24:26 am por DtxdF »

Desconectado DtxdF

  • *
  • Moderator
  • Mensajes: 781
  • Actividad:
    83.33%
  • Reputación 16
  • Eres un auto y tienes dos opciones: Parar o Seguir
    • Ver Perfil
    • Mi repositorio de Github donde encontraras herramientas para tu trabajo.
    • Email

Re:Duda con beautifulsoup

  • en: Junio 30, 2020, 01:20:31 am
Esto podría funcionar:

Código: Python
  1. import requests
  2. import bs4
  3. import re
  4.  
  5. request = requests.get('http://www.python.org.ar/trabajo/')
  6. BeautifulSoup = bs4.BeautifulSoup(request.text, 'html.parser')
  7. body = BeautifulSoup.body
  8.  
  9. for h4 in body.findAll('h4'):
  10.     url = h4.a
  11.  
  12.     if (re.match(r'/trabajo/', url.get('href'))):
  13.         print('URL:', url.get('href'))

El resultado podría ser algo como:

Código: Text
  1. URL: /trabajo/devops-engineer-6/
  2. URL: /trabajo/automation-engineer/
  3. URL: /trabajo/senior-javascript-developer-2/
  4. URL: /trabajo/lider-tecnico-desarrollador-backend-django-sql-aws/
  5. URL: /trabajo/senior-python-backend/
  6. URL: /trabajo/back-end-software-engineer/
  7. URL: /trabajo/desarrollador-python-32/
  8. URL: /trabajo/sr-python-dev-con-django/
  9. URL: /trabajo/python-developer-team-leader/
  10. URL: /trabajo/sr-dev-pythonreact-pref-arquitectura-y-nuevos-desa/
  11. URL: /trabajo/python-dev-senior-remoto/
  12. URL: /trabajo/100-remote-python-developer-us-client/
  13. URL: /trabajo/ingeniero-de-requerimientos-sr/
  14. URL: /trabajo/python-developer-53/
  15. URL: /trabajo/ssr-qa-automation-engineer-python-80-remoto/
  16. URL: /trabajo/desarrollador-python-31/
  17. URL: /trabajo/senior-python-developer-100-remoto/
  18. URL: /trabajo/data-engineer-3/
  19. URL: /trabajo/data-analyst-con-tableau-power-bi-qlik-o-google-an/
  20. URL: /trabajo/devops-bash-python-ruby/
  21. URL: /trabajo/senior-python-developer-9/
  22. URL: /trabajo/full-stack-dev-o-front-end-dev/
  23. URL: /trabajo/buscamos-freelance-developer-para-finalizacion-y-m/

~ DtxdF
« Última modificación: Junio 30, 2020, 04:36:23 pm por DtxdF »
Los seres humanos son robots, cuyo combustible es el afanado dinero.

Desconectado DtxdF

  • *
  • Moderator
  • Mensajes: 781
  • Actividad:
    83.33%
  • Reputación 16
  • Eres un auto y tienes dos opciones: Parar o Seguir
    • Ver Perfil
    • Mi repositorio de Github donde encontraras herramientas para tu trabajo.
    • Email

Re:Duda con beautifulsoup

  • en: Junio 30, 2020, 04:40:58 pm
@You are not allowed to view links. Register or Login.caedus

Acabo de modificar el código porque cuando lo probé descargué el código HTML usando el mismo navegador e hice el scraping de forma local, por lo que el código que escribí no mostraría nada, además que el código lo volví a escribir aquí en la misma entrada para comentar tu post, por lo que podría generar el típico "TabError". Mil disculpas, ya está solucionado  ;D

~ DtxdF
Los seres humanos son robots, cuyo combustible es el afanado dinero.

Desconectado alan.caedus

  • *
  • Underc0der
  • Mensajes: 2
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
    • Email

Re:Duda con beautifulsoup

  • en: Julio 01, 2020, 06:21:56 am
Muchas gracias! Si, justo te iba a comentar eso jaja. Nuevamente, gracias por la ayuda!  :D

 

[SOLUCIONADO] ¿Kali Linux o Kali Linux Ligth ?

Iniciado por worq

Respuestas: 2
Vistas: 27535
Último mensaje Noviembre 21, 2017, 12:28:54 pm
por Codig0Bit
[SOLUCIONADO] Multiuploader de imagenes con mysql, hosting de imagenes con mysql

Iniciado por graphixx

Respuestas: 4
Vistas: 14758
Último mensaje Marzo 26, 2013, 05:42:58 pm
por Xt3mP
[SOLUCIONADO] ¿Como publicar un software como software libre?

Iniciado por FuriosoJack

Respuestas: 2
Vistas: 12413
Último mensaje Mayo 23, 2017, 07:24:22 am
por HATI
[SOLUCIONADO] Linux Mint, errores, errores y mas errores...

Iniciado por n1sendev

Respuestas: 12
Vistas: 18689
Último mensaje Noviembre 22, 2017, 06:50:55 am
por RuidosoBSD
[SOLUCIONADO] Ayuda urgente con Virus "Virus.Win32Sality"

Iniciado por Napsters

Respuestas: 6
Vistas: 17921
Último mensaje Junio 11, 2012, 03:38:18 am
por Satyricon