help_outline
Ayudanos!
play_arrow
Este sitio utiliza cookies propias y de terceros. Si continúa navegando consideramos que acepta el uso de cookies. OK Más Información.

Ayuda con un web spider

  • 4 Respuestas
  • 1287 Vistas

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado ToracosLabs

  • *
  • Underc0der
  • Mensajes: 6
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« en: Julio 16, 2016, 11:50:50 am »
 Saludos amigos programadores, otra vez acudo al foro en busca de vuestra ayuda:

 En esta ocasión estoy diseñando un web spider para extraer información de esta página: https://www.udemy.com/php-y-mysql/

 El problema es que al extraer con php mediante cUrl no se me carga el contenido de "Los estudiantes que vieron este curso también vieron..." que es lo que me interesa. En su lugar aparece "loading...".

 ¿Hay alguna manera de cargar ese contenido?, ¿o cUrl no puede extraerlo debido a que es javascript?

 Gracias y espero respuestas!!!! ;)
« Última modificación: Julio 16, 2016, 11:56:45 am por Gabriela »

Desconectado elseñorx

  • *
  • Underc0der
  • Mensajes: 11
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
    • Email
« Respuesta #1 en: Julio 16, 2016, 04:04:35 pm »
Esa pagina tien cursos bastante buenos gratis y unos de paga, pero si quieres el contenido de uno de paga no podras acceder sabia que todos sus cursos estan youtube date una vuelta por ay y tal vez encuentres el que quieres

Enviado desde mi GT-I9060M mediante Tapatalk


Desconectado ToracosLabs

  • *
  • Underc0der
  • Mensajes: 6
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« Respuesta #2 en: Julio 17, 2016, 11:55:44 am »
Gracias por la respuesta, pero creo que me has entendido mal, yo no quiero descargar los cursos, simplemente deseo extraer todos los títulos de lo cursos de la web y como los permalinks están en funcion del nombre y no de una id, hay que ir uno por uno scrapeando. El problema reside en que no se me carga con cUrl el contenido de la derecha al ser javascript.

 Saludos y espero respuestas!
 

Desconectado seth

  • *
  • Underc0der
  • Mensajes: 264
  • Actividad:
    0%
  • Reputación 2
    • Ver Perfil
« Respuesta #3 en: Julio 19, 2016, 06:30:56 pm »
Esos datos se cargan con javascript pegandole a una api

https://www.udemy.com/api-2.0/recommended-courses/?fields%5Bcourse%5D=@Default,avg_rating_recent,num_reviews,promotion_price,image_100x100,visible_instructors&page=1&page_size=3&source_action=view&source_object=course&source_object_id=672600&source_page=clp



Lo que vas a tener que cambiar es el id de curso, que lo sacas del link que pasaste vos:
Citar

    <div class="one-col-landing ud-page "
         data-content-group="Landing Page"
         data-page-name="landing-page-v41"
         data-course-id="672600">

Para ver este tipo de cosas podes usar live http headers, postman o burp

Desconectado fleshworm

  • *
  • Underc0der
  • Mensajes: 123
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
  • Skype: fleshworm@hotmail.com
« Respuesta #4 en: Julio 19, 2016, 06:48:29 pm »
Saludos, bueno ya que sabes que es javascript es un comienzo necesitarias crear una rutina que identifique los parametros que el javascript utiliza para las recomendaciones utilizando los nombres de usuario o miembros y ademas te identifique al indexar el documento web como comportarze al extraer la informacion de el widget de sugerencias si no te he entendido mal.

Pd: En tu web-spider necesitarias que al comenzar a indexar el documento atravez del cURL utilizar algo de DOM para identificar los elementos de javascript separandolos del CSS, espero te sirva.

Gallery @Deviantart -> http://labs.borikenmedia.com/
Note: Im a Oracle enthusiast (Java, Javascript) with some experience under a Perl implementation platform or PHP

 

¿Te gustó el post? COMPARTILO!



[SOLUCIONADO] Ayuda urgente con Virus "Virus.Win32Sality"

Iniciado por Napsters

Respuestas: 6
Vistas: 3677
Último mensaje Junio 11, 2012, 03:38:18 am
por Satyricon
"ayuda con fruitywifi-karma" no puedo activar el modulo karma.

Iniciado por cristobal92

Respuestas: 4
Vistas: 1457
Último mensaje Agosto 02, 2016, 12:03:45 pm
por cristobal92
[JAVA] Ayuda Sockets en Java

Iniciado por FERNANDX

Respuestas: 1
Vistas: 664
Último mensaje Abril 25, 2018, 08:49:50 pm
por Mortal_Poison
[Ayuda] Crear .zip o .rar de un "archivo"

Iniciado por Zentraedi

Respuestas: 5
Vistas: 1638
Último mensaje Marzo 03, 2017, 02:15:20 pm
por Zentraedi
Ayuda Metasploit "no session was created"

Iniciado por kush20

Respuestas: 3
Vistas: 535
Último mensaje Junio 03, 2018, 07:18:08 pm
por km0xu95