comment
IRC Chat
play_arrow
Este sitio utiliza cookies propias y de terceros. Si continúa navegando consideramos que acepta el uso de cookies. OK Más Información.

Ayuda con un web spider

  • 4 Respuestas
  • 1217 Vistas

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado ToracosLabs

  • *
  • Underc0der
  • Mensajes: 6
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« en: Julio 16, 2016, 11:50:50 am »
 Saludos amigos programadores, otra vez acudo al foro en busca de vuestra ayuda:

 En esta ocasión estoy diseñando un web spider para extraer información de esta página: No tienes permisos para ver links. Registrate o Entra con tu cuenta

 El problema es que al extraer con php mediante cUrl no se me carga el contenido de "Los estudiantes que vieron este curso también vieron..." que es lo que me interesa. En su lugar aparece "loading...".

 ¿Hay alguna manera de cargar ese contenido?, ¿o cUrl no puede extraerlo debido a que es javascript?

 Gracias y espero respuestas!!!! ;)
« Última modificación: Julio 16, 2016, 11:56:45 am por Gabriela »

Desconectado elseñorx

  • *
  • Underc0der
  • Mensajes: 11
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
    • Email
« Respuesta #1 en: Julio 16, 2016, 04:04:35 pm »
Esa pagina tien cursos bastante buenos gratis y unos de paga, pero si quieres el contenido de uno de paga no podras acceder sabia que todos sus cursos estan youtube date una vuelta por ay y tal vez encuentres el que quieres

Enviado desde mi GT-I9060M mediante Tapatalk


Desconectado ToracosLabs

  • *
  • Underc0der
  • Mensajes: 6
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« Respuesta #2 en: Julio 17, 2016, 11:55:44 am »
Gracias por la respuesta, pero creo que me has entendido mal, yo no quiero descargar los cursos, simplemente deseo extraer todos los títulos de lo cursos de la web y como los permalinks están en funcion del nombre y no de una id, hay que ir uno por uno scrapeando. El problema reside en que no se me carga con cUrl el contenido de la derecha al ser javascript.

 Saludos y espero respuestas!
 

Desconectado seth

  • *
  • Underc0der
  • Mensajes: 264
  • Actividad:
    0%
  • Reputación 2
    • Ver Perfil
« Respuesta #3 en: Julio 19, 2016, 06:30:56 pm »
Esos datos se cargan con javascript pegandole a una api

No tienes permisos para ver links. Registrate o Entra con tu cuenta@No tienes permisos para ver links. Registrate o Entra con tu cuenta,avg_rating_recent,num_reviews,promotion_price,image_100x100,visible_instructors&page=1&page_size=3&source_action=view&source_object=course&source_object_id=672600&source_page=clp



Lo que vas a tener que cambiar es el id de curso, que lo sacas del link que pasaste vos:
Citar

    <div class="one-col-landing ud-page "
         data-content-group="Landing Page"
         data-page-name="landing-page-v41"
         data-course-id="672600">

Para ver este tipo de cosas podes usar live http headers, postman o burp

Desconectado fleshworm

  • *
  • Underc0der
  • Mensajes: 121
  • Actividad:
    5%
  • Reputación 0
    • Ver Perfil
  • Skype: fleshworm@hotmail.com
« Respuesta #4 en: Julio 19, 2016, 06:48:29 pm »
Saludos, bueno ya que sabes que es javascript es un comienzo necesitarias crear una rutina que identifique los parametros que el javascript utiliza para las recomendaciones utilizando los nombres de usuario o miembros y ademas te identifique al indexar el documento web como comportarze al extraer la informacion de el widget de sugerencias si no te he entendido mal.

Pd: En tu web-spider necesitarias que al comenzar a indexar el documento atravez del cURL utilizar algo de DOM para identificar los elementos de javascript separandolos del CSS, espero te sirva.

Gallery @No tienes permisos para ver links. Registrate o Entra con tu cuenta -> No tienes permisos para ver links. Registrate o Entra con tu cuenta
Note: Im a Oracle enthusiast (Java, Javascript) with some experience under a Perl implementation platform or PHP

 

¿Te gustó el post? COMPARTILO!



[SOLUCIONADO] Ayuda urgente con Virus "Virus.Win32Sality"

Iniciado por Napsters

Respuestas: 6
Vistas: 3346
Último mensaje Junio 11, 2012, 03:38:18 am
por Satyricon
"ayuda con fruitywifi-karma" no puedo activar el modulo karma.

Iniciado por cristobal92

Respuestas: 4
Vistas: 1175
Último mensaje Agosto 02, 2016, 12:03:45 pm
por cristobal92
[JAVA] Ayuda Sockets en Java

Iniciado por FERNANDX

Respuestas: 1
Vistas: 469
Último mensaje Abril 25, 2018, 08:49:50 pm
por Mortal_Poison
[Ayuda] Crear .zip o .rar de un "archivo"

Iniciado por Zentraedi

Respuestas: 5
Vistas: 1336
Último mensaje Marzo 03, 2017, 02:15:20 pm
por Zentraedi
Ayuda Metasploit "no session was created"

Iniciado por kush20

Respuestas: 3
Vistas: 334
Último mensaje Junio 03, 2018, 07:18:08 pm
por km0xu95