send
Grupo de Telegram
play_arrow
Este sitio utiliza cookies propias y de terceros. Si continúa navegando consideramos que acepta el uso de cookies. OK Más Información.

[BOT] Spider indexador

  • 5 Respuestas
  • 2244 Vistas

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado linkgl

  • *
  • Underc0der
  • Mensajes: 45
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« en: Agosto 17, 2011, 12:42:08 pm »
Este es un bot spider indexador al cual llamo lindexer (estúpido lo sé...) pero bueno el proyecto consiste en que le das una url inicial al bot y este se mete a los enlaces que encuentre en el sitioweb y los va indexando (o guardando en un txt) y despues se mete a los enlaces de los enlaces y sigue indexando hasta que ya no encuentre más entonces le das una url distinta y sigue indexando, (Aún lo estoy mejorando para que busque mas y mas pero ya funciona bastante bien:

Código: PHP
  1. <?php
  2. You are not allowed to view links. Register or Login(0);
  3. You are not allowed to view links. Register or Login(0);
  4. /*
  5. @Coder: Linkgl
  6.   @Fecha: 14/08/2011
  7. */
  8. function simpleono($cadena)
  9. {
  10.   $p1=You are not allowed to view links. Register or Login($cadena,"\"");
  11.   $p2=You are not allowed to view links. Register or Login($cadena,"'");
  12.   if($p1!==false && $p2!==false)
  13.   {
  14.     if($p1<$p2)
  15.       return $p1;
  16.     else
  17.       return $p2;
  18.   }
  19.   else
  20.     return 0;
  21. }
  22.  
  23. function searchanddestroy($cadena,$buscar,$separador)
  24. {
  25.   $arr=You are not allowed to view links. Register or Login($cadena,$separador);
  26.   for($i=0;$i<You are not allowed to view links. Register or Login($arr);$i++)
  27.   {
  28.     if($arr[$i]==$buscar)
  29.       return true;
  30.   }
  31.   return false;
  32. }
  33. function generador($direccion)
  34. {  
  35. $p_inicio=$direccion;
  36. $enlaces=You are not allowed to view links. Register or Login("enlaces.txt");
  37. $c_inicio=You are not allowed to view links. Register or Login($p_inicio);
  38. $c1=You are not allowed to view links. Register or Login($c_inicio,"<a href=");
  39. //BUSCAMOS UN ENLACE
  40. while($c1!==false)
  41. {
  42.   $curret_pos=$c1;
  43.   //INTENTAMOS EXTRAER EL ENLACE
  44.   $url=You are not allowed to view links. Register or Login($c_inicio,$c1+9);
  45.   $c2=simpleono($url);
  46.   $enlaces=You are not allowed to view links. Register or Login("enlaces.txt");
  47.   if($c2!==false)
  48.   {
  49.     //echo $url."before";
  50.     $url=You are not allowed to view links. Register or Login($url,0,$c2);
  51.     if(You are not allowed to view links. Register or Login($url,"http://")===0 || You are not allowed to view links. Register or Login($url,"www.")===0 || You are not allowed to view links. Register or Login($url,"https://")===0)
  52.     {
  53.       if($url!=$p_inicio)
  54.       {
  55.         if(You are not allowed to view links. Register or Login($enlaces,$url)===false)
  56.         {
  57.           $fp=You are not allowed to view links. Register or Login("enlaces.txt","a");
  58.           You are not allowed to view links. Register or Login($fp,$url."\n");
  59.           You are not allowed to view links. Register or Login($fp);
  60.           You are not allowed to view links. Register or Login();You are not allowed to view links. Register or Login(1);You are not allowed to view links. Register or Login();
  61.           echo $url."<br>";
  62.           generador($url);
  63.         }
  64.       }
  65.     }
  66.     else
  67.     {
  68.       $newurl=$p_inicio.$url; //lolz.com/#
  69.       if($url!="")
  70.       {  
  71.         if(searchanddestroy($enlaces,$newurl,"\n")===false && $url!="#")
  72.         {
  73.           $fp=You are not allowed to view links. Register or Login("enlaces.txt","a");
  74.           You are not allowed to view links. Register or Login($fp,$newurl."\n");
  75.           You are not allowed to view links. Register or Login($fp);
  76.           You are not allowed to view links. Register or Login();You are not allowed to view links. Register or Login(1);You are not allowed to view links. Register or Login();
  77.           echo $newurl."<br>";
  78.           generador($newurl);
  79.         }
  80.       }
  81.     }
  82.   }
  83.   else
  84.   {
  85.     echo "Cierre de etiqueta no encontrado<br>";
  86.   }
  87.   $c1=You are not allowed to view links. Register or Login($c_inicio,"<a href=",$c1+1);
  88. }
  89. }
  90. if(!You are not allowed to view links. Register or Login($_POST['sitioweb']) || You are not allowed to view links. Register or Login($_POST['sitioweb']))
  91. {
  92. ?>
  93. <form action="#" method="post">
  94. <input type="text" name="sitioweb">
  95. <input type="submit" value="indexar!">
  96. </form>
  97. <?php
  98. }
  99. else
  100. {
  101. echo "Iniciando<br>";
  102. generador($_POST['sitioweb']);
  103. echo "No hay más enlaces<br>";
  104. }
  105. ?>
  106.  

Imagen como va indexando:

Desconectado Snifer

  • *
  • Underc0der
  • Mensajes: 1439
  • Actividad:
    0%
  • Reputación 1
  • Snifer@L4b's
    • Ver Perfil
    • Snifer@L4bs
  • Twitter: sniferl4bs
« Respuesta #1 en: Agosto 22, 2011, 09:40:23 pm »
hey bro que buena tú araña creo que le daré un buen uso.. je je ahora a copiar a la pc uno a uno
You are not allowed to view links. Register or Login


Llaman traidor a la persona que evito que caiga el foro, gente bruta!



Desconectado linkgl

  • *
  • Underc0der
  • Mensajes: 45
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
« Respuesta #2 en: Agosto 24, 2011, 12:03:34 am »
You are not allowed to view links. Register or Login
hey bro que buena tú araña creo que le daré un buen uso.. je je ahora a copiar a la pc uno a uno

Gracias :P ando mejorando algunos detalles y publico la mas actualizada  ;)

Desconectado Acidkode

  • *
  • Underc0der
  • Mensajes: 43
  • Actividad:
    0%
  • Reputación 0
  • 1f u c4n r34d th1s u r34lly n33d t0 g37 l41d
    • Ver Perfil
    • Email
« Respuesta #3 en: Mayo 13, 2013, 05:05:35 pm »
genial  :D


Desconectado mr.blood

  • *
  • Underc0der
  • Mensajes: 73
  • Actividad:
    0%
  • Reputación 0
    • Ver Perfil
  • Skype: red_ink@hotmail.es
« Respuesta #4 en: Mayo 13, 2013, 07:26:12 pm »
Trata de usar Expresiones regulares, a mi modo de ver es mas limpio y mucho mas simple modificarlo posteriormente ;).

Muy buen trabajo!

Sa1uDoS

Desconectado D4rkC0d3r

  • *
  • Underc0der
  • Mensajes: 202
  • Actividad:
    0%
  • Reputación 0
  • \xeb\x16\x5e\x31\xd2\
    • Ver Perfil
    • Ethical Hacking, Malware Analysis, Disinfection Techniques and more...
« Respuesta #5 en: Mayo 14, 2013, 07:35:54 am »
Excelente aporte, gracias por compartir...

Saludos!!  ;D

D4rkC0d3r

 

¿Te gustó el post? COMPARTILO!



Spider web con Curl

Iniciado por Oggy

Respuestas: 1
Vistas: 1259
Último mensaje Diciembre 03, 2012, 09:09:36 pm
por alexander1712