Crawler es una herramienta basada en Python para rastrear automáticamente un sitio web. Es un rastreador web orientado a ayudar en las tareas de pruebas de penetración. La tarea principal de esta herramienta es la búsqueda y la lista de todos los enlaces (páginas y archivos) en un sitio web. El rastreador ha sido completamente reescrito en v1.0 traer una gran cantidad de mejoras: mejora de la visualización de datos, la opción interactiva para descargar archivos , aumento de la velocidad de rastreo, la lista de las exportaciones de los archivos encontrados en un archivo separado (útil para rastrear un sitio una vez, a continuación, descargar archivos y
analizarlos con FOCA), generar un registro de salida en el formato de registro común (CLF), gestionar la autenticación básica y más ! Muchas de las características de edad ha sido reimplementado y la más interesante es la capacidad del rastreador para buscar la indexación de directorios.
(http://i.imgur.com/uzmlbsS.png)
(http://a.fsdn.com/con/app/proj/webcrawler-py/screenshots/322834)
Descarga: http://sourceforge.net/projects/webcrawler-py/files/latest/download