[SOLUCIONADO] robots.txt algunas web

me dado cuenta que poniendo /robots.txt detras de algunas paginas sale una informacion pero no tengo ni idea para que sirve eso.

Hola,
Te recomiendo pasarte por este post para que lo entiendas mejor:

No tienes permitido ver los links. Registrarse o Entrar a mi cuenta

Básicamente el archivo robots.txt sirve para indicarle a los spiders de los buscadores que ver y que no indexar de tu sitio web.

Saludos,
ANTRAX