[SOLUCIONADO] robots.txt algunas web

me dado cuenta que poniendo /robots.txt detras de algunas paginas sale una informacion pero no tengo ni idea para que sirve eso.

Hola,
Te recomiendo pasarte por este post para que lo entiendas mejor:

You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Básicamente el archivo robots.txt sirve para indicarle a los spiders de los buscadores que ver y que no indexar de tu sitio web.

Saludos,
ANTRAX