me dado cuenta que poniendo /robots.txt detras de algunas paginas sale una informacion pero no tengo ni idea para que sirve eso.
Hola,
Te recomiendo pasarte por este post para que lo entiendas mejor:
https://underc0de.org/foro/programacion-web-247/(seo)-sobre-robots-txt/
Básicamente el archivo robots.txt sirve para indicarle a los spiders de los buscadores que ver y que no indexar de tu sitio web.
Saludos,
ANTRAX