Definición de robots.txt

15 de agosto de 2022

Un archivo Robots.txt permite excluir páginas web específicas de los resultados de búsqueda. Los rastreadores ignoran las páginas y no las incluyen en el índice del sitio web.

Dado que algunos rastreadores ignoran el archivo Robots.txt, la protección con contraseña es la mejor manera de ocultar una página web.


Anastasia
Spasojevic
Anastazija es una escritora de contenido experimentada con conocimiento y pasión por cloud informática, tecnología de la información y seguridad en línea. En phoenixNAP, se centra en responder preguntas candentes sobre cómo garantizar la solidez y seguridad de los datos para todos los participantes en el panorama digital.