¿Cómo bloquear robots de búsqueda en tu página web?

¿En qué podemos ayudarte?

Para bloquear el acceso de robots en tu página web es necesario crear un archivo llamado robots.txt con el siguiente contenido:

User-agent: *
Disallow: /

Para bloquear los robots que accedan a una carpeta en específico, usa este código:

User-agent: *
Disallow: /folder/

Por favor ten en cuenta de que todos los robots de búsqueda serán bloqueados y de esta forma tu página no será indexada por los motores de búsqueda.

Sin embargo, existen robots maliciosos que evaden el archivo robots.txt.