Para bloquear el acceso de robots en tu página web es necesario crear un archivo llamado robots.txt con el siguiente contenido:

User-agent: *
Disallow: /

Para bloquear los robots que accedan a una carpeta en específico, usa este código:

User-agent: *
Disallow: /folder/

Por favor ten en cuenta de que todos los robots de búsqueda serán bloqueados y de esta forma tu página no será indexada por los motores de búsqueda.

Sin embargo, existen robots maliciosos que evaden el archivo robots.txt.