Ya hemos hablado antes de las posibilidades de los archivos .htaccess, también conocimos un sitio web donde se hacía un listado completísimo de robots malos (que no respetan los archivos robots.txt o que son conocidos spambots y scrappers). Si queréis libraros del tráfico innecesario o de los problemas de que vuestro contenido sea robado o utilizado para enviar spam podéis añadir a vuestro archivo .htaccess algo así:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
…
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw
RewriteRule ^.* – [F,L]
Simplemente tendrás que añadir el User Agent del robot que quieres evitar que rastree tu sitio.
Si te ha gustado este post no olvides suscribirte al feed para estar al tanto de las novedades
Webmaster Libre es un blog de Alma Fernández Página alojada en Redcoruna