Bloquea a los malos robots
Ya hemos hablado antes de las posibilidades de los archivos .htaccess, también conocimos un sitio web donde se hacía un listado completísimo de robots malos (que no respetan los archivos robots.txt o que son conocidos spambots y scrappers). Si queréis libraros del tráfico innecesario o de los problemas de que vuestro contenido sea robado o utilizado para enviar spam podéis añadir a vuestro archivo .htaccess algo así:
- RewriteEngine On
- RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
- ...
- RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw
- RewriteRule ^.* - [F,L]
Simplemente tendrás que añadir el User Agent del robot que quieres evitar que rastree tu sitio.
