Ya hemos hablado antes de las posibilidades de los archivos .htaccess, también conocimos un sitio web donde se hacía un listado completísimo de robots malos (que no respetan los archivos robots.txt o que son conocidos spambots y scrappers). Si queréis libraros del tráfico innecesario o de los problemas de que vuestro contenido sea robado o utilizado para enviar spam podéis añadir a vuestro archivo .htaccess algo así:
Simplemente tendrás que añadir el User Agent del robot que quieres evitar que rastree tu sitio.
Si te ha gustado este post no olvides suscribirte al feed para estar al tanto de las novedades
