El Comercio Digital

Webmaster Libre

Subtitulo del blog

Bloquea a los malos robots

Ya hemos hablado antes de las posibilidades de los archivos .htaccess, también conocimos un sitio web donde se hacía un listado completísimo de robots malos (que no respetan los archivos robots.txt o que son conocidos spambots y scrappers). Si queréis libraros del tráfico innecesario o de los problemas de que vuestro contenido sea robado o utilizado para enviar spam podéis añadir a vuestro archivo .htaccess algo así:

  1. RewriteEngine On
  2. RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
  3. ...
  4. RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw
  5. RewriteRule ^.* - [F,L]

Simplemente tendrás que añadir el User Agent del robot que quieres evitar que rastree tu sitio.

Otras entradas

Esta entrada fue publicada por Alma Fernández el Sábado, 16 de Septiembre de 2006 y está archivada en: Servidores. Puedes dejar un comentario, o enviar un trackback desde tu sitio.

Comentar:

Algunas etiquetas HTML permitidas:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Webmaster Libre es un blog de Alma Fernández y está publicado bajo licencia Creative Commons desde el año 2006

Agradecimientos especiales a WordPress y FamFamFam

Política de Privacidad | Condiciones de uso | Sitemap (XML)