El Comercio Digital

Webmaster Libre

Desarrollo Web con Software Libre

Generadores de archivos Robots.txt

El archivo Robots.txt nos permite controlar cómo indexan nuestras páginas los motores de búsqueda. Con unas simples líneas de texto podemos prevenir el indexado a uno o varios motores, en todas o algunas páginas de nuestro sitio.

Por tanto, el archivo robots.txt es importante para nuestra SEO y ,en el caso de webmasters que generan páginas optimizadas específicamente para ciertos buscadores, puede evitar que seamos baneados de otros.

Genera tu archivo robots.txt:

Robots.txt Generator Tool © SEO Chat™

Allowed User Agent
Select user agent or use default for all agents

Enable All Webpages
Yes
No

Exclude These URL’s
Enter URLs you wish to exclude

Otros generadores de robots.txt online:

Más información:(en castellano)
Guia Robots.txt
Crea el fichero robots.txt
Robots.txt

Herramientas Online, Recursos, SEO y SEM

Si te ha gustado este post no olvides suscribirte al feed para estar al tanto de las novedades

4 Respuestas a “Generadores de archivos Robots.txt”

Agrega tu comentario

  1. martin dice:

    Muy buena la herramienta!!!!!!!

Trackbacks/Pingbacks

  1. [...] Ralf Kloth ha publicado en su sitio un listado con los robots «malvados» que le han visitado. Ralf considera que un robot es malo tanto si es un spambot como si es, simplemente, un bot que no respeta el archivo robots.txt y los banea de su sitio por métodos más radicales, a nivel de servidor. [...]

  2. [...] Para evitarlo podemos evitar que el buscador visite ciertas páginas por medio del archivo robots.txt, utilizar redirecciones 301 para evitar incoherencias en los enlaces entrantes y, sobre todo, crear una estructura fija para nuestras URIs. [...]

Feed RSS de los comentarios de este post.

Deja tu comentario

Por favor, procura que tus comentarios aporten algo al tema del artículo. Los comentarios ofensivos y el spam serán eliminados.

Si tu comentario no aparece al momento puede que esté en la cola de moderación o en Akismet, lo reviso cada día pero si ves que pasa un tiempo prudencial y no aparece dímelo

Este post tiene 3 años. Puedes dejar un comentario de todas formas y volver más tarde para comprobar si hay novedades sobre el tema.

Información:

Webmaster Libre es un blog de Alma Fernández Página alojada en Redcoruna