Webmaster Libre

Desarrollo web con software libre

Buscador

Generadores de archivos Robots.txt

El archivo Robots.txt nos permite controlar cómo indexan nuestras páginas los motores de búsqueda. Con unas simples líneas de texto podemos prevenir el indexado a uno o varios motores, en todas o algunas páginas de nuestro sitio.

Por tanto, el archivo robots.txt es importante para nuestra SEO y ,en el caso de webmasters que generan páginas optimizadas específicamente para ciertos buscadores, puede evitar que seamos baneados de otros.

Genera tu archivo robots.txt:

Robots.txt Generator Tool © SEO Chat™

Allowed User Agent
Select user agent or use default for all agents

Enable All Webpages
Yes
No

Exclude These URL’s
Enter URLs you wish to exclude

Otros generadores de robots.txt online:

Más información:(en castellano)
Guia Robots.txt
Crea el fichero robots.txt
Robots.txt

Otras entradas

Esta entrada fue publicada por Alma Fernández el Lunes, 14 de Agosto de 2006 y está archivada en: Herramientas Online, Recursos, SEO y SEM. Puedes dejar un comentario, o enviar un trackback desde tu sitio.

4 Comentarios

Agrega el tuyo
  1. [...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...]

    despuesdegoogle » Archivo del weblog » robots.txt (3) 14 Agosto, 2006

  2. [...] Ralf Kloth ha publicado en su sitio un listado con los robots «malvados» que le han visitado. Ralf considera que un robot es malo tanto si es un spambot como si es, simplemente, un bot que no respeta el archivo robots.txt y los banea de su sitio por métodos más radicales, a nivel de servidor. [...]

    Webmaster Libre » Archivo del weblog » Robots malos 1 Septiembre, 2006

  3. [...] Para evitarlo podemos evitar que el buscador visite ciertas páginas por medio del archivo robots.txt, utilizar redirecciones 301 para evitar incoherencias en los enlaces entrantes y, sobre todo, crear una estructura fija para nuestras URIs. [...]

    Webmaster Libre » Archivo del weblog » Algunas cosas que debes saber sobre contenido duplicado 27 Noviembre, 2006

  4. Muy buena la herramienta!!!!!!!

    martin 1 Septiembre, 2007

Comentar:

Algunas etiquetas HTML permitidas:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Blogalaxia BlogESfera - Directorio de Blogs Hispanos Web Developement Blogs - BlogCatalog Blog Directory