El archivo Robots.txt nos permite controlar cómo indexan nuestras páginas los motores de búsqueda. Con unas simples líneas de texto podemos prevenir el indexado a uno o varios motores, en todas o algunas páginas de nuestro sitio.
Por tanto, el archivo robots.txt es importante para nuestra SEO y ,en el caso de webmasters que generan páginas optimizadas específicamente para ciertos buscadores, puede evitar que seamos baneados de otros.
Genera tu archivo robots.txt:
|
|||||||||||||||
Otros generadores de robots.txt online:
Más información:(en castellano)
Guia Robots.txt
Crea el fichero robots.txt
Robots.txt
Si te ha gustado este post no olvides suscribirte al feed para estar al tanto de las novedades
[...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...]
[...] Ralf Kloth ha publicado en su sitio un listado con los robots «malvados» que le han visitado. Ralf considera que un robot es malo tanto si es un spambot como si es, simplemente, un bot que no respeta el archivo robots.txt y los banea de su sitio por métodos más radicales, a nivel de servidor. [...]
[...] Para evitarlo podemos evitar que el buscador visite ciertas páginas por medio del archivo robots.txt, utilizar redirecciones 301 para evitar incoherencias en los enlaces entrantes y, sobre todo, crear una estructura fija para nuestras URIs. [...]
Feed RSS de los comentarios de este post.
Alojado en RedCoruna Hosting
¿Quieres hasta 6 meses de hosting gratis? Utiliza el cupón RCwebmasterlibre al contratar cualquier plan con RedCoruna - más información
El principal motivo por el que no recomiendo utilizar Smarty es porque el propio PHP tiene una sintaxis embebida, lo que permite utilizarlo sin más para escribir plantillas web.
Guerra Creativa es una comunidad para Creativos. Nosotros te proporcionamos el campo de batalla y el armamento para conquistar el mundo creativo. A través de concursos de diseño web y de logos, l…
Con este Ebook puedes tener un sitio web con hospedaje y domino gratis, ademas de un CMS gratis, no debes registrarte en nada, lo unico que debes hacer es luego de leerlo compartirlo, regalarlo, si…
Lista de 32 sitios para descargar imagenes gratis, es una recopilacion de no uno ni dos sino 32 Bancos de Imagenes
Post para aprender a descargar las conocidas librerías de Evermotion para diseñadores que trabajan con 3Ds Max.
¿Qué medidas de seguridad se tienen en cuenta en el momento de implementar una subida de archivos en PHP?
¡Hola!
El componente Auth del framework CakePHP guarda las páginas en la memoria cache de IE7 (o eso es lo que creo haber entendido).
Para que no lo haga, he añadido los campos Ca…
Theresa Neil realizó un extraordinario análisis de 12 diseños estándar de interfases web como parte de su libro Diseñando Interfases Web: Principios y pautas para la interacción
50 herramientas extremadamente útiles para PHP
Tendencias de diseño de botones de ”llamada a la acción”
Ver más noticias de los usuarios
Muy buena la herramienta!!!!!!!