http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/ Desarrollo Web con Software Libre Wed, 17 Mar 2010 20:10:04 +0000 http://wordpress.org/?v=2.9.2 hourly 1 http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/comment-page-1/#comment-4059 martin Sat, 01 Sep 2007 03:58:49 +0000 http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/#comment-4059 Muy buena la herramienta!!!!!!! Muy buena la herramienta!!!!!!!

]]> http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/comment-page-1/#comment-1134 Webmaster Libre » Archivo del weblog » Algunas cosas que debes saber sobre contenido duplicado Mon, 27 Nov 2006 14:11:21 +0000 http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/#comment-1134 [...] Para evitarlo podemos evitar que el buscador visite ciertas páginas por medio del archivo robots.txt, utilizar redirecciones 301 para evitar incoherencias en los enlaces entrantes y, sobre todo, crear una estructura fija para nuestras URIs. [...] [...] Para evitarlo podemos evitar que el buscador visite ciertas páginas por medio del archivo robots.txt, utilizar redirecciones 301 para evitar incoherencias en los enlaces entrantes y, sobre todo, crear una estructura fija para nuestras URIs. [...]

]]> http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/comment-page-1/#comment-242 Webmaster Libre » Archivo del weblog » Robots malos Fri, 01 Sep 2006 12:45:12 +0000 http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/#comment-242 [...] Ralf Kloth ha publicado en su sitio un listado con los robots «malvados» que le han visitado. Ralf considera que un robot es malo tanto si es un spambot como si es, simplemente, un bot que no respeta el archivo robots.txt y los banea de su sitio por métodos más radicales, a nivel de servidor. [...] [...] Ralf Kloth ha publicado en su sitio un listado con los robots «malvados» que le han visitado. Ralf considera que un robot es malo tanto si es un spambot como si es, simplemente, un bot que no respeta el archivo robots.txt y los banea de su sitio por métodos más radicales, a nivel de servidor. [...]

]]> http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/comment-page-1/#comment-177 despuesdegoogle » Archivo del weblog » robots.txt (3) Mon, 14 Aug 2006 21:51:40 +0000 http://www.webmasterlibre.com/2006/08/14/generadores-de-archivos-robotstxt/#comment-177 [...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...] [...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...]

]]>