Estos últimos días he estado observando como Google ha actualizado sus herramientas más de lo normal teniendo una gran actividad últimamente. Ha ocultado la interfaz gráfica de su buscador para dar un toque más simple o minimalista aún, ha añadido la posibilidad de poder escuchar las traducciones, etc. Ahora ha añadido un nuevo user-agent llamado "Googlebot-News" para que los webmaster tengamos más control sobre nuestro contenido.
¿Qué es un user-agent y que es Googlebot-News?
Un user-agent es un robot o spider dedicado a rastrear el contenido de la red y archivarlo en una base de datos para futuras consultas. Buscadores como Google, Yahoo, Ask, etc. usan estos tipos de rastreadores para indexar el contenido de nuestros sitios web.
Anteriormente Google News, un gestor de noticias de Google, recorría todas las páginas para que apareciéramos en el sistema. Si no queríamos ser incluidos teníamos que rellenar un formulario y esperar casi 30 días aproximadamente para que desaparezca el contenido indexado de Google News. Ahora tendremos el control desde el archivo robots.txt. Veamos algunos ejemplos de su funcionamiento:
Incluir páginas en la búsqueda web de Google, pero no en Noticias:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
Incluir páginas en Noticias, pero no en la búsqueda web de Google:
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-News
Disallow:
Google ha informado que está en fase de prueba este nuevo user-agent y puede haber problemas; pero pronto seguro que estará operativo junto a los demás robot's de Google haciendo la indexación más fácil.
Fuente y más información: Nuevo agente de usuario (user-agent) para Noticias
-
Ubuntu Lucid Lynx llevará la página de inicio de Firefox con Yahoo Publicado por Sampedro el día 11/03/2010
Guardado en Internet -
Cambiar diseño a Google Publicado por Sampedro el día 10/03/2010
Guardado en Google -
Mostrar estadísticas de Google Analitycs en nuestra web Publicado por Sergio el día 05/03/2010
Guardado en Desarrollo, Google -
Google apoya esfuerzos de socorro en Chile Publicado por Sergio el día 01/03/2010
Guardado en Google -
¿Como funciona Street View de Google Maps? Publicado por Sampedro el día 19/02/2010
Guardado en Google, Videos