Nuevo user-agent de Google

Estos últimos días he estado observando como Google ha actualizado sus herramientas más de lo normal teniendo una gran actividad últimamente. Ha ocultado la interfaz gráfica de su buscador para dar un toque más simple o minimalista aún, ha añadido la posibilidad de poder escuchar las traducciones, etc. Ahora ha añadido un nuevo user-agent llamado "Googlebot-News" para que los webmaster tengamos más control sobre nuestro contenido.

¿Qué es un user-agent y que es Googlebot-News?

Un user-agent es un robot o spider dedicado a rastrear el contenido de la red y archivarlo en una base de datos para futuras consultas. Buscadores como Google, Yahoo, Ask, etc. usan estos tipos de rastreadores para indexar el contenido de nuestros sitios web.

Anteriormente Google News, un gestor de noticias de Google, recorría todas las páginas para que apareciéramos en el sistema. Si no queríamos ser incluidos teníamos que rellenar un formulario y esperar casi 30 días aproximadamente para que desaparezca el contenido indexado de Google News. Ahora tendremos el control desde el archivo robots.txt. Veamos algunos ejemplos de su funcionamiento:

Incluir páginas en la búsqueda web de Google, pero no en Noticias:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-News
Disallow: /

Incluir páginas en Noticias, pero no en la búsqueda web de Google:

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-News
Disallow:

Google ha informado que está en fase de prueba este nuevo user-agent y puede haber problemas; pero pronto seguro que estará operativo junto a los demás robot's de Google haciendo la indexación más fácil.

Fuente y más información: Nuevo agente de usuario (user-agent) para Noticias