Google presenta su nuevo índice de búsqueda: Caffeine

«Ya sea que se trate de una historia noticiosa o un post en un foro o un blog, ahora el usuario puede encontrar links a contenido relevante en un tiempo mucho más rápido desde que se publicó», afirman.
Para tener una idea de cómo funcionan los motores de búsqueda, es necesario saber que cuando un usuario realiza una búsqueda en Google en realidad no está realizando la búsqueda “en vivo” dentro de la Red sino que está buscando en un índice de la Red creado por Google, el cual, lo mismo que el índice en un libro impreso, ayuda a dirigirse exactamente a la información que uno está buscando.

Ante el crecimiento del contenido en internet, no sólo en el orden de tamaño y números, sino que con la proliferación de video, imágenes, noticias y actualizaciones en tiempo real, la página web promedio es cada vez más rica y compleja. Además, las expectativas de los usuarios son ahora más altas que antes; quienes realizan búsquedas desean encontrar el contenido relevante más reciente, mientras que quienes publican en la Red esperan que su contenido sea hallado en el momento en que lo publican.

De modo que para estar a la par con la evolución de la Red y para responder a las expectativas cada vez más altas de los usuarios, han  decidido crear Caffeine.
El índice viejo de Google tenía varias capas, algunas de las cuales eran actualizadas a un ritmo más acelerado que otras, y la capa principal era actualizada cada par de semanas. Para actualizar una capa del antiguo índice, analizában la Red completa, lo que obviamente equivalía a un retraso importante entre el momento en que encontraban la página y el momento en que la ponían disponible para los usuarios.

Con el nuevo índice de búsqueda, Caffeine, analizan la Red en pequeñas porciones y lo actualizan de manera continua y globalmente. A medida que encuentran nuevas páginas o nueva información en páginas ya existentes, pueden agregar esos datos directamente al índice.

Caffeine permite indexar páginas web a una escala enorme. De hecho, cada segundo procesa cientos de miles de páginas en paralelo. Si estuviéramos hablando de una pila de papeles, sería como si esa pila creciera 3 millas en altura (casi 5 kilómetros) por segundo. El nuevo índice de búsqueda almacena casi 100 millones de gigabytes en una base de datos y agrega nueva información a un ritmo de cientos de miles de gigabytes por día. Se necesitarían 625,000 de los iPods más grandes para almacenar esa cantidad de información; y si esos iPods estuvieran puestos en fila ocuparían más de 40 millas (más de 64 kilómetros).

Finalizan diciendo que construyeron » Caffeine pensando en el futuro. No solamente es algo nuevo, sino que además es una base robusta que hace posible que podamos construir un motor de búsqueda aún más rápido y exhaustivo que escale al ritmo del crecimiento de la información online y entregue a los usuarios resultados de búsqueda aún más relevantes».

http://www.google.com/howgoogleworks/