Proyecto AbFS: Sistema de Almacenamiento Paralelo y Muy Masivo para HPC & Cloud Computing

El Proyecto AbFS – Sistema de Almacenamiento Paralelo y Muy Masivo para HPC & Cloud Computing se ha realizado con financiación del Ministerio de Economía y Competitividad dentro del subprograma Innpacto enmarcado en el Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2008-2011.  (Código de Proyecto IPT-2011-1728-430000).

El presente proyecto aborda problemas relacionados con la implementación eficiente de sistemas distribuidos de ficheros, incluyendo los relativos al diseño de interfaces de red, que utilicen el paralelismo disponible en los nodos para reducir la brecha entre el ancho de banda proporcionado por las redes de altas prestaciones y el aprovechado por las aplicaciones.

Específicamente se considerarán aquellas aplicaciones que procesan grandes volúmenes de datos y cuyas prestaciones se ven afectadas por la eficiencia de los sistemas distribuidos de ficheros.

Recientemente se está incrementando de forma considerable la demanda de este tipo de aplicaciones intensivas en el manejo de datos (data-intensive applications), usualmente accesibles a través de interfaces web que permiten sacar partido de los recursos de los correspondientes centros de datos. En su informe “The diverse and Exploding Digital Universe” de 2008, IDC estimaba el tamaño de la información digital en 486 exabytes (1018 bytes). Los datos generados por instrumentos utilizados en la investigación en física de partículas, química computacional,  biomedicina, o en el análisis de imágenes de satélites o de telescopios, por citar algunos ejemplos, pueden suponer el manejo de ficheros o bases de datos de varios terabytes. En cualquier caso, la disponibilidad de soluciones eficientes para el procesamiento de grandes volúmenes de datos constituye un reto y abre grandes oportunidades para el sector informático.

Disponer de un sistema de ficheros distribuido, abierto y paralelo, que permita semánticas de fuerte consistencia para garantizar su funcionamiento frente a fallos en los servidores durante accesos concurrentes a los ficheros, es una cuestión esencial que se plantea frecuentemente en el acceso a datos en clusters de computadores, donde se suele aprovechar la potencia de sus CPU para el procesamiento paralelo de aplicaciones, pero apenas se obtienen ventajas del almacenamiento disponible localmente en cada nodo. Precisamente sistemas como NFS (Network File System) están evolucionando lentamente en este sentido, paralelizando el acceso a los recursos (NFSv4, pNFS). Otros modelos como MPI-IO requieren que las aplicaciones se deban diseñar bajo el uso de funciones específicas, lo que no permite su utilización en la mayoría de aplicaciones, así como tampoco ofrece capacidad de redundancia o redimensionamiento dinámico implícitos de los elementos de almacenamiento. El modelo que proponemos, además de ser completamente distribuido para reducir los cuellos de botella usuales en sistemas centralizados, incorpora mecanismos de replicación que garanticen un funcionamiento fiable, tolerante a caídas de los nodos. Además se pretende reducir la complejidad inherente a la configuración de este tipo de sistemas mediante protocolos que automaticen la identificación de recursos y las tareas de administración.

En definitiva, la investigación a abordar implica la optimización conjunta de todos los procesos involucrados, incluyendo fundamentalmente la comunicación entre nodos, la gestión de datos y metadatos, la coherencia de caché, y la gestión de bloqueos.

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información. ACEPTAR