Uno de los desafíos abiertos fundamentales en informática es el almacenamiento efectivo de datos. El valor socioeconómico y la escala de información aumenta día a día y los investigadores del instituto de investigación de Madrid IMDEA Networks han estado trabajando para identificar formas de garantizar no solo eso digitalmentelos datos almacenados perduran, pero también que están fácilmente disponibles, son confiables y, sobre todo, consistentes.
En los últimos años, la generación masiva de datos junto con fallas de almacenamiento frecuentes ha aumentado la popularidad de los sistemas de almacenamiento distribuido como Dropbox, Google Drive o Microsoft OneDrive, que permiten replicar los datos en diferentes dispositivos de almacenamiento geográficamente dispersos.Se ha logrado un avance significativo en este campo a través del proyecto ATOMICDFS de becario intra-europeo Marie-Curie MC-IEF, recientemente concluido, llevado a cabo en las instalaciones del Instituto IMDEA Networks. El proyecto ha sido dirigido por el Dr. Antonio Fernández Anta, profesor de investigación enel Instituto, como investigador principal, y el Dr. Nicolas Nicolaou, como becario Marie-Curie.
Debido a la difusión de datos en múltiples hosts, uno de los principales problemas que enfrentan los sistemas de almacenamiento distribuido es mantener la consistencia de los datos cuando se accede a ellos simultáneamente por múltiples operaciones. En términos más simples, un escenario a resolver podría ser: qué¿Qué valor debería recuperar un lector en Australia cuando un escritor cambia al mismo tiempo el valor en España? Los sistemas de almacenamiento distribuido convencionales no ofrecen garantías sólidas de consistencia en tales casos, debido al alto costo que las operaciones consistentes infligen en el sistema. Los algoritmos desarrollados por ATOMICDFS proporcionanlos medios para minimizar ese costo, demostrando que los sistemas de almacenamiento consistentes pueden ser prácticos. Además, el proyecto propone soluciones para permitir la manipulación de grandes objetos compartidos como archivos.
ATOMICDFS da un gran paso hacia una nueva generación de sistemas de almacenamiento distribuido altamente confiables, altamente consistentes, altamente colaborativos, prácticos y globales, y un pequeño, aunque decidido, paso hacia una futura plataforma informática global. Con este proyecto IMDEA Networkscoloca a Europa entre los líderes mundiales en esta área de investigación.
Creación de sistemas de archivos distribuidos altamente coherentes
Una de las ideas clave desarrolladas en ATOMICDFS es la noción de 'cobertura'. Además de las garantías atómicas, la cobertura define las propiedades exactas que los objetos dependientes de la versión como los archivos deben poseer en un entorno altamente concurrente. Por ejemplo,una vez que se escribe un archivo durante el almacenamiento, ninguna operación posterior puede escribir una versión anterior del mismo archivo. Para mejorar la velocidad de las operaciones en el almacenamiento, el equipo de investigación se centró en mejorar la comunicación y los costos de cálculo infligidos por cada unooperación. Los nuevos algoritmos logran igualar el rendimiento óptimo de comunicación mientras que al mismo tiempo reducen el costo de cómputo por un factor exponencial. Las simulaciones de los algoritmos propuestos ilustran claramente las ganancias de rendimiento de los nuevos algoritmos sobre los enfoques propuestos previamente.
Otro factor que el equipo necesitaba investigar para mejorar la latencia de la operación era la reducción del tamaño de cada mensaje intercambiado en la red. Para reducir los costos del mensaje, ATOMICDFS introdujo dos técnicas de manipulación de archivos. En primer lugar, propusieron una división simple delarchivo en bloques de datos y, en segundo lugar, el uso de un diario registro de operaciones de archivo. Estas técnicas permitieron que las operaciones se aplicaran en partes de los archivos en lugar de en el objeto de archivo como un todo, y así permitieron operaciones más rápidas sin comprometer la consistencia.
Los resultados del proyecto se han publicado en las principales conferencias internacionales y están pendientes de envío a revistas científicas de gran prestigio. Además, el código de las simulaciones y las emulaciones se ha puesto a disposición del público de forma gratuita a través de la plataforma GitHub.
ATOMICDFS se lanzó en diciembre de 2014 y concluyó a fines de noviembre de 2016.
Fuente de la historia :
Materiales proporcionado por Instituto IMDEA Networks . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :