La detección y prevención de amenazas son esenciales para garantizar la seguridad de los combatientes de guerra. Los investigadores han desarrollado una forma de acelerar el procesamiento de gráficos y datos extremadamente grandes, haciendo el uso más eficiente de los recursos computacionales modernos del Ejército antes y durante el despliegue de Soldados.
Los gráficos se han convertido en una opción preferida de representación de datos para modelar muchos sistemas del mundo real que contienen entidades y relaciones. Dichos sistemas y gráficos se usan ampliamente en varios dominios públicos y militares como Facebook con millones de usuarios conectados a través de relaciones de amistad,la World Wide Web, la bioinformática e incluso las aplicaciones de seguridad DOD. El DOD utiliza análisis gráficos que incluyen el seguimiento del terrorismo y la detección de amenazas.
En el entorno actual de uso intensivo de datos, estos gráficos crecen cada vez más grandes, e incluso los sistemas informáticos de alto rendimiento y alta potencia, como los que posee el Ejército, no pueden procesarlos de manera eficiente, dicen los investigadores.
Existe la necesidad de desarrollar sistemas paralelos y distribuidos eficientes que puedan escalar hardware de computadora moderno para procesar tales gráficos, dijo Rajgopal Kannan, investigador de la Subdivisión de Procesamiento de Contexto del Laboratorio de Investigación del Ejército del Comando de Desarrollo de Capacidades de Combate del Ejército de EE. UU.Oeste en Playa Vista, California.
"Los vastos recursos computacionales del Ejército deben utilizarse de manera eficiente a escala para resolver la gran demanda de soluciones informáticas rápidas para problemas de misión crítica", dijo Kannan.
Kannan colaboró en este proyecto con investigadores de la Universidad del Sur de California. El equipo se ha centrado en desarrollar análisis de gráficos portátiles y de alta velocidad, que es esencial para el análisis de seguridad del Departamento de Defensa, como descubrir redes de comunicación terroristas, analizar redes biológicas y recomendaracciones antiterroristas.
Los enfoques actuales no se adaptan bien a gráficos grandes y / o no tienen interfaces de programación fáciles de usar que faciliten el trabajo de desarrollar nuevas aplicaciones de análisis de gráficos, dijo. La responsabilidad recae en los programadores para explotar el hardware y el sistema operativoprimitivas, que requieren mucho tiempo, limitan la portabilidad del programa y requieren que el código se reescriba para nuevas arquitecturas y aceleradores.
"Nuestro nuevo marco de cómputo paralelo, llamado Graph Processing Over Partitions, o GPOP, es fácil de usar y facilita la programación optimizada", dijo Kannan. "Los programadores pueden enfocarse en desarrollar nuevas aplicaciones de alta velocidad y están protegidos de navegar por las complejidadesdel hardware subyacente. El marco también es independiente del hardware, siendo el código portátil para múltiples arquitecturas ".
Puede ser un componente importante de los sistemas de procesamiento de gráficos personalizados para el DOD, como los que se están desarrollando bajo el programa de Exploración Identificar Verificar Verificar Explotación, o HIVE, de la Agencia de Proyectos de Investigación Avanzada de Defensa, dijo Kannan.
Transacciones de ACM en computación paralela Número especial presentó un artículo sobre esta investigación, Marco de computación paralela para análisis de gráficos escalables, sobre innovaciones en sistemas para aplicaciones irregulares.
"La propagación de información entre entidades interconectadas es una operación muy fundamental", dijo Kannan. "Considere, por ejemplo, el famoso algoritmo de PageRank utilizado para la clasificación de páginas web en los motores de búsqueda. Comienza asignando una importancia / peso inicial a las páginas web y luego emulala propagación de esta importancia / peso a lo largo de los hipervínculos que crean conexiones en gráficos web "
Emular dicha propagación para gráficos muy grandes pone mucho estrés en el sistema de memoria de las computadoras actuales, dijo Kannan.
Para este propósito, los investigadores diseñaron nuevos modelos de cómputo que pueden utilizar al máximo la potencia de la memoria de acceso aleatorio y los cachés disponibles en servidores disponibles en el mercado. Sus modelos están encapsulados en un marco que oculta todos los detalles sangrientos y proporciona unInterfaz simple para facilitar la vida de los programadores.
Otro ejemplo son los cálculos de distancias más cortas utilizados en el análisis de redes biológicas o la verificación de datos en línea que exigen una respuesta extremadamente rápida.
"Nuestro marco utiliza el poder de la computación en clúster para extraer rápidamente metadatos de gráficos grandes y responder consultas de distancias más cortas en microsegundos", dijo Kannan. "Nuestro enfoque ha demostrado que al diseñar cuidadosamente los sistemas de software, la eficiencia del hardware subyacente puede serMejorado significativamente."
La idea clave del equipo de investigación es la descomposición jerárquica de los programas: una interfaz de usuario de alto nivel facilita la programación junto con primitivas de hardware de bajo nivel que conducen a un alto rendimiento.
Su marco reduce el tiempo de ejecución de varios algoritmos hasta en un 80% y es hasta 19 veces, 9.3 veces y 3.6 veces más rápido que los marcos conocidos actuales como Ligra, GraphMat y Galois, respectivamente.
"Nuestro trabajo en la extracción de metadatos para cálculos de distancias más cortas ha ampliado significativamente la capacidad de este enfoque", dijo Kannan. "En comparación con los métodos existentes, podemos procesar gráficos 10 veces más grandes con 50 veces más velocidad. En un clústercon 64 servidores, podríamos procesar toda la red de carreteras de los Estados Unidos en menos de un minuto y medio ".
Además del DOD, esta investigación tiene aplicaciones de doble uso.
"También es útil para compañías de big data, como Facebook, Google, Amazon, etc., que emplean análisis de gráficos en los servicios que ofrecen, como búsqueda web, recomendación de productos o detección de spam", dijo Kannan. "Gráfico eficienteel procesamiento también puede desentrañar nuevos conocimientos en la investigación biológica, como el análisis genómico, la secuenciación de proteínas o la transmisión de epidemias, como con COVID-19. Nuestra investigación desbloqueará el potencial de las arquitecturas de procesamiento de gráficos personalizados que está desarrollando el Departamento de Defensa ".
El siguiente paso para el equipo es aprovechar el poder de los sistemas de procesamiento distribuido y la memoria distribuida para escalar aplicaciones de análisis de gráficos a gráficos futuros aún más grandes como parte de la construcción de un marco de procesamiento distribuido y paralelo generalizado.
A lo largo de esta investigación y todo lo que está por venir, la colaboración ha sido y seguirá siendo un elemento clave del éxito, dijo Kannan.
"La colaboración es el alma de la investigación, y esta investigación colaborativa se llevó a cabo bajo los auspicios de la iniciativa de campus abierto de CCDC ARL, que ha sido fundamental para permitir la transferencia tecnológica de ideas originadas en la investigación académica básica", dijo Kannan.
Kannan y sus colaboradores del grupo de investigación Graph Analytics and Machine Learning del profesor Viktor Prasanna en la Universidad del Sur de California pudieron cerrar la brecha entre la teoría académica y la práctica tecnológica para desarrollar productos tecnológicos que resultarán beneficiosos para las prioridades clave de modernización del ejército, incluidas lasRed y letalidad del soldado.
La difusión de estos resultados en los principales lugares de publicación como ACM TOPC y la Conferencia Internacional sobre Bases de Datos Muy Grandes, más comúnmente conocida como VLDB, resalta aún más la importancia de las asociaciones ARL-universidad y aumenta la visibilidad en el espacio de tecnología de combate, éldijo.
Esta investigación, financiada por DARPA y respaldada por un Acuerdo de Investigación y Desarrollo Cooperativo ARL-USC, recibió recientemente el reconocimiento del Departamento de Comercio como una de las declaraciones de trabajo conjunto de alto impacto del laboratorio.
Fuente de la historia :
Materiales proporcionado por Laboratorio de investigación del ejército de EE. UU. . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :