IBM desarrolla algoritmo para el análisis inmediato de grandes volúmenes de datos

Investigadores de IBM han desarrollado un nuevo algoritmo que podría analizar terabytes de datos en cuestión de minutos. "El algoritmo matemático desarrollado por los laboratorios de IBM en Zurich ordena, correlaciona y analiza millones de conjuntos de datos aleatorios, una tarea que a supercomputadores les llevaría días procesar"dijo Costas Bekas, un investigador de IBM.

El algoritmo puede ser utilizado para analizar grandes cantidades de datos como datos de uso de electricidad y también para calcular niveles de contaminación en el aire o en el agua. También podría desglosar los datos de los mercados financieros mundiales y evaluar la exposición individual y colectiva a los riesgos.

"Estamos interesados en la medición de la calidad de los datos... Un análisis eficiente de grandes conjuntos de datos requiere de nuevas técnicas matemáticas que reducen la complejidad computacional", agregó Bekas. El algoritmo combina modelos de calibración de datos y análisis estadístico y puede encontrar relaciones ocultas entre conjuntos de datos.

El enfoque tradicional para el análisis de datos es tener múltiples conjuntos de datos y verlos por separado, dijo Eleni Pratsini, director de ciencias matemáticas y computacionales de los laboratorios de investigación de IBM. Sin embargo, este algoritmo compara los conjuntos de datos, lo que podría ayudar en situaciones como cálculo de reducción del riesgo en carteras financieras.

Puede ver la nota completa aquí.