IBM Research упрощает анализ данных

Исследовательская организация IBM Research разработала революционный метод, на два порядка уменьшающий вычислительную сложность, расходы и потребление электроэнергии при анализе качества больших объемов данных. Новый метод поможет предприятиям быстрее и эффективнее извлекать и использовать данные для создания более точных моделей.

Для разработки нового алгоритма исследователи IBM использовали суперкомпьютер, занимающий четвертую позицию в рейтинге самых мощных вычислительных систем в мире – Blue Gene/P, развернутый в научно-исследовательском центре города Юлих, Германия. Система справилась с проверкой достоверности 9 Тбайт данных менее чем за 20 минут. На решение подобной задачи при использовании существующей типовой методики на этой же системе уйдет более одного дня. Кроме того, в рекордном эксперименте расход электроэнергии составил всего 1% от обычного уровня энергопотребления этого вычислительного процесса.

"Определение, насколько типичными или статистически релевантными являются данные, помогает нам оценивать общее качество анализа и указывает на недостатки аналитической модели или скрытые взаимосвязи в данных, — пояснил доктор Костас Бекас (Costas Bekas) из IBM Research. — Эффективный анализ огромных массивов данных требует разработки нового поколения математических методик, которые направлены на уменьшение вычислительной сложности и, в то же время, могут быть развернуты на современных высокопроизводительных вычислительных платформах с массовым параллелизмом".

Новый метод, разработанный учеными IBM, создает предпосылки для разработчик более более мощных, комплексных и точных моделей с расширенными возможностями прогнозирования в самых разных сферах применения. Например, службы, ответственные за управление водными ресурсами, смогут анализировать поступающую в реальном времени картографическую информацию и обработанные геофизические данные для разработки прогнозирующих моделей, которые предсказывают потенциальные проблемы прежде, чем они могут возникнуть.