Ученые Томского политехнического университета (ТПУ) создают систему хранения данных, которая позволит работать с огромными объемами данных, получаемых в ходе экспериментов на Большом адронном коллайдере Европейской организации по ядерным исследованиям (ЦЕРН). Об этом сообщил журналистам руководитель группы физического программного обеспечения Брукхейвенской национальной лаборатории (США), сотрудничающий с ЦЕРН, Алексей Климентов.
"В настоящее время физики ЦЕРН используют реляционные базы данных - ORACLE, MySQL, в тоже время социальные сети, например, Facebook и поисковики Google или Yandex, создали свои технологии, которые готовы предоставлять на коммерческой основе. Но тогда это будет "черный ящик", так как тот же Google не открывает свою работу. Это закрытая информация. А ученые, работающие на Большом адронном коллайдере, должны быть уверены в конфиденциальности своих данных", - сказал Климентов.
Сотрудник научного центра во время технических работ на коллайдере ВЭПП-2000 в Институте
В настоящее время эксперимент ATLAS, с которым сотрудничает Климентов, требует работы со 160 петабайтами данных. Так как существующие подходы не дают подходящего варианта решения проблемы, ученые ЦЕРН и ТПУ создали на базе томского вуза лабораторию обработки и анализа больших объемов данных - Big Data Analytics and Technologies Laboratory, сотрудники которой в течение двух лет планируют разработать новую технологию хранения больших объемов данных.
База будет основываться на двух уже существующих принципах хранения больших объемов информации.
"Существует классический подход к хранению данных - табличным способом. Такая база данных не может масштабироваться: она создается на определенный объем данных. И это для многих сфер уже неактуально. Иную масштабируемую технологию разработали для социальных сетей. Соцсети хранят данные, как будто это лежат отдельные файлы", - пояснил Климентов.
Предполагается, что разработанная в Томске система будет опробована на метаданных одного из экспериментов ЦЕРН, после чего ее смогут приобрести промышленные компании, работающие с большим объемом информации.
Источник: tass.ru
