Расширяя комплекс программ для обработки данных, социальная сеть Twitter вскоре опубликует исходные коды собственного программного приложения Storm, предназначенного для анализа в реальном времени крупномасштабных массивов данных. Приложение Storm является одним из собственных решений Twitter, предназначенных для работы с огромными массивами информации.
В июле этого года компания приобрела разработчика программного обеспечения BackType, поставлявшего инструменты для анализа и исследования данных в сети Twitter. При помощи продуктов этой компании многие организации анализировали данные, связанные с их компанией, отзывами пользователей и общением персонала. Программное обеспечение Storm, базирующееся на разработках BackType, технически похоже на открытый комплекс Apache Haddop, но в отличие от последнего лучше приспособлено для работы с постоянно обновляющимися и меняющимися потоками данных, такими как новостные ленты Twitter.
В Twitter говорят, что при помощи данного продукта пользователи могут проще и значительно быстрее анализировать данные в реальном времени. Анализировать данные и хранить результаты Storm может как в обычных файлах, так и в неструктурированных хранилищах или базах данных. Технически Storm может анализировать как Twitter-ленты, так и другие постоянно обновляемые данные. Одним из преимуществ продукта является его простота и широкие возможности по использованию.
Storm представляет собой разновидность CEP-программ (complex event processing), похожих на те, что на коммерческой основе выпускают компании SAP и Oracle. Однако в отличие от двух последних Storm не имеет встроенного механизма хранения, так как полагается на внешние хранилища.
Продукт должен быть презентован на конференции Strange Loop в США в начале сентября. Сейчас более подробные данные доступны в блоге Twitter по адресу http://engineering.twitter.com/2011/08/storm-is-coming-more-details-and-plans.html
Источник: CyberSecurity
|
