IBM создает суперхранилище на 120 петабайт

Корпорация IBM работает над созданием цифрового хранилища, которое после завершения проекта станет примерно в 10 раз больше, чем самые крупные из существующих сейчас на рынке хранилищ. По словам инженеров из научно-исследовательской лаборатории IBM Алмаден в штате Калифорния, новое цифровое хранилище будет содержать в себе порядка 200 000 жестких дисков и иметь суммарный объем в 120 миллионов гигабайт (120 петабайт).

Ожидается, что суперхранилище будет поддерживать архив и 1 триллион файлов и будет поддерживать суперкомпьютерные операции, связанные с моделированием климата, биологическими и медицинскими исследованиями. В IBM рассказывают, что если бы на создаваемой системе предполагалось хранить MP3-файлы, то она могла бы вместить в себя около 24 миллиардов среднестатистических треков размером 5 мегабайт.

Интересно отметить, что проектируется система под нужды вполне конкретного коммерческого заказчика, правда, данные о нем не разглашаются. В IBM говорят, что этот клиент испытывает потребности в технологии хранения данных, поступающих с нового суперкомпьютера, симулирующего ключевые особенности реального мира.

Ранее о проекте по симуляции реальной жизни при помощи суперкомпьютеров заявляло правительство США, в частности Минобороны и Минэнерго этой страны.

По словам Брюса Хиллсберга, директора по исследованиям в области систем хранения, в процессе проектирования суперсистемы корпорации IBM приходится создавать много ранее несуществовавших технологий, связанных с хранением информации. В будущем многие из этих технологий будут реализованы в коммерческих системах меньшего масштаба. "Сейчас система емкостью в 120 петабайт выглядит чудовищно большой, но лет через пять такие системы вполне могут найти применение в крупных облачных системах", - говорит он.

Стив Ковей, вице-президент по исследованиям IDC, говорит, что на его практике система в 120 петабайт встречается впервые. Конвей говорит, что крупнейшие мировые пользователи сейчас начинают внедрять системы хранения емкостью около 10-15 петабайт. Отчасти спрос на такие системы может подогреть спрос на высокопроизводительные кластеры и суперкомпьютеры.

В IBM рассказывают, что инженеры их компании уже разработали ряд программных и аппаратных технологий, позволяющих работать с такими гигантскими проектами. Основной проблемой, как говорят в корпорации, являются с одной стороны отсутствие технологии, позволяющей синхронизировать 200 000 жестких дисков, а с другой стороны, даже распределенные кластерные файловые системы, которые здесь планируется использовать, с трудом работают под такими массивами данных. Кроме того, необходимо создать технологию абстракции, которая бы позволяла сохранить работоспособность хранилища при выходе из строя одного или нескольких жестких дисков.