Реферат: Кластерные системы

*Грид (GRID) — перспективное направление развития ИТ технологий. Хотя оно пока не воплощено в индустриальных стандартах, все страны — лидеры ИТ-рынка — имеют государственные программы разработки грид-технологий. Цель этих программ;

интеграция вычислительных мощностей — интеграция разнородных вычислительных систем в единое пространство с динамическим распределением ресурсов между приложениями;

интеграция емкостей хранилищ — нечто подобное территориально распределенным RAID-системам;

интеграция источников данных — например, интеграция в единую виртуальную базу разнородных баз данных, распределенных территориально, реализованных на разных аппаратных платформах и принципах.

Термин «грид» создан по аналогии с понятием «power grid» — система, интегрирующая генерирующие мощности электрических сетей в единое «хранилище» энергии, откуда она перераспределяется вне зависимости от ее источника. Внедрение таких технологий в сфере высокопроизводительных вычислений позволит кардинально упростить доступ к вычислительным ресурсам и сделать их использование на порядок более эффективным. Помимо интеграции вычислительных ресурсов грид-технологии позволят интегрировать разнородные емкости хранения информации и базы данных для создания глобального информационного пространства. Сегодня ясно, что грид-системы получат большое распространение в научных и академических кругах, т. е. в условиях относительной открытости информационных ресурсов. В коммерческом сегменте, где очень остро стоит вопрос обеспечения безопасности обмена информацией и защиты интеллектуальной собственности, такие системы, по-видимому, будут востребованы в меньшей степени.

Специализированное ПО

Работа кластерных систем обеспечивается четырьмя видами специализированных приложений, как то: операционные системы (как правило, Linux), средства коммуникации (для вычислительных кластеров это обычно библиотека MPI), средства разработки параллельных приложений и ПО для администрирования кластеров.

Для написания параллельных приложений, обеспечивающих взаимодействие между узлами кластера, используются библиотеки программирования MPI. MPI стандартизует набор интерфейсов программирования, на которых можно писать приложения, легко переносимые на различные кластерные архитектуры. Существует несколько популярных реализаций MPI, совместимых с различными типами интерконнектов, среди которых есть как свободно распространяемые, так и коммерческие (например, от компаний Scali, Intel, Verari Systems). Некоторые кластерные приложения вместо интерфейса MPI используют стандартный TCP/IP, но, как правило, с меньшей эффективностью.

Средства разработки параллельных приложений содержат компиляторы с различных языков программирования (например, компаний Absoft, Intel, PathScale, Portland Group), отладчики параллельных приложений (компаний Absoft, Allinea, Etnus), а также средства оптимизации параллельных приложений (например, компании PathScale). ПО для администрирования кластеров позволяет контролировать запуск и планирование выполнения пакетных заданий, а также их распределение между вычислительными узлами кластера. Эти программные средства управляют распределением нагрузки и увеличивают эффективность работы высокопроизводительных вычислительных систем. Наиболее распространены пакеты компаний Altair, Platform, Sun и Scali.

Что касается управления и мониторинга кластеров, то это ПО сильно зависит от используемых аппаратных средств и обычно поставляется изготовителем оборудования. Можно также найти немало свободно распространяемых версий различной функциональности. Существует и российская версия такого ПО — разработанный в ИПС РАН программный пакет FLAME SKIP.

Наиболее популярные параллельные прикладные программные пакеты:

1) инженерные:

CFD, CAD, CAE, т. е. гидро- и газодинамика, прочностной анализ, проектирование и расчет конструкций: программные пакеты FLUENT компании Fluent, пакеты STAR-CD и STAR CCM+, созданные CD adapco Group, MAGMASOFT от MAGMA, Altair HyperWorks от Altair Engineering и др., в том числе российская разработка FlowVision компании «ТЕСИС»;

расчеты столкновения конструкций и FF.A (конечно-элементный анализ): LS-DYNA от LSTC, программные пакеты от ABAQUS, ANSYS, MSC.Software;

2) поиск новых лекарств, генетика и др. программные пакеты от TurboWorx;

3) ПО для обработки геофизических данных для нефтедобывающей отрасли: программные средства компаний Paradigm, Schlumberger.

Перспективы развития кластерных технологий на российском рынке

Перспективы отечественного рынка суперкомпьютеров в целом напрямую зависят от развития российской экономики. Если экономика, в частности отечественное производство, будет развиваться, все большее число предприятий найдут средства на приобретение высокопроизводительных решений. Отечественные предприятия уже осознают, что для того чтобы конкурировать с западной продукцией даже на внутреннем рынке, им необходима мощная вычислительная техника. Подтверждением этому может служить ОАО «Силовые машины»: сильное производство, продукция высокого качества, победитель многих тендеров и одновременно держатель одной из 30 самых мощных суперкомпьютерных систем России (см. www.supercomputers.ru). Среди других ведущих отечественных предприятий, активно занимающихся технологическим переоснащенном производства, — РКК «Энергия», ФГУП ММПП «САЛЮТ», НИКИЭТ, ОАО «Ленинградский металлический завод», ОАО «Электросила», ЦНИИ им. А. Н. Крылова, ФГУП ЦКБМТ «Рубин», НПО ЦКТИ им. И. И. Ползунова, АО «АвтоВАЗ», ОКБМ им. Африкантова, НПО «Мотор», НПО «Геофизика», ГосНИИАС, ВНИИЭФ, ВНИИТФ, ЦАГИ, ЦИАМ, ОАО «ОКБ Сухого», ОАО «Русский алюминий» и многие другие.

По прогнозам участников отечественного рынка суперкомпьютеров, его рост за ближайшие 3-5 лет составит несколько сотен процентов. И если еще год назад заказчиками кластерных систем выступали в основном научно-исследовательские институты и вузы, то в ближайшем будущем эти решения будут находить все больший спрос в коммерческом секторе, как это постепенно происходит уже сейчас. При этом, по мнению изготовителей, основную долю рынка будут по-прежнему занимать кластерные решения с наилучшим на сегодня соотношением цена/производительность.

Участники рынка выделяют три основных класса потребителей кластерных решений в России. Во-первых, это промышленные предприятия, занимающиеся разведкой и добычей полезных ископаемых, машиностроением, производством лекарственных препаратов. Во-вторых, это научные институты и университеты, для которых оснащенность высокопроизводительной техникой не только условие конкурентоспособности научных разработок. Как показывает практика МГУ им. М. В. Ломоносова, Южно-Уральского государственного университета, Санкт-Петербургского государственного политехнического университета и др., наличие высокопроизводительных вычислительных ресурсов позволяет научным организациям выступать в роли региональных центров инновационной активности, способных предоставить промышленным предприятиям современную компьютерную поддержку. В этих вузах уже ведутся инженерные расчеты и разработки в интересах промышленных предприятий регионов, и такая практика доказала свою эффективность. Надо отметить, что участники российского рынка суперкомпьютеров стремятся обеспечить благоприятные условия для его развития, не дожидаясь поддержки государства. Так, Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова в сотрудничестве с российскими коммерческими компаниями — поставщиками кластерного оборудования и ПО внедряет специальную программу, позволяющую вузам и научным институтам приобретать технику и обучать специалистов на особых условиях.

Наконец, третья группа потребителей — пользователи кластерных баз данных. Кластерные решения могут быть с успехом использованы в крупных компаниях практически вне зависимости от отрасли для ведения корпоративных баз данных, работы ERP- и CRM-систем. Рост доли этого сегмента кластерного рынка можно прогнозировать на основании появления на российском рынке программных решений для баз данных, совместимых с кластерной архитектурой.

Еще одна тенденция отечественного рынка кластерных технологий на сегодня — присутствие на нем отечественных компаний, занимающих прочные позиции. В текущей редакции списка самых мощных компьютеров СНГ доля машин западного производства составляет 34%, еще 12% собрано самими пользователями, а остальные 54% суперкомпьютеров созданы отечественными изготовителями. Надо сказать, что доля отечественных суперкомпьютерных решений, скажем, на европейских рынках гораздо скромнее и не идет в сравнение с долей ведущих американских компаний (IBM, HP и др.). Конкурентные преимущества российских изготовителей — возможность делать уникальные системы «на заказ», добиваясь наиболее выгодного для клиента соотношения цена/производительность и обеспечивая оптимизацию решения под конкретную задачу, а также территориальная близость, облегчающая настройку и обслуживание сложной техники. Присутствие отечественных организаций на рынке создает наиболее благоприятные условия для его развития, обеспечивая конкуренцию и стимулируя рост доступности решений.

Что же касается развития технологий, то на ближайшее время можно прогнозировать рост доли решений на основе 64-разрядных и новых двухъядерных процессоров, уплотнение конфигурации кластерных систем (т. е. увеличение систем с узлами формфактора 1U с количеством процессоров больше двух), появление систем с четырехпроцессорными серверными узлами, которые становятся более доступными по цене, а также развитие блэйд-технологий. Отдельное важное направление развития — разработки в области грид-технологий с целью объединения разнородных вычислительных систем в единое пространство с динамическим распределением ресурсов между приложениями. Эти разработки поддерживаются ведущими изготовителями программного обеспечения: например, в повой версии Oracle Database 10g используются GRID-технологии.

Редакция благодарит специалистов Центра Кластерных Технологий компании «Т-Платформы» за помощь в подготовке статьи.

Список литературы

Журнал Upgrade4_08_05