Суперкомпьютер "Сергей Королев"

Суперкомпьютер «Сергей Королев», cоздан в рамках программы развития национального исследовательского университета при поддержке правительства Самарской области по мероприятию "Развитие среды генерации знаний на базе межвузовского медиацентра, путем создания суперкомпьютерного центра, ориентированного, в том числе, на исследования в сфере нанотехнологий, и наращивания телекоммуникационной инфраструктуры", а также по программе «Академические инициативы» компании IBM. Кластер установлен в суперкомпьютерном центре Самарского университета. Система построена на базе линейки оборудования IBM BladeCenter с использованием блейд-серверов и обеспечивает пиковую производительность 40 триллионов операций с плавающей точкой в секунду (40 ТФлопс).

Конфигурация системы:

  • Общие характеристики:
    • Общее число серверов/процессоров/вычислительных ядер: 187/376/2272;
    • Общее число графических процессоров/ядер: 5/4288;
    • Общая оперативная память: 6672 ГБ;
    • Тип системной сети: QLogic/Voltaire InfiniBand DDR, QDR;
    • Тип управляющей вспомогательной сети: Gigabit Ethernet.
      Вычислительная часть

  • 112 вычислительных блейд-серверов BladeCenter HS22:
    • Процессоры: 2х Intel Xeon X5560, 4C, 2.80GHz, 8MB Cache;
    • Оперативная память: 12 ГБ;
    • Жесткий диск: 76 ГБ или 146 ГБ SAS 10K 16Mb Cache;
    • Тип системной сети: InfiniBand DDR, QDR;
  • 28 вычислительных блейд-серверов BladeCenter HS23:
    • Процессоры: 2х Intel Xeon E5-2665, 8C, 2.40GHz, 20MB Cache;
    • Оперативная память: 32 ГБ;
    • Жесткий диск: 146 ГБ SAS 10K 16Mb Cache;
    • Тип системной сети: InfiniBand QDR;
  • 14 вычислительных блейд-серверов BladeCenter HS23:
    • Процессоры: 2х Intel Xeon E5-2680v2, 10C, 2.80GHz, 25MB Cache;
    • Оперативная память: 48 ГБ;
    • Жесткий диск: 300 ГБ SAS 10K 16Mb Cache;
    • Тип системной сети: InfiniBand QDR;
  • 14 блейд-серверов с памятью 24 ГБ на сервер:
    • Процессоры: 2х Intel Xeon X5670, 6C, 2.93GHz, 12MB Cache;
    • Оперативная память: 24 ГБ;
    • Жесткий диск: 146 ГБ SAS 10K 16Mb Cache;
    • Тип системной сети: InfiniBand QDR;
  • 8 блейд-серверов с памятью 96 ГБ на сервер:
    • Процессоры: 2х Intel Xeon X5670, 6C, 2.93GHz, 12MB Cache;
    • Оперативная память: 96 ГБ;
    • Жесткий диск: 244 ГБ RAID0 из 2-х дисков SAS;
    • Тип системной сети: InfiniBand QDR;
  • 2 блейд-сервера с графическими картами Nvidia Tesla 2070:
    • Процессоры: 2х Intel Xeon X5670, 6C, 2.93GHz, 12MB Cache;
    • Оперативная память: 48 ГБ;
    • Тип системной сети: InfiniBand QDR;
    • GPGPU: 2x Nvidia Tesla 2070, 448 CUDA cores, 6Gb GRAM
  • сервер с памятью 1 ТБ:
    • Процессоры: 4х Intel Xeon E7-4860, 10C, 2.26GHz, 24MB Cache;
    • Оперативная память: 1006 ГБ;
    • Жесткий диск: 2.8 ТБ RAID0 из 3-х дисков SAS;
    • Жесткий диск: 952 ГБ RAID0 из 2-х дисков SSD;
    • Тип системной сети: InfiniBand QDR;
    • GPGPU: 1xNvidia K20c, 2496 CUDA cores, 5GB GRAM
  • 8 серверов с памятью 192 ГБ на сервер:
    • Процессоры: 2х Intel Gold 6230, 20C, 2.1GHz, 27MB Cache;
    • Оперативная память: 192 ГБ;
    • Жесткий диск SSD: 224 ГБ ;
    • Тип системной сети: InfiniBand QDR;
  • 2 IBM x3650M управляющих сервера:
    • Процессоры: 2х Intel Xeon X5560, 2.80GHz, 8MB Cache;
    • Оперативная память: 12 ГБ.
  • 2 IBM x3650M3 сервера для работы файловой системы GPFS:
    • Процессоры: 2х Intel Xeon X5620, 2.40GHz, 12MB Cache;
    • Оперативная память: 12 ГБ.
  • Сетевой интерконнект:
    • QLogic 9080 Infiniband DDR 20Гбит/с;
    • QLogic 12800 Infiniband QDR 40Гбит/с.
  • Операционная система: Red Hat Enterprise Linux 5.11 - на головном узле
  • Операционная система: Red Hat Enterprise Linux 6.9 - на всех вычислительных узлах

 


Работа на кластере "Сергей Королев"

Система мониторинга работы кластера