IT4Innovations provozuje vedle svých velkých superpočítačů také menší komplementární systémy.

Tyto systémy představují nastupující, netradiční nebo úzce specializované hardwarové architektury, které zatím nejsou v superpočítačových datových centrech běžné. 

V komplementárních systémech jsou zároveň nasazené nové programové modely, knihovny a nástroje pro vývoj aplikací. Komplementární systémy tak poskytují vědeckým týmům možnost vyzkoušet a porovnat experimentální architektury s tradičními architekturami (např. x86 + Nvidia GP GPU) a příležitost optimalizovat a urychlit výpočty
v nových oblastech výzkumu.

 

Technické specifikace komplementárních systémů, které sestávají z několika hardwarových platforem:

 

Hardwarová platforma 1 – Arm A64FX procesory

Výpočetní uzly první části komplementárních systémů jsou postaveny na Arm A64FX procesorech s integrovanou rychlou HBM2 pamětí. Jedná se v podstatě o fragment v posledních letech nejvýkonnějšího superpočítače na světě Fugaku, instalovaném v japonském RIKEN Center of Computational Science (aktuálně je tento superpočítač druhý nejvýkonnější). Konfigurace se skládá z osmi výpočetních uzlů systému HPE Apollo 80, které jsou navzájem propojené 100Gb/s Infiniband sítí.

Konfigurace každého výpočetního uzlu:

  • 1× Arm A64FX, 48 jader, 2 GHz, 32 GB HBM2 paměti
  • 400 GB SSD
  • HDR Infiniband 100 Gb/s

 

 

Dva výpočetní uzly s ARM64FX                      

 

Hardwarová platforma 2 – Intel procesory, Intel PMEM, Intel FPGA (Altera)

Výpočetní uzly této části komplementárních systémů jsou postaveny
na technologiích Intel. Servery jsou osazeny procesory Intel Xeon třetí generace
a persistentními (non-volatilními) Intel Optane pamětmi o celkové kapacitě 2TB a 8TB na server a FPGA kartami Intel Stratix 10.

Tuto část tvoří dva uzly HPE ProLiant DL380 Gen 10 Plus v konfiguraci:

  • 2× Intel Xeon Gold 6338, 32 jader, 2 GHz
  • 256 GB RAM
  • 8 TB a 2 TB Intel Optane Persistent Memory (NVDIMM)
  • 3,2 TB NVMe SSD
  • 2× FGPA Bittware 520N-MX (Intel Stratix 10)
  • HDR Infiniband 100 Gb/s

 

 

Intel Stratix FPGA karta

 

Hardwarová platforma 3 – AMD procesory, AMD akcelerátory, AMD FPGA (Xilinx)

Třetí část komplementárních systémů je postavena na technologiích AMD. Servery jsou osazeny procesory AMD EPYC třetí generace, čtyřmi GP GPU kartami AMD Instinct MI100, které jsou navzájem propojené rychlou sběrnicí (AMD Infinity Fabric) a dále dvěma, výkonem odlišnými, FPGA kartami Xilinx Alveo. Xilinx je jedna z nejnovějších velkých akvizic společnosti AMD. Tuto část tvoří dva uzly HPE Apollo 6500 Gen 10+ v konfiguraci:

  • 2× AMD EPYC 7513, 32 jader, 2,6 GHz
  • 256 GB RAM
  • 3,2 TB NVMe SSD
  • 4× AMD Instinct MI100 (AMD Infinity Fabric Link)
  • FPGA Xilinx Alveo U250
  • FPGA Xilinx Alveo U280
  • HDR Infiniband 100 Gb/s

 

CPU část serveru HPE Apollo 6500 Gen10 Plus

 

Hardwarová platforma 4 – Edge server

Součástí komplementárních systémů je také edge server HPE EL1000, jehož úkolem je zpracovávat úlohy umělé inteligence přímo u zdroje dat, často mimo datové centrum. Server disponuje vysokým výpočetním výkonem pro AI inferenci díky GP GPU akcelerátoru NVIDIA Tesla T4, několika technologiemi pro komunikaci (10Gb Ethernet, Wifi, LTE) a zároveň nízkou spotřebou.

  • 1× Intel Xeon D-1587, 16 jader, TDP 65W
  • 1x NVIDIA Tesla T4, 16 GB, TDP 70W
  • 128 GB RAM
  • 1,92 TB SSD storage
  • Připojení:
    • 2x 10 Gbps Ethernet, 
    • WiFi 802.11ac,
    • LTE connectivity
  • Spotřeba do 500W

 

HPE Edgeline EL1000

                   

 

Hardwarová platforma 5 – FPGA Synthesis Server

Nástroje pro FPGA obvykle běží delší dobu, několik hodin až jeden den, aby vytvořily konečný bitstream (logický návrh) pro velké čipy FPGA. Tyto nástroje jsou obvykle sekvenční, proto je součástí systému dedikovaný server pro tuto úlohu.

Tento server je používán nástroji potřebnými pro FPGA desky nainstalovanými v platformách 2 a 3.

  • AMD EPYC 72F3, 8jádrový @ 3.7 GHz
  • 128 GB of DDR4-3200 paměť s ECC, paměť je plně zaplněna, aby se maximalizoval výkon paměťového subsystému
  • 2x NVMe disky 3.2TB, konfigurace RAID 1

     
Hardwarová platforma 6 – ARM + CUDA GPGU (Ampere) + DPU

Je tvořena dvěma servery Gigabyte G242-P36, Ampere Altra Q80-30 (80c, 3.0GHz)
s procesory ARM a obsahuje programovatelné akcelerátory GPGPU CUDA
s architekturou Ampere a procesory DPU.


Konfigurace každého výpočetního uzlu:

  • 512 GB DIMM DDR4, 3200MHz, ECC, CL22
  • 2x Micron 7400 PRO 1920 GB NVMe M.2 Non-SED Enterprise SSD
  • 2x NVIDIA A30 GPU Accelerator
  • 2x NVIDIA BlueField-2 E-Series DPU 25GbE Dual-Port SFP56, PCIe Gen4 x16,
    16 GB DDR + 64, 200Gb Ethernet
  • Mellanox ConnectX-5 EN network interface card, 10/25GbE dual-port SFP28, PCIe3.0 x8
  • Mellanox ConnectX-6 VPI adapter card, 100Gb/s (HDR100, EDR IB and 100GbE), single-port QSFP56

 

NVIDIA BLUEFIELD-2 DPU

 

Hardwarová platforma 7 – IBM Power

Tvořena jedním serverem se dvěmy  procesory IBM Power10,  rychlou operační pamětí a rychlými úložišti NVMe. Servery jsou vhodné pro výpočty jejichž výkon
je omezen výkonem paměťového systému a portování aplikací na Power platformu.

 

Specifikace serveru IBM POWER S1022:

  • 2x Power10 12-CORE TYPICAL 2.90 TO 4.0 GHZ (MAX) PO
  • 512GB DDIMMS, 3200 MHZ, 8GBIT DDR4
  • 2x ENTERPRISE 1.6 TB SSD PCIE4 NVME U.2 MOD
  • 2x ENTERPRISE 6.4 TB SSD PCIE4 NVME U.2 MOD
  • PCIE3 LP 2-PORT 25/10GB NIC&ROCE SR/CU A

 

IBM POWER S1022

                   

 

Hardwarová platforma 8 – Procesor s velkou L3 cache

Je postavena na serveru HPE Proliant DL 385 Gen10 s velmi velkou L3 cache. Platforma umožňuje vyvíjet algoritmy a knihovny vyžadující velkou L3 cache (lineární algebra, relativně malé matrice).

Specifikace:

  • 2x AMD EPYC 7773X Milan-X, 64 cores, 2.2GHz, 768 MB L3 cache
  • 16x HPE 16 GB (1x+16 GB) x4 DDR4-3200 Registered Smart Memory Kit
  • 2x 3.84TB NVMe RI SFF BC U.3ST MV SSD
  • BCM 57412 10GbE 2p SFP+ OCP3 Adptr
  • HPE IB HDR100/EN 100Gb 1p QSFP56 Adptr1
  • HPE Cray Programming Environment for x86 Systems

 

AMD EPYC 7773X

        

Hardwarová platforma 9 – VDI (Virtual Desktop Infrastructure)

Tvoří ji dva servery HPE Proliant DL 385 Gen10 a každý server je vybaven dvěma NVIDIA A40 48 GB GPU. Platforma poskytuje uživatelům remote/virtualni workstation s MS Windows OS s grafickým rozhraním a zaměřením na 3D OpenGL a RayTracing aplikace.

Konfigurace každého uzlu:

  • 2x AMD EPYC 7413, 24 cores, 2.55GHz
  • 16x HPE 32GB 2Rx4 PC4-3200AA-R Smart Kit
  • 2x 3.84TB NVMe RI SFF BC U.3ST MV SSD
  • BCM 57412 10GbE 2p SFP+ OCP3 Adptr
  • 2x NVIDIA A40 48GB GPU Accelerator

 

NVIDIA A40

                   

Software dostupný pro hardwarovou platformu 9:

  • Academic VMware Horizon 8 Enterprise Term Edition: 10 Concurrent User Pack
  • 8x NVIDIA RTX Virtual Workstation, per concurrent user, perpetual EDU license
  • 32x NVIDIA RTX Virtual Workstation, per concurrent user
  • 7x Windows Server 2022 Standard - 16 Core License Pack
  • 10x Windows Server 2022 - 1 User CAL
  • 40x Windows 10/11 Enterprise E3 VDA (Microsoft) per year
  • Hardware VMware Horizon management
     

 

Síťová infrastruktura

Propojení jednotlivých uzlů komplementárních systémů zajišťuje vysokorychlostní propojovací síť s nízkou latencí Infiniband HDR, která je postavená na přepínači Nvidia/Mellanox se čtyřiceti porty o rychlosti až 200 Gb/s. Součástí infrastruktury je také 10Gb Ethernet síť.

Software

Významnou součástí komplementárních systémů je software, který v sobě zahrnuje prostředí, kompilátory, numerické knihovny nebo nástroje pro vývoj a ladění algoritmů.

HPE Cray Programming Environment

HPE Cray Programming Environment je komplexní nástroj pro vývoj HPC aplikací v heterogenním prostředí. Podporuje tak všechny architektury komplementárních systémů. Obsahuje optimalizované knihovny, podporu nejpoužívanějších programovacích jazyků, nebo několik nástrojů pro analýzu, ladění a optimalizaci paralelních algoritmů.

Intel oneAPI

OneAPI jen nástroj společnosti Intel pro vývoj aplikací nasazených na heterogenních platformách – CPU, GP GPU, nebo FPGA. V komplementárních systémech se plánuje využít především pro FPGA karty.

AMD ROCm

ROCm je softwarový balík společnosti AMD, který obsahuje programovací modely, vývojové nástroje, knihovny, nebo integrační nástroje pro nejpoužívanější AI frameworky, které pracují nad AMD GP GPU akcelerátory.