Většina superpočítačových center si dala za cíl snížit vstupní bariéry do světa vysokovýkonného počítání (HPC) pro všechny uživatele z výzkumných institucí, průmyslové sféry, státní správy, nemocnic a dalších institucí, aniž by došlo ke snížení rychlosti provádění výpočtů. Za tímto účelem byla zintenzivněna výzkumná činnost IT4Innovations v oblastech distribuovaných systémů, plánování, vzdáleného spouštění a bezpečnosti.

Výzkumný tým sdružený v rámci této vlajkové lodi se zabývá vývojem konceptu HPC jako služba (HPC-as-aService / HPCaaS), který pro superpočítačová centra představuje komplexní řešení dostupnosti jejich HPC služeb pro mnohem širší okruh uživatelů. HPC jako služba umožňuje uživatelům přístup k infrastruktuře HPC bez nutnosti kupovat a spravovat vlastní fyzické servery nebo infrastrukturu datových center. A navíc tento přístup snižuje vstupní bariéru pro všechny, kteří mají zájem využívat masivní paralelní počítače, ale často nemají v této oblasti potřebnou úroveň odborných znalostí. IT4Innovations dlouhodobě vyvíjí tyto HPC platformy a s nimi související softwarové balíčky (HyperLoom, HEAppE, atd.), které nejsou závislé pouze na jednom typu infrastruktury, ale i ostatní superpočítačová centra jsou schopna je provozovat a nabízet je svým uživatelům. Prostřednictvím vyvíjených platforem dochází k rozšíření uživatelské základny o akademickou sféru, malé a střední podniky, či průmyslové podniky, které mohou využívat superpočítačové technologie, aniž by musely vynakládat investice na pořízení hardwaru.

Velkou část pracovní zátěže vysokovýkonných výpočetních systémů také představují výpočetní plány (pipelines) pro řešení vědeckých úloh vytvářené oborovými specialisty, kteří nemají hlubší znalosti a zkušenosti s HPC technologiemi. Záměrem výzkumného týmu je pokračovat ve vývoji jak programovacích modelů, díky nimž dokážou uživatelé jednoduše definovat závislosti mezi výpočetními úlohami, tak i runtime vrstev umožňujících vytvoření výpočetního plánu, který pak uživatelé mohou spustit v rozsáhlých distribuovaných prostředích (např. díky softwaru HyperLoom). V neposlední řadě je cílem také zpřístupnit výsledky a maximalizovat tak jejich potenciální dopad.

Řešitelé:

  • Ing. Jan Martinovič, Ph.D. 
  • Ing. Stanislav Böhm, Ph.D.
  • Ing. Svatoň Václav, Ph.D.

HYPERLOOM

HyperLoom je sada nástrojů pro definování a spouštění výpočetních plánů obsahujících širokou škálu typů úloh na velkých distribuovaných výpočetních systémech. HyperLoom umožňuje prostřednictvím Python rozhraní obecně definovat zátěž a její závislosti a také efektivně spouštět výpočetní plány obsahující miliony úloh s dopředu neznámou délkou běhu na stovkách až tisícovkách výpočetních uzlů. Nástroje HyperLoom jsou vyvíjeny bez závislosti na použité infrastruktuře. Lze je provozovat jak na HPC clusteru tak v cloudové infrastruktuře.

Více informací ZDE.

 

HEAPPE (HIGH-END APPLICATION EXECUTION MIDDLEWARE)

Pro zajištění jednoduchého a intuitivního přístupu k superpočítačové infrastruktuře byl vyvinut programový aplikační rámec (framework) nazvaný HEAppE. Tento rámec využívá princip střední vrstvy, který je v softwarové terminologii označován jako middleware. Middleware spravuje a poskytuje informace o spouštěných a běžících výpočtech a datech přenášených mezi klientskou aplikací a infrastrukturou HPC. HEAppE vznikl jako společný projekt centra IT4Innovations a nadnárodní společností DHI, která je jedním ze světových lídrů v oblasti vývoje hydrologického softwaru. Primárně byl vyvíjen pro použití centra IT4Innovations v oblasti hydrologického modelování, v současnosti se již používá u mnoha různých domén a je provozován několika superpočítačovými centry.

Platforma HEAppE se nezaměřuje jen na jeden konkrétní typ hardwaru pro současné vysokovýkonné a budoucí exascalové výpočetní systémy, nýbrž k cílí na využití různých systémů v různých superpočítačových centrech. Jejím prostřednictvím mohou všichni zainteresovaní využívat technologie HPC. HEAppE umožňuje spouštění požadovaných výpočtů a simulací na HPC infrastruktuře, sledování jejich průběhu a v případě potřeby informování uživatele. Poskytuje nezbytné funkce pro řízení výpočetních úloh a sledování jejich stavu, generování souhrnných reportů, ověřování a autorizaci uživatelů, přenos souborů, šifrování a různé notifikační mechanismy.

Více informací ZDE.

 

 

AI – MLOC & HEAPPE

MLoC je zkratka pro open-source řešení služby Strojové učení jako služba vyvinuté s cílem snížit vstupní bariéru k rozsáhlému strojovému učení. Umožňuje uživatelům definovat architektury umělých neuronových sítí a řídit jejich stavy pomocí rozhraní REST API. Funkce MLoC obsahuje více podpůrných vrstev, ve kterých lze provádět numerické operace v rámci cyklu neuronové sítě v závislosti na jejich výpočetní složitosti. Do HPC infrastruktury IT4Innovations mohou být převedeny výpočetně náročné úlohy s omezeními nízké latence jako je například učení neuronové sítě. A naopak výpočetně nenáročné úlohy vyžadující rychlou odezvu, což je například odvození modelu, mohou být prováděny přímo na API infrastruktuře. MLoC úzce spolupracuje s interním aplikačním rámcem HEAppE.

Více informací ZDE.

PŘÍPADY POUŽITÍ

Velmi důležitou součástí činnosti této vlajkové lodi je zajistit dopad na konečného uživatele. Zmíněné technologie již byly využity v minulosti a v současné době jsou používány v řadě projektů.

NÁRODNÍ PROJEKTY

  • Floreon+ – Vyhodnocování informací pro podporu rozhodování v rámci procesů krizového řízení, zejména povodní. Tvorba systému pro monitorování, modelování, predikci a podporu řešení krizových situací, a to především se zaměřením na oblast Moravskoslezského kraje.
    www.floreon.eu
  • MOLDIMED – IT4Innovations v rámci tohoto projektu mělo za úkol vyvinout platformu, jejímž cílem je poskytnout vědeckým pracovníkům v oblasti klinických dat masivně paralelního sekvenování snadný a intuitivní přístup k HPC infrastruktuře prostřednictvím specializovaného webového rozhraní.

 

MEZINÁRODNÍ PROJEKTY

  • ESA – Evropská kosmická agentura spustila iniciativu nazvanou Thematic Exploitation Platform (TEP), jejímž cílem bylo vyvinout a implementovat řadu tematicky orientovaných platforem, virtuálních prostředí usnadňujících vyhledávání dat získaných pozorováním Země. IT4Innovations je součástí Urban TEP.
  • ExCAPE – V projektu se IT4Innovations podílelo na vývoji moderních škálovatelných algoritmů a jejich vhodných implementacích, jež budou použitelné pro výpočty na exascale superpočítačích budoucnosti.
  • LEXIS – Projekt si dal za cíl vytvořit pokročilou inženýrskou platformu, a to využitím moderních technologií, jako jsou vysoko-výkonnostní počítání, velmi rozsáhlá data a cloudové služby.
    www.lexis-project.eu
  • ExaQUte – Cílem tříletého projektu ExaQUte je vyvinout nové metody umožňující řešení komplexních inženýrských problémů s využitím numerických simulací a budoucích exascalových systémů.
    www.exaqute.eu