NSC: »Nova« skupna gruča Instituta »Jožef Stefan«

Za uporabo računskih gruč preko vmesnikov grid (SLING, EGI itd.):

• Elektronsko potrdilo za znanost

• Avtorizacija VOMS

• Uporaba gruče IJS

Nova skupna gruča (NSC) je bila vzpostavljena v okviru operacije "Nakup in adaptacija prostorov za selitev Računskega centra Instituta »Jožef Stefan«", s katero smo na Teslovi 30 vzpostavili nov računalniški center IJS, ki je opremljen za gostovanje računskih gruč in s katerim smo razbremenili prostore računskega centra IJS v stavbi J (CMI), v katerih domujejo osrednje storitve IKT, osrednje vozlišče omrežja ter podatkovno intenzivne aplikacije uporabnikov. Dodatni novejši sistemi (strežniki Epyc Roma, pospeševalniki NVidia Tesla Ampère, pospeševalniki FPGA Xilinx Alveo) v lasti Odseka za računalniške sisteme E7 so bili nabavljeni v okviru financiranja ARRS.

NSC je gruča, namenjena vsem uporabnikom Instituta »Jožef Stefan«, njihovim projektnim sodelavcem ter uporabnikom Slovenske iniciative za nacionalni grid (v tem vrstnem redu prioritet). Dostop je brezplačen. Za dostop do gruče morate pridobiti elektronsko potrdilo za znanost, se vključiti v virtualno organizacijo nsc.ijs.si ter svoje programe odposlati kot računske naloge grid. Za uporabo preko prijavnega vozlišča se morate registrirati na naslovu support@sling.si - uporabniško ime velja za infrastrukturo SLING in ga lahko urejate na strežniku SSO.

Pri delu si lahko pomagate tudi z navodili na straneh SLING.

Naloge morajo imeti časovno omejeno trajanje (sistema ne morete uporabljati za gostovanje stalnih storitev), lahko pa posamezni uporabnik pošilja veliko število nalog, naloge lahko preko strežnika NSC odlagajo in prevzemajo podatke z drugih strežnikov in hkrati lahko tečejo na več strežnikih hkrati. Sistem podpira tudi večnitne naloge (do 128 strojnih niti), naloge tipa OpenMP (medprocesorska komunikacija v enem vozlišču) in MPI (večprocesorska naloga s komunikacijo med vozlišči po nizkolatenčnem omrežju InfiniBand).

Gruča NSC ima naslednje značilnosti:

• programska oprema:
  • prijavno vozlišče z interkativnim dostopom SLURM in ARC

  • zunanji vmesnik: NorduGrid ARC

  • sistem vrst: SLURM

  • OS: CentOS8 + programska oprema v RunTimeEnvironment, !Linux EnvironmentModules oz. lahka virtualizacija (Singularity HPC)

• strojne kapacitete:
  • 2880 klasičnih računskih jeder
  • 16 vektorskih pospeševalnikov NVidia Tesla Kepler 40
  • 5 vektorskih pospeševalnikov NVidia Ampère 100
  • 4 x programabilni pospeševalniki FPGA Xilinx Alveo
  • 12288 GB RAM
• omrežje:
  • notranje omrežje: 1 Gbit/s, 10 Gbit/s za diske in večje strežnike

  • superračunalniško omrežje: InfiniBand 56 Gbit/s

  • zunanje omrežje 20 Gbit/s

Sestavljena je iz:

• prijavnega vozlišča nsc-login, na katerem lahko uporabljate sistem SLURM in vmesno programsko opremo ARC, če pridobite uporabniško ime in dostop preko SLING (http://fido.sling.si/)

• nadzornih strežnikov
  • nsc.ijs.si - strežnik za vmesno programsko opremo grid
  • ctrl.ijs.si - strežnik za upravljanje z vrstami na gruči (batch)
  • servisni strežniki in prijavna vozlišča
  • podatkovni strežnik s kapaciteto 90 TB
  • podatkovno polje CEPH s kapaciteto 1,2+ PB
• omrežna infrastruktura:
  • zunanja omrežna povezava 20 Gbit/s
  • stikala 10 Gbit/s za podatkovne prenose in večja vozlišča

  • stikalo InfiniBand 56 Gbit/s za nizkolatenčno superračunalniško komunikacijo (MPI ipd.); priključena so vsa računska vozlišča

  • administrativno omrežje (omrežna stikala za nadzor, strežniki za spremljanje delovanja in porabe)
• računska vozlišča:

  • CMI - skupno 1984 klasičnih računskih jeder, 16 vektorskih pospeševalnikov NVidia Tesla Kepler 40 ter 9216 GB RAM,

    • 20 računskih vozlišč: 64 jeder AMD, 256 GB RAM
    • 7 večjih računskih vozlišč: 64 jeder AMD, 512 GB RAM, 10 Gbit/s omrežje
    • 8 vektorskih vozlišč: 32 jeder Intel, 2 x NVidia Tesla Kepler 40, 64 GB RAM

  • E7 - 4 hitra nova vozlišča s pospeševalniki:

    • 4 računska vozlišča 2 x AMD Epyc Roma 7742 s 64 jedri / 128 nitmi
    • 5 x NVidia Ampère 100
    • 4 x FPGA Xilinx Alveo
    • diskovni strežnik, vključen v podatkovno polje CEPH, skupaj 720 TB

  • Rudolf - za učno-razvojne opreme (podpora za InfiniBand in MPI)

    • 36 vozlišč z 2 x Intel Xeon E5-2650v2 (16c @ 2,6 GHz) in 64 GB RAM
    • 8 vozlišč z 2 x Intel Xeon E5-2650v2 (16c @ 2,6 GHz) in 128 GB RAM
    • 1 x NVidia K20
    • 1 x Intel Xeon Phi