= NSC: »Nova« skupna gruča Instituta »Jožef Stefan« =

Za uporabo računskih gruč preko vmesnikov grid ([[http://www.sling.si/|SLING]], [[http://www.egi.eu/|EGI]] itd.):

 * [[nsc/Elektronsko potrdilo za znanost|Elektronsko potrdilo za znanost]]
 * [[nsc/Avtorizacija VOMS|Avtorizacija VOMS]]
 * [[nsc/Uporaba gruče IJS|Uporaba gruče IJS]]

Nova skupna gruča (NSC) je bila vzpostavljena v okviru operacije [[EUskladi3|"Nakup in adaptacija prostorov za selitev Računskega centra Instituta »Jožef Stefan«"]], s katero smo na Teslovi 30 vzpostavili nov računalniški center IJS, ki je opremljen za gostovanje računskih gruč in s katerim smo razbremenili prostore računskega centra IJS v stavbi J (CMI), v katerih domujejo osrednje storitve IKT, osrednje vozlišče omrežja ter podatkovno intenzivne aplikacije uporabnikov. Dodatni novejši sistemi (strežniki Epyc Roma, pospeševalniki NVidia Tesla Ampère, pospeševalniki FPGA Xilinx Alveo) v lasti Odseka za računalniške sisteme E7 so bili nabavljeni v okviru financiranja ARRS.

NSC je gruča, namenjena vsem uporabnikom Instituta »Jožef Stefan«, njihovim projektnim sodelavcem ter uporabnikom [[http://www.sling.si/|Slovenske iniciative za nacionalni grid]] (v tem vrstnem redu prioritet). '''Dostop je brezplačen.''' Za dostop do gruče morate [[nsc/Elektronsko potrdilo za znanost|pridobiti elektronsko potrdilo za znanost]], se vključiti v [[nsc/Avtorizacija VOMS|virtualno organizacijo nsc.ijs.si]] ter svoje programe [[nsc/Uporaba gruče IJS|odposlati kot računske naloge grid]]. Za uporabo preko prijavnega vozlišča se morate registrirati na naslovu [[mailto:support@sling.si|support@sling.si]] - uporabniško ime velja za infrastrukturo SLING in ga lahko urejate na [[https://fido.sling.si|strežniku SSO]].

Pri delu si lahko pomagate tudi z [[http://doc.sling.si/|navodili na straneh SLING]].

'''Naloge''' morajo imeti '''časovno omejeno trajanje''' (sistema ne morete uporabljati za gostovanje stalnih storitev), lahko pa posamezni uporabnik pošilja veliko število nalog, naloge lahko preko strežnika NSC odlagajo in prevzemajo podatke z drugih strežnikov in hkrati lahko tečejo na več strežnikih hkrati. Sistem podpira tudi večnitne naloge (do 128 strojnih niti), naloge tipa OpenMP (medprocesorska komunikacija v enem vozlišču) in MPI (večprocesorska naloga s komunikacijo med vozlišči po nizkolatenčnem omrežju !InfiniBand).

Gruča NSC ima naslednje značilnosti:
 * programska oprema:
  * prijavno vozlišče z interkativnim dostopom SLURM in ARC
  * zunanji vmesnik: [[http://www.nordugrid.org/middleware/|NorduGrid ARC]]
  * sistem vrst: [[https://slurm.schedmd.com/|SLURM]]
  * OS: CentOS8 + programska oprema v !RunTimeEnvironment, !Linux !EnvironmentModules oz. lahka virtualizacija (Singularity HPC)
 * strojne kapacitete:
  * 2880 klasičnih računskih jeder
  * 16 vektorskih pospeševalnikov NVidia Tesla Kepler 40
  * 5 vektorskih pospeševalnikov NVidia Ampère 100
  * 4 x programabilni pospeševalniki FPGA Xilinx Alveo
  * 12288 GB RAM
 * omrežje:
  * notranje omrežje: 1 Gbit/s, 10 Gbit/s za diske in večje strežnike
  * superračunalniško omrežje: !InfiniBand 56 Gbit/s
  * zunanje omrežje 20 Gbit/s

[[attachment:nsc-room.jpg|{{attachment:nsc-room.jpg|Gruča|width="375px",align="right"}}|&do=get]]

Sestavljena je iz:
 * prijavnega vozlišča nsc-login, na katerem lahko uporabljate sistem SLURM in vmesno programsko opremo ARC, če pridobite uporabniško ime in dostop preko SLING (http://fido.sling.si/)
 * nadzornih strežnikov
  * nsc.ijs.si - strežnik za vmesno programsko opremo grid
  * ctrl.ijs.si - strežnik za upravljanje z vrstami na gruči (batch)
  * servisni strežniki in prijavna vozlišča
  * podatkovni strežnik s kapaciteto 90 TB
  * podatkovno polje CEPH s kapaciteto 1,2+ PB
 * omrežna infrastruktura:
  * zunanja omrežna povezava 20 Gbit/s
  * stikala 10 Gbit/s za podatkovne prenose in večja vozlišča
  * stikalo !InfiniBand 56 Gbit/s za nizkolatenčno superračunalniško komunikacijo (MPI ipd.); priključena so vsa računska vozlišča
  * administrativno omrežje (omrežna stikala za nadzor, strežniki za spremljanje delovanja in porabe)
 * računska vozlišča: 
  * '''CMI''' - skupno 1984 klasičnih računskih jeder, 16 vektorskih pospeševalnikov NVidia Tesla Kepler 40 ter 9216 GB RAM,
   * 20 računskih vozlišč: 64 jeder AMD, 256 GB RAM
   * 7 večjih računskih vozlišč: 64 jeder AMD, 512 GB RAM, 10 Gbit/s omrežje
   * 8 vektorskih vozlišč: 32 jeder Intel, 2 x NVidia Tesla Kepler 40, 64 GB RAM
  * '''E7''' - 4 hitra nova vozlišča s pospeševalniki:
   * 4 računska vozlišča 2 x AMD Epyc Roma 7742 s 64 jedri / 128 nitmi
   * 5 x NVidia Ampère 100
   * 4 x FPGA Xilinx Alveo
   * diskovni strežnik, vključen v podatkovno polje CEPH, skupaj 720 TB
  * '''Rudolf''' - za učno-razvojne opreme (podpora za !InfiniBand in MPI)
   * 36 vozlišč z 2 x Intel Xeon E5-2650v2 (16c @ 2,6 GHz) in 64 GB RAM
   * 8 vozlišč z 2 x Intel Xeon E5-2650v2 (16c @ 2,6 GHz) in 128 GB RAM
   * 1 x NVidia K20
   * 1 x Intel Xeon Phi