InfiniBand

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 10. července 2019; kontroly vyžadují 13 úprav .

Infiniband (někdy zkráceně IB ) je vysokorychlostní přepínaná počítačová síť používaná ve vysoce výkonných výpočtech, která má velmi vysokou šířku pásma a nízkou latenci. Používá se také pro vnitřní připojení v některých počítačových systémech. Od roku 2014 byl Infiniband nejoblíbenější sítí pro superpočítače . Infiniband řadiče ( adaptér hostitelské sběrnice ) a síťové přepínače vyrábí Mellanox a Intel . Při vytváření Infinibandu byla zabudována škálovatelnost, síť používá síťovou topologii založenou na přepínačích ( Switched fabric ).

Jako komunikační síť pro clustery Infiniband soutěží se skupinou standardů Ethernet a proprietárními technologiemi [1] , jako jsou Cray a IBM. Při budování počítačových sítí konkuruje IB Gigabit Ethernet , 10 Gigabit Ethernet a 40/100 Gigabit Ethernet . IB se také používá k připojení zařízení pro ukládání informací DAS . [2] Vývojem a standardizací technologií Infiniband se zabývá InfiniBand Trade Association[3] .

Stručný popis

Stejně jako mnoho moderních sběrnic , jako je PCI Express , SATA , USB 3.0 , používá Infiniband pro přenos sériových signálů diferenciální páry . Tyto dva páry dohromady tvoří jednu základní obousměrnou sériovou sběrnici ( eng.  lane ), označenou 1x. Základní rychlost je 2,5 Gbps v každém směru. Infiniband porty se skládají z jedné sběrnice nebo agregovaných skupin 4x nebo 12x základních obousměrných sběrnic. Nejčastěji používané porty jsou 4x [4] .

Pro porty existuje několik režimů přenosu dat na sběrnicích. Dřívější režimy používaly kódování 8B/10B [5] pro vyvážení signálu (každých 8 bitů dat se přenáší po sběrnici jako 10 bitů) s 20% režií:

Počínaje režimem FDR-10 se používá mnohem ekonomičtější kódování 64B/66B :

Hlavním účelem Infiniband je propojení mezi servery, včetně organizace RDMA ( Remote Direct Memory Access ).

Výkon
Generace: SDR DDR QDR FDR-10 FDR EDR HDR NDR
Efektivní propustnost, Gbps, na 1x sběrnici [7] 2 čtyři osm deset čtrnáct 25 padesáti 100
Efektivní rychlosti pro sběrnice 4x a 12x, Gbps 8, 24 16, 48 32, 96 41,25, 123,75 54,54, 163,64 100 300 200 600 400,

1200

Kódování (bit) 8/10 8/10 8/10 64/66 64/66 64/66 64/66 64/66
Typická zpoždění, µs [8] [9] 5 2.5 1.3 0,7 0,7 0,5
Rok vzniku [10] 2001,
2003		 2005 2007 2011 2014 [7] ~2017 [7] později 2020

Topologie a spojení

InfiniBand používá přepínaná média s připojením typu point-to-point, na rozdíl od dřívějších ethernetových sítí, které používaly sdílená média a zpočátku připojení přes sběrnici. Všechny přenosy začínají a končí na kanálovém adaptéru. Každý výpočetní uzel obsahuje adaptér HCA (host channel adapter) připojený k procesoru přes rozhraní PCI Express (dříve přes PCI-X ). Data a řídicí informace jsou odesílány mezi adaptéry, včetně těch, které jsou nezbytné pro implementaci QoS .

Pro periferní zařízení se předpokládalo použití TCA adaptérů (target channel adapter), které se však neprosadily a taková periferní zařízení jsou vytvářena na bázi standardních základních desek [11] .

Adaptéry HCA mají obvykle jeden nebo dva porty 4x, které lze připojit buď ke stejným portům HCA a TCA, nebo k přepínačům (switchům). Switche mohou být organizovány v sítích s topologiemi tlustého stromu ( Fat Tree ), Close Network , méně často - multidimenzionální torus, dvojitá hvězda a v různých hybridních kombinacích [5] [12] .

Porty a kabely Infiniband 4x se dodávají v následujících formách:

Vzácnější 12x porty se dodávají v následujících formách:

Pro zajištění maximální propustnosti bylo přijato rozhodnutí omezit povolenou délku kabelu InfiniBand na 10 metrů (pouze aktivní kabel).

Kabely Infiniband jsou k dispozici v různých provedeních:

Při použití univerzálních adaptérů Infiniband/Ethernet v ethernetové infrastruktuře lze také použít adaptéry pro porty SFP+.

Infiniband signály mohou cestovat několik palců přes desky s plošnými spoji, včetně vnitřních konektorů s vhodnou frekvenční odezvou, pokud jsou všechny páry v portu téměř stejně dlouhé.

Protokoly a API

Na úrovni datového spoje InfiniBand přenáší data ve formě paketů o délce až 4 KB (kilobajtů), které po spojení tvoří zprávu. Některá zařízení podporují menší maximální velikost paketů, například 2 kB. Typy zpráv:

Infiniband zprávy jsou rozděleny do služeb v závislosti na garancích doručení a nutnosti inicializovat spojení před výměnou:

Infiniband umožňuje využít princip RDMA ( anglicky  Remote Direct Memory Access  - vzdálený přímý přístup do paměti), při kterém přenos dat z paměti vzdáleného počítače do lokální paměti žadatele provádí přímo síťový řadič, přičemž účast CPU vzdáleného uzlu je vyloučena. RDMA umožňuje přenos dat bez dodatečného ukládání do vyrovnávací paměti a nevyžaduje aktivní provoz operačního systému, knihoven nebo aplikace na uzlu, jehož paměť se přistupuje.

Infiniband lze použít se dvěma nízkoúrovňovými generickými API, které byly vyvinuty z U-Net (Cornell, polovina 90. let) a VIA ( Virtual Interface Architecture , konec 90. let) [15] :

Pomocí sloves nebo uDAPL lze implementovat programovací rozhraní a protokoly na vysoké úrovni, zejména:

Historie

InfiniBand se zrodil v roce 1999 sloučením dvou konkurenčních projektů: Future I/O a Next Generation I/O. Ve stejné době byla vytvořena InfiniBand Trade Association , která zahrnovala Compaq , Dell , Hewlett-Packard , IBM , Intel , Microsoft a Sun. [17]

Verze 1.0 specifikace InfiniBand, InfiniBand Architecture Specification, byla vydána v roce 2000. Zpočátku se předpokládalo, že IB se může současně stát náhradou za pomalou sběrnici PCI pro I/O, ethernetové sítě, specializované clusterové sítě a Fibre Channel . [18] [19]

Zařízení Infiniband vyrobili: Qlogic , Mellanox , Voltaire , Topspin .

Hlavní termíny:

Viz také

Poznámky

  1. ↑ Vance, Ashlee China získala titul superpočítače z USA . New York Times (28. října 2010). Získáno 28. září 2017. Archivováno z originálu 27. září 2017.
  2. ↑ Úložné zařízení | SFA12KX | DDN (nedostupný odkaz) . Datum přístupu: 17. ledna 2015. Archivováno z originálu 7. července 2017. 
  3. ↑ Obchodní asociace InfiniBand . Získáno 28. listopadu 2006. Archivováno z originálu 7. února 2006.
  4. ↑ HPC-AI Advisory Council – Centrum podpory komunitního úsilí pro koncové uživatele HPC . Datum přístupu: 17. ledna 2015. Archivováno z originálu 24. září 2015.
  5. ↑ 1 2 3 4 http://www.snia.org/sites/default/education/tutorials/2008/spring/networking/Goldenberg-D_InfiniBand_Technology_Overview.pdf Archivováno 24. září 2015 na Wayback Machine 2008
  6. ↑ Informační list FDR InfiniBand . Získáno 17. ledna 2015. Archivováno z originálu 26. srpna 2016.
  7. ↑ 1 2 3 InfiniBand Roadmap: IBTA - InfiniBand Trade Association (odkaz není dostupný) . Datum přístupu: 17. ledna 2015. Archivováno z originálu 29. září 2011. 
  8. ↑ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf Archivováno 19. srpna 2019 na Wayback Machine // Mellanox, 2014
  9. ↑ InfiniBand je příliš rychlý na to, aby Ethernet zabil Archivováno 8. prosince 2015 na Wayback Machine / The Next Platform, Timothy Prickett Morgan, 2015-04
  10. ↑ Panda, Dhabaleswar K. Akcelerace rychlosti sítě s IB a HSE . Navrhování cloudových a gridových výpočetních systémů s InfiniBand a vysokorychlostním Ethernetem 23. Newport Beach, CA, USA: CCGrid 2011 (2011). Získáno 13. září 2014. Archivováno z originálu 13. června 2020.
  11. ↑ Úvod do InfiniBand pro koncové uživatele Archivováno 26. září 2014 na Wayback Machine „Koncept TCA není dnes široce používán; místo toho je většina I/O zařízení implementována pomocí standardních serverových základních desek“
  12. ↑ HPC-AI Advisory Council – Centrum podpory komunitního úsilí pro koncové uživatele HPC . Datum přístupu: 17. ledna 2015. Archivováno z originálu 24. září 2015.
  13. ↑ Příloha A6: 120 Gb/s 12x Small Form-factor Pluggable (CXP) Archivováno 9. ledna 2014 na Wayback Machine // Dodatek ke specifikaci architektury InfiniBand, svazek 2, vydání 1.2.1, 2009
  14. ↑ HPC-AI Advisory Council – Centrum podpory komunitního úsilí pro koncové uživatele HPC . Datum přístupu: 17. ledna 2015. Archivováno z originálu 24. září 2015.
  15. ↑ Ron Brightwell, Keith Underwood. Kapitola 6 Rozhraní síťového programování pro vysoce výkonné výpočty; 6.3 Nízkoúrovňová síťová programovací rozhraní // Dosažení vysoce výkonné komunikace: Vertikální přístup / Ada Gavrilovska. - Boca Raton (Florida) : CRC Press, 2009. - S. 152. - 416 s. — ISBN 9781420093131 . Archivováno 27. prosince 2014 na Wayback Machine
  16. ↑ 1 2 3 Příloha A Koncepty InfiniBand Archivováno 1. srpna 2014 na Wayback Machine // Uživatelská příručka Cisco SFS Product Family Element Manager.
  17. ↑ Pentakalos, Odysseas Úvod do architektury InfiniBand . O'Reilly . Získáno 28. července 2014. Archivováno z originálu 9. srpna 2014.
  18. ↑ 1 2 Kim, Ted Stručná historie InfiniBand: Hype to Pragmatism (odkaz není k dispozici) . Věštec. Získáno 28. července 2014. Archivováno z originálu 8. srpna 2014. 
  19. ↑ Porozumění PCI Bus, PCI-Express a InfiniBand Architecture Archivováno 24. července 2015 na Wayback Machine // Mellanox Whitepaper, 2006: "Tolik členů IBTA a samotné IBTA propagovalo InfiniBand jako náhradu za PCI."
  20. ↑ Časová osa . Technologie Mellanox. Získáno 28. července 2014. Archivováno z originálu dne 29. listopadu 2019.
  21. ↑ Sun potvrzuje závazek vůči InfiniBand . Registr . Datum přístupu: 28. července 2014. Archivováno z originálu 4. března 2016.
  22. ↑ Linuxové jádro 2.6.11 podporuje InfiniBand . Získáno 29. července 2014. Archivováno z originálu dne 21. října 2020.
  23. ↑ Chystá se InfiniBand na comeback? , Infostor Vol . 10(2) , < http://www.infostor.com/index/articles/display/248655/articles/infostor/volume-10/issue-2/news-analysis-trends/news-analysis- trends/is-infiniband-poised-for-a-comeback.html > Archivováno 25. listopadu 2020 na Wayback Machine 
  24. ↑ Lawson, Stephen Dva soupeřící superpočítače vybojovaly první místo (odkaz není k dispozici) . COMPUTERWORLD. Získáno 29. července 2014. Archivováno z originálu 10. ledna 2017. 
  25. ↑ Mellanox Technologies Archivováno 3. prosince 2010 na Wayback Machine .
  26. ↑ Raffo, Dave Sloučení největších prodejců InfiniBand; oko konvergované sítě (nedostupný odkaz) . Získáno 29. července 2014. Archivováno z originálu 1. července 2017. 
  27. ↑ Mellanox Demos Souped-Up Version of Infiniband , CIO (20. června 2011). Archivováno z originálu 7. ledna 2014. Staženo 1. srpna 2011.
  28. ↑ Intel kupuje aktiva InfiniBand společnosti QLogic za 125 milionů $ Archivováno 25. srpna 2012 na Wayback Machine . // ZDN.
  29. ↑ Technologie Intel Snaps Up InfiniBand, produktová řada od QLogic , HPCwire  (23. ledna 2012). Archivováno z originálu 27. ledna 2012. Staženo 27. ledna 2012.
  30. ↑ Mellanox krčí rameny nad nákupem InfiniBand od Intelu Archivováno 27. dubna 2018 na Wayback Machine // The Reg 26. ledna 2012
  31. ↑ Nvidia, navzdory Intelu, pohltila jediného světového výrobce řešení InfiniBand – CNews . Získáno 12. března 2019. Archivováno z originálu 15. března 2019.
  32. ↑ NVIDIA získá Mellanox za 6,9 miliardy $ | Redakce NVIDIA . Získáno 12. března 2019. Archivováno z originálu 11. března 2019.

Literatura

Odkazy

 Počítačové sběrnice a rozhraní
Základní pojmy
Procesory
Vnitřní
notebooky
Pohony
Obvod
Správa zařízení
Univerzální
Video rozhraní
Vestavěné systémy