AI a datacentra
Interconnect
Interconnect
Technologie propojující čipy, servery nebo celé výpočetní uzly pro rychlý přenos dat.
Jednoduše řečeno
Interconnect je komunikační cesta mezi jednotlivými částmi výpočetního systému.
Praktický význam
U velkých AI clusterů může síť mezi akcelerátory zásadně ovlivnit škálování výkonu. Nestačí mít rychlé GPU, pokud mezi sebou nedokážou dostatečně rychle komunikovat.
Příklad
Při trénování velkého modelu si stovky nebo tisíce akcelerátorů průběžně vyměňují data přes vysokorychlostní interconnect.
Podrobněji
Interconnect může fungovat uvnitř jednoho pouzdra, serveru, racku i mezi racky. Důležitá je propustnost, latence, topologie a software pro kolektivní komunikaci.
Na co si dát pozor
Síťový bottleneck může snížit využití drahých akcelerátorů a zhoršit ekonomiku celého AI clusteru.