AI a datacentra
Inference
Inference
Fáze, kdy již natrénovaný AI model zpracovává nové vstupy a vytváří výstupy.
Jednoduše řečeno
Inference je samotné používání hotového AI modelu — například když chatbot odpovídá na otázku.
Praktický význam
S růstem používání AI může inference tvořit velkou část dlouhodobé poptávky po výpočetním výkonu. Důležité jsou cena za dotaz, latence a efektivita.
Příklad
Každý požadavek uživatele na generativní AI spouští inference výpočet na serverové infrastruktuře.
Podrobněji
Inference lze optimalizovat pomocí kvantizace, dávkování, menších modelů a specializovaných akcelerátorů. Požadavky se liší podle latence a velikosti modelu.
Na co si dát pozor
Vyšší počet uživatelů nemusí znamenat stejný růst nákladů, pokud se rychle zlepšuje efektivita modelů a hardwaru.