Kako veštačka inteligencija ulazi u svakodnevnu upotrebu u kompanijama, pitanje više nije samo koji je model najbolji, već i kako se računska snaga koristi. U novom tekstu na Hugging Face blogu, autori iz Dharma-AI porede GPU infrastrukturu sa avio-industrijom i tvrde da su neiskorišćeni GPU-ovi postali novi prizemljeni avioni – skupi resursi koji troše novac i kada ne rade punim kapacitetom.
Poruka članka je da se usko grlo u AI pomerilo. Ranije je ključni problem bio kvalitet modela, a danas je sve češće problem dostupnost i organizacija hardvera. GPU-ovi koštaju bez obzira na to da li su zauzeti, jer troše novac kroz nabavku, amortizaciju, struju i hlađenje. Zbog toga je za firme sve važnije ne samo da kupe dovoljno akceleratora, već i da ih rasporede tako da rade što korisnije.
Od modela do infrastrukture
Autori navode da je tržište AI prešlo put od takmičenja u veličini modela do takmičenja u pristupu računarskim resursima. Kao primer pominju da je Microsoft 2020. izgradio namenski superkompjuter za OpenAI sa više od 10.000 GPU-ova i 285.000 CPU jezgara, dok se 2026. i najjače laboratorije suočavaju sa stalnim pritiskom na kapacitete.
Za preduzeća koja koriste AI putem API-ja, problem je uglavnom cena koja raste sa svakim tokenom. Zato deo kompanija prelazi na sopstvenu infrastrukturu i kupuje GPU-ove kako bi fiksni trošak zamenio promenljivim troškom po upotrebi. Ali tim potezom se problem ne rešava, već menja: sada je potrebno obezbediti da kupljeni hardver ne stoji neiskorišćen.
Zašto zauzeti klasteri i dalje troše kapacitet
Članak objašnjava da klaster može delovati zauzeto, a da ipak ne radi optimalno. Razlog je u tome što različiti AI poslovi traže različite uslove rada. Trening može da drži GPU zauzet satima ili danima, inferencija u realnom vremenu traži nisku latenciju, batch obrada podnosi kašnjenje, a zadaci poput kvantizacije koriste veliki kapacitet, ali kratko.
Kada jedan scheduler pokušava da pokrije sve te scenarije, lako dolazi do lošeg rasporeda. Čak i kada je prosečna popunjenost visoka, neki poslovi mogu da čekaju jer je odgovarajući GPU zauzet drugim tipom rada. To znači da visoka iskorišćenost na papiru ne mora da znači i dobar poslovni učinak.
Šta znači GPU management
Autori uvode pojam GPU management, odnosno sloj za orkestraciju koji ne upravlja samo modelima, već i samim hardverom. Njegov zadatak je da u svakom trenutku odluči koji posao dobija GPU, kada se pokreće i sa kojim prioritetom. To, kako navode, treba da radi kontinuirano, a ne samo prilikom kupovine opreme.
U toj logici, inteligencija se ne nalazi samo u modelu, već i u infrastrukturi. Dobro upravljanje GPU-ovima postaje način da se iz postojeće opreme izvuče više korisnog rada bez kupovine novog hardvera za svaku novu potražnju.
Specijalizovani modeli i raspodela resursa
Tekst povezuje i trend specijalizovanih modela sa boljim upravljanjem GPU resursima. Manji modeli, trenirani za konkretan zadatak, mogu da obave posao uz manju potrošnju resursa od velikih opštih modela. Time se oslobađa deo kapaciteta, ali taj kapacitet ima vrednost samo ako se odmah preusmeri na drugi zadatak.
Zato autori zaključuju da su specijalizacija modela i orchestracija GPU-ova dve strane istog problema. Prvi pristup smanjuje koliko svaki zadatak troši, a drugi odlučuje gde će oslobođeni kapacitet otići.
Šta je važno za firme koje koriste AI
- kupovina GPU-ova sama po sebi ne rešava problem efikasnosti
- različiti AI poslovi traže različite obrasce raspodele resursa
- visoka zauzetost hardvera ne znači nužno i visoku korisnu iskorišćenost
- specijalizovani modeli mogu da smanje potrošnju, ali bez dobre orkestracije deo kapaciteta ostaje neiskorišćen
Za kompanije koje grade ili šire AI sisteme, poruka ovog teksta je praktična: u novoj fazi tržišta prednost neće donositi samo model koji daje dobre rezultate, već i infrastruktura koja te rezultate može da isporuči uz što manje praznog hoda.
