Prvi računari sa AMD Gorgon Halo: 192 GB memorije za lokalne AI modele, od 6.799 dolara
Mali računar sa toliko memorije može da pokreće velike jezičke modele bez slanja podataka u cloud. Cena pokazuje koliko memorija danas košta.
Na tržište su stigli prvi računari sa AMD-ovom platformom Gorgon Halo, odnosno čipom Ryzen AI Max+ 495, koji podržava do 192 GB objedinjene memorije. Među prvima je GMKtec EVO-X5 Pro, čija redovna cena počinje od 6.799 dolara.
Gorgon Halo je ubrzana verzija prethodne platforme Strix Halo. Ima do 16 jezgara Zen 5, integrisanu grafiku i jedinicu za neuronske proračune. Radni takt je viši za oko 100 MHz, ali je glavna razlika memorija: 192 GB brže LPDDR5x memorije, naspram ranijih 128 GB.
Ta količina memorije je razlog postojanja ovakvih računara. Prema pisanju The Registera, pri četvorobitnoj preciznosti dovoljna je za jezičke modele od oko 345 milijardi parametara na Linuxu, odnosno oko 320 milijardi na Windowsu. Razlika potiče od toga što se na Windowsu grafičkom delu mora unapred dodeliti 160 GB.
Isti izvor navodi da ovakvi uređaji mogu biti zanimljivi malim firmama kojima je važna privatnost, jer veće i sposobnije modele pokreću u sopstvenoj kancelariji, bez slanja podataka spoljnom servisu.
Izvori
Uočili ste grešku? Pišite na redakcija@webjunkie.net. Kako ispravljamo tekstove