Dok traje "borba" umjetnih inteligencija u kojoj OpenAI (odnosno Microsoft) i Google odmjeravaju snage, upravo je ova posljednja tvrtka odlučila otkriti što čini njihovog Barda.
Tako su objavili detalje o superračunalima koja koriste za treniranje svojih modela umjetne inteligencije, rekavši kako su njihovi sustavi brži i energetski učinkovitiji od usporedivih Nvidijinih sustava.
Podsjetimo, Google je za potrebe superračunala dizajnirao vlastiti čip nazvan Tensor Processing Unit ili TPU, a te čipove koristi i za više od 90 posto rada tvrtke na obuci umjetne inteligencije, procesu unosa podataka kroz modele kako bi bili korisni u zadacima kao što je odgovaranje na upite ljudskim tekstom ili generiranje slika.
Google TPU sada je u svojoj četvrtoj generaciji. U znanstvenom radu objavljenom u utorak, detaljno su opisali kako su povezali više od 4000 čipova u superračunalo pomoću vlastitih posebno razvijenih optičkih prekidača koji pomažu u povezivanju pojedinačnih strojeva.
Upravo je poboljšanje ovih veza postalo ključna točka natjecanja među tvrtkama koje grade superračunala s umjetnom inteligencijom jer su veliki jezični modeli koji pokreću tehnologije poput Barda ili OpenAI-jevog ChatGPT-a postali preveliki za pohranjivanje na jednom čipu.
Modeli se umjesto toga moraju podijeliti na tisuće čipova, koji zatim moraju raditi zajedno tjednima da bi se uvježbao model. Googleov model PaLM, njegov najveći javno objavljeni jezični model, uvježban je dijeljenjem na dva superračunala s 4000 čipova tijekom 50 dana.
Iz Googlea su otkrili kako njihova superračunala olakšavaju rekonfiguraciju veza između čipova u hodu, pomažući u izbjegavanju problema i podešavanju radi povećanja performansi.
Prebacivanje strujnog kruga olakšava usmjeravanje pokvarenih komponenti, napisali su Googleov suradnik Norm Jouppi i Googleov istaknuti inženjer David Patterson u postu na blogu o sustavu. Ova nam fleksibilnost čak omogućuje promjenu topologije međusobnog povezivanja superračunala kako bismo ubrzali performanse modela za strojno učenje.
Iako Google tek sad javno objavljuje pojedinosti o svom superračunalu, ono se koristi od 2020. u podatkovnom centru u Oklahomi. Iz Googlea su otkrili i da je popularni startup Midjourney, koji pomoću umjetne inteligencije stvara slike i fotografije na temelju tekstualnih uputa, koristio njihov sustav za treniranje svog modela.
U znanstvnenom radu navodi se i kako je Googleov sustav energetski učinkovitiji i brži od sustava temeljenog na Nvidijinom A100 čipu koji je bio na tržištu u isto vrijeme kad i četvrta generacija TPU-a. .
Zanimljivo, iz Googlea tvrde kako nisu uspoređivali svoju četvrtu generaciju s Nvidijinim trenutnim vodećim H100 čipom jer je H100 došao na tržište nakon Googleovog čipa i napravljen je s novijom tehnologijom.
No, to ne znači da Google više neće dorađivati svoje čipove. Otkrili su kako bi mogli raditi na novom TPU čipu, koji bi se natjecao s Nvidijom H100, ali nisu otkrivali nikakve detalje.
Izvor: Reuters