Wu Dao 3.0, model za razvoj kineskih startupa i malih tvrtki
Prorijeđeni model koristi mali podskup parametara pa je učinkovitiji jer zahtijeva manje memorije i računalnih resursa
Tko kaže da svi veliki jezični modeli (LLM) nužno moraju biti veliki? U kineskom slučaju LLM-ovi upravo smanjuju svoju veličinu i broj parametara kako bi se tamošnjim startupima i manjim tvrtkama omogućilo da izrade vlastite generativne UI aplikacije. U sklopu ovog trenda smanjenja veličine, Pekinška akademija za umjetnu inteligenciju (BAAI) je početkom ljeta predstavila treću generaciju multimodalne umjetne inteligencije Wu Dao 3.0.
Niz modela otvorenog koda
Ovaj niz LLM-ova otvorenog koda se, piše IEEE Spectrum, nadovezuje na prethodni uradak kineske akademije Wu Dao 2.0, multimodalni generativni model umjetne inteligencije s 1,75 bilijuna parametara.
Iako ne postoji jedinstven skup parametara za Wu Dao 3.0 jer je riječ o nizu modela s različitim brojevima parametara, svi su oni daleko ispod granice od 1,75 bilijuna koju je postavila verzija 2.0. Ovaj "prorijeđeni" Wu Dao, što na kineskom znači "put do prosvjetljenja", koristi samo mali podskup parametara, što ga čini učinkovitijim od gustih modela jer zahtijeva manje memorije i manje računalnih resursa.
To je zbirka manjih, okretnijih, gustih modela pod imenom Wu Dao Aquila (hrvatski: orao) koji odražavaju nastojanja kineskih vlasti da se tvrtkama omogući jednostavno usvajanje generativne umjetne inteligencije.
Kineski Linux
BAAI je nedavno ažurirao i sustav otvorenog izvornog koda za tehnologiju velikih modela FlagOpen koji uključuje paralelne tehnike obuke, tehnike ubrzanja zaključivanja, procjenu hardvera i modela te alate za obradu podataka.
Dizajniran je kao algoritamski sustav otvorenog koda i temeljna softverska platforma na jednom mjestu koja podržava razvoj tehnologija velikih modela. BAAI zamišlja FlagOpen kao Linux za velike modele. čime bi se dodatno potaknuo razvoj umjetne inteligencije u zemlji.
