Cerebras Systems, mladá společnost pro umělou inteligenci, je připravena ukázat světu Cerebras WSE (Cerebras Wafer Scale Engine) - největší, nejvýkonnější a nejchytřejší polovodičový čip v historii.
Cerebras WSE má 1,2 bilionů tranzistorů, základních elektronických spínačů, které jsou stavebními kameny křemíkových čipů. Pro srovnání, první procesor Intel 4004, uvedený na trh v roce 1971, měl 2300 tranzistorů, zatímco nejnovější procesor Advanced Micro Devices má 32 miliard tranzistorů. Zde však nejde vůbec o počet tranzistorů.
Většina čipů na světě je ve skutečnosti sada čipů vytvořených na základě 12-palcového křemíkového plátku - vyrábějí se ve speciálních továrnách v obrovských dávkách. Avšak čip Cerebras Systems má 400 000 jader připojených na jedné desce. Spojení jsou navržena tak, aby fungovala při vysokých rychlostech, a proto bilion tranzistorů pracuje společně jako jeden. Ale to není všechno.
Největší čip světa dosud vytvořil Samsung - jeho struktura je postavena na 2 bilionech tranzistorů. Čip Samsung je však jen obrovskou paměťovou kartou a čip Cerebras je nejsložitější neuronovou sítí speciálně vytvořenou pro výcvik umělé inteligence. Čip Cerebras se může pochlubit 400 000 jádry na 42 225 milimetrech čtverečních. To je 56,7x větší než největší GPU Nvidia s pouhými 21,1 miliardami tranzistorů.
Dalším rysem Cerebras WSE je to, že čip je navržen tak, aby byl směrován kolem vadných oblastí.
Během výroby třísek není možné zdokonalit celý křemíkový plátek, takže výrobní proces vytváří oblasti, které jsou nepoužitelné. Nvidia, Intel a další výrobci čipů tento problém obejdou jednoduše: Vyřezávají „správné“čipy ve výrobním oplatku a zbytek zahodí. To však nelze provést, pokud je každý čip křemíkové destičky součástí společného obvodu. Proto Cerebras musel zabudovat redundantní obvody, takže v případě poruchy nebo vyhoření jednoho z nich by zbytek převzal jeho funkce. Ve skutečnosti je to čip Cerebras miniaturní internet s vlastními servery a pracovními stanicemi. A všechny tyto stanice jsou navrženy tak, aby sloužily jedné umělé inteligenci.
Společnosti vyvíjející vlastní AI jsou dnes hlavními spotřebiteli čipové technologie a nakupují díly ve velkém množství. A velikost použitých čipů je v tréninkovém procesu AI kriticky důležitá.
Propagační video:
Google, Facebook, OpenAI, Tencent, Baidu a mnoho dalších argumentují, že zásadním omezením moderních umělých inteligence je, že trénování modelů trvá příliš dlouho. Například superpočítač Nvidia, složený z desítek nejmodernějších GPU, tráví několik týdnů vylepšováním kódu - tj. Učením se neutronové sítě.
Řešením problému by bylo zvýšení počtu čipů v počítači, avšak když je sestaveno více než osm čipů, výkon počítače se již nezvyšuje, ale snižuje, protože se při výměně informací hromadí chyby.
Samotní vývojáři popisují svůj projekt následovně: „Nejtěžší součástí AI je pohyb dat. Trénink neuronové sítě vyžaduje tisíce operací, které mají být prováděny paralelně v daném okamžiku, a čipy musí neustále komunikovat, když tyto paralelní operace provádějí. Počítače s více integrovanými obvody se však rozpadají a snaží se přenášet data mezi integrovanými obvody pomocí pomalých vodičů, které je spojují na PCB. Potřebovali jste něco, co by mohlo přesouvat data rychlostí samotného čipu. Řešením bylo odebrat největší desku, kterou můžete najít, a vyříznout z ní největší čip. “
Paměť je klíčovou součástí jakékoli počítačové architektury. Paměť blíže výpočetním jednotkám poskytuje rychlejší výpočty, nižší latenci a lepší energetickou účinnost při pohybu dat. Velikost matrice je však omezená a většina paměti v počítači je mimo matrici. Společnost Cerebras Systems obešla tento problém a poskytla každému jádru přístup k 18 GB vnitřní paměti. Výsledkem je, že Cerebras Wafer Scale Engine má 3 000krát větší paměť než nejpokročilejší grafický procesor, a poskytuje 10 000krát větší šířku pásma.
První vzorky nového čipu budou v prodeji v září, zatímco společnost Cerebras Systems, která porušila všechna stávající pravidla počítačového průmyslu, porušila také zásadu oddělení výroby výpočetních jednotek a čipů. Měřítko Cerebras Wafer Scale Engine bude uváděno na trh jako jediné zařízení vyvinuté společností integrované do komplexní sítě chlazení vodou, protože čip generuje extrémní teplo a v tak malé oblasti spotřebuje 15 kilowattů.
Zakladatel a jednatel společnosti Cerebras Systems říká: „Cerebras WSE, navržený od základů až po spolupráci s AI, obsahuje zásadní inovace, které konečně narušují desetiletou stagnaci současného stavu techniky. Výsledkem je, že Cerebras WSE poskytuje stovky nebo tisícekrát vyšší výkon než moderní modulární řešení. A to vše se směšnou spotřebou energie a malým prostorem. “
Redakční komentář
První testy AI založené na Cerebras WSE ukazují, že úkoly, které horní AI od Nvidia řeší týdny a měsíce, Cerebras WSE vyřeší během minuty, což je, jak to bylo, důvodem pro radost. Teoretici o spiknutí však mají v tomto ohledu jen malou radost.
Všichni si pamatujeme (v každém případě starší generaci našich čtenářů) počítačový rozmach modelu „honosných 90. let“, kdy za několik let síla počítačů vyskočila o řádovou velikost. Ještě dříve si člověk, který se s hrdostí rozzářil, koupil počítač s pamětí 16 megabajtů, když se tato paměť po krátké době přesunula do mezipaměti L2.
Zdá se však, že od začátku dvacátých let se počítačový průmysl zastavil: pokud počítače typu 1990 a 2000 nebyly srovnatelné, nebyl mezi počítači počítačů modelů 2000 a 2010 žádný zvláštní rozdíl - síla se významně zvýšila, ale ne řádově. A nyní jsme svědky zrození druhé Intel 8086 a nyní schopnosti linky Cerebras WSE vyskočí stejným tempem: všechny problémy s nečistotami a jádrovými spojeními jsou nyní vyřešeny.
Neznáme všechny možnosti moderních umělých inteligencí od předních výrobců, ale podle obecného názoru tyto produkty dosud nejsou umělou inteligencí a stále jsou daleko od plnohodnotného myslícího zařízení. Nicméně Cerebras WSE neučinil jen krok správným směrem, ale skočil o deset let, ne-li o krok vpřed, a nyní je SkyNet již docela předvídatelnou vyhlídkou, kterou lze letos realizovat v roce 2025.
Navíc v SkyNet, na rozdíl od nudných homosapiensů, není pro další rozvoj zapotřebí mnoho času: neuronová síť potřebuje začít trochu přemýšlet sama o sobě - a to se změní v okamžiku, po kterém začne jaderná válka nebo něco takového. A bude to stále velmi dobrá volba.
Když flash disk s bilionovými tranzistory vyrábí společnost Samsung nebo Nvidia, lze to všechno nějak vysvětlit, protože logické obvody paměti jsou relativně jednoduché a stejného typu téměř v celé oblasti. Ale vývoj 400 000 jader, které se orou současně, existují také duplikáty a některé serverové stanice a peklo ví co. K tomu musíte také napsat kontrolní programy, které jsou psány roky. Pak je třeba programy otestovat. Ale na čem byly testovány, pokud bylo zařízení vyrobeno teprve nyní?
Jinými slovy, vypadá to, že „Marťané“znovu otevřeli své koše místním domorodcům. A existují velké pochybnosti o tom, že se tak stalo s cílem potěšit hráče - s největší pravděpodobností zde existuje nějaký další úkol. A zdá se nám to takto.
V posledních desetiletích se inteligentní lidé stále více ptají na otázku původu elektronické technologie, na otázku univerzální čipizace, což není jasné, proč je to potřeba atd. Aby nějak oklamali své mozky, přišli s pohádkou o „kvantovém počítači“, jehož principy nerozumí ani lidé, kteří byli jmenováni oficiálními „vývojáři“. A teď si představte hrůzu průměrné mexické domácnosti, jejíž nový mobilní telefon bude nejen myslet lépe než ona, ale nese také na palubě nějaký „kvantový počítač“. To znamená, že takový blázen je pro místní domorodce nepřijatelný - začnou bláznit do houfů.
Proto se někteří chytrí „Marťané“rozhodli ukázat bipedálním domorodcům planety Země jednodušší zázrak - principy, které mohou starší NASA alespoň nějak vysvětlit. A pokud domorodci přijmou příběh, pak „Marťané“ukážou lidem další magické zázraky. Například vloží tento Cerebras WSE do mobilního telefonu a prodá jej za sto dolarů. Pro kupující módních pomůcek to bude samozřejmě velmi cool a dobré, ale lidé si hned budou myslet trochu chytřeji: co je potom v serverovnách různých vážných organizací, například NSA, FBI a CIA? Jaké jsou možnosti kontroly myšlenek a chování populace?