Na západním pobřeží Ameriky se nejcennější společnosti na světě snaží chytřejší umělou inteligenci. Google a Facebook se chlubí experimenty pomocí miliard fotografií a tisíců vysoce výkonných procesorů. Koncem minulého roku však projekt ve východní Tennessee tiše předčil rozsah jakékoli firemní laboratoře AI. A to bylo řízeno vládou USA.
Superpočítač americké vlády překonává rekordy
Rekordní projekt zahrnoval nejmocnější superpočítač na světě, Summit, v Oak Ridge National Laboratory. Toto auto vyhrálo korunu loni v červnu a vrátilo titul Spojeným státům o pět let později, když Čína obsadila seznam. V rámci výzkumného projektu v oblasti klimatu zahájil obří počítač experiment strojového učení, který byl rychlejší než kdy předtím.
Summit, který pokrýval oblast ekvivalentní dvěma tenisovým kurtům, použil v tomto projektu více než 27 000 výkonných GPU. Využil jejich síly k tréninku hlubokých učebních algoritmů, což je technologie, která je základem pokročilé umělé inteligence. Při hlubokém učení algoritmy provádějí cvičení rychlostí miliard miliard miliard za sekundu, které jsou v superpočítačových kruzích známé jako exaflop.
"Hluboké učení nikdy nedosáhlo této úrovně výkonu dříve," říká Prabhat, vedoucí výzkumného týmu v Národním středisku pro výzkum energie v Lawrence Berkeley National Laboratory. Jeho tým spolupracoval s výzkumníky v ústředí Summitu v Oak Ridge National Laboratory.
Jak můžete hádat, školení AI nejvýkonnějšího počítače na světě se zaměřilo na jednu z největších výzev na světě - změnu klimatu. Technické společnosti trénují algoritmy pro rozpoznávání tváří nebo dopravních značek; vládní vědci je vyškolili, aby rozpoznali modely počasí, jako jsou cyklóny, z klimatických modelů, které komprimují sté výroční prognózy zemské atmosféry na tři hodiny. (Není však jasné, kolik energie tento projekt potřebuje a kolik uhlíku se v tomto procesu uvolní do vzduchu).
Propagační video:
Experiment summitu má důsledky pro budoucnost umělé inteligence a klimatologie. Projekt demonstruje vědecký potenciál přizpůsobení hlubokého učení superpočítačům, které tradičně simulují fyzikální a chemické procesy, jako jsou jaderné výbuchy, černé díry nebo nové materiály. Ukazuje také, že strojové učení může těžit z většího výpočetního výkonu - pokud ho najdete - a v budoucnu může přinést průlomy.
"Nevěděli jsme, že to bude možné v tomto měřítku, dokud jsme to neudělali," říká Rajat Monga, CTO ve společnosti Google. On a další zaměstnanci společnosti Google pomohli projektu tím, že přizpůsobili firemní software pro výuku strojů TensorFlow s otevřeným zdrojovým kódem pro gigantickou stupnici Summitu.
Velká část práce na rozšiřování škály učení byla vykonána v datových centrech internetových společností, kde servery pracují společně na problémech, které je oddělují, protože jsou relativně nesouvislé, spíše než svázané do jednoho obřího počítače. Superpočítače, jako je Summit, mají odlišnou architekturu a specializovaná vysokorychlostní připojení spojují jejich tisíce procesorů do jediného systému, který může fungovat jako celek. Až donedávna bylo relativně málo práce na přizpůsobení strojového učení práci s tímto druhem hardwaru.
Monga říká, že práce na přizpůsobení TensorFlow měřítku Summitu také podpoří úsilí společnosti Google o rozšíření svých interních systémů umělé inteligence. Na tomto projektu se rovněž podíleli inženýři společnosti Nvidia, kteří se ujistili, že v tomto stroji pracují desítky tisíc grafických jednotek Nvidia bez závěsů.
Nalezení způsobů, jak využít větší výpočetní výkon v algoritmech pro hluboké učení, bylo v současném vývoji technologie nápomocné. Stejná technologie, kterou Siri používá pro rozpoznávání hlasu a auta Waymo pro čtení dopravních značek, se stala užitečnou v roce 2012 poté, co ji vědci přizpůsobili pro provoz na GPU Nvidia.
V analýze zveřejněné loni v květnu vědci z OpenAI, výzkumného ústavu v San Franciscu, který založil Elon Musk, odhadují, že množství výpočetní energie v největších experimentech s veřejným strojovým učením se od roku 2012 zhruba zdvojnásobilo každé 3,43 měsíce; To by v roce představovalo 11násobné zvýšení. Tento postup pomohl botu Abeceda porazit vítěze v náročných deskových a videohrách a také výrazně zlepšil přesnost překladače Google.
Google a další společnosti v současné době vytvářejí nové druhy čipů s podporou AI, aby pokračovaly v tomto trendu. Google říká, že lusky s tisíci jeho AI čipů těsně rozmístěných - duplikované tenzorové procesory nebo TPU - mohou poskytnout 100 petaflops výpočetní energie, jednu desetinu rychlosti, kterou dosáhl Summit.
Příspěvky Summitu k vědě o klimatu ukazují, jak obrovská umělá inteligence může zlepšit naše chápání budoucích povětrnostních podmínek. Když vědci generují staleté předpovědi počasí, je čtení výsledné prognózy náročné. „Představte si, že máte film na YouTube, který běží již 100 let. Neexistuje způsob, jak ručně najít všechny kočky a psy v tomto filmu, “říká Prabhat. K automatizaci tohoto procesu se obvykle používá software, ale není dokonalý. Výsledky summitu ukázaly, že strojové učení to dokáže mnohem lépe, což by mělo pomoci předpovídat bouře, jako jsou povodně.
Podle Michaela Pritcharda, profesora na kalifornské univerzitě v Irvine, zahájení hlubokého učení o superpočítačích je relativně nová myšlenka, která přišla ve vhodnou dobu pro výzkumníky v oblasti klimatu. Zpomalení vývoje tradičních procesorů vedlo inženýry k vybavování superpočítačů rostoucím počtem grafických čipů pro důslednější zlepšení výkonu. "Nastal okamžik, kdy už nebudete moci obvyklým způsobem zvyšovat výpočetní výkon," říká Pritchard.
Tento posun přinesl zastavení tradičního modelování, a proto se musel přizpůsobit. Také to otevírá dveře k využití síly hlubokého učení, které se přirozeně hodí pro grafické čipy. Možná získáme jasnější představu o budoucnosti našeho klimatu.
Ilya Khel