Oblast umělé inteligence je často srovnávána s ropným průmyslem: jakmile jsou data extrahována a rafinována, mohou se data, jako je ropa, stát velmi ziskovou komoditou. Nyní je však zřejmé, že se tato metafora rozšiřuje. Stejně jako fosilní paliva má hluboké učení obrovský dopad na životní prostředí. V nové studii vědci z University of Massachusetts Amherst vyhodnotili životní cyklus učení několika běžných velkých modelů AI.
Zjistilo se, že tento proces by mohl vytvořit více než 626 000 liber (přibližně 300 000 kg) ekvivalentu oxidu uhličitého, což je téměř pětinásobek emisí typického automobilu za pět let (včetně výroby samotného automobilu).
Jak jsou modely AI trénovány
Toto je ohromující kvantifikace toho, co vědci AI dlouho předpokládali.
Uhlíková stopa zpracování přirozeného jazyka
Propagační video:
Příspěvek se konkrétně zabývá procesem přípravy modelu pro zpracování přirozeného jazyka (NLP), podoblasti AI, které se zabývá tréninkovými stroji pro práci s lidským jazykem. Za poslední dva roky komunita NLP učinila několik důležitých milníků v oblasti strojového překladu, vyplňování vět a dalších standardních úkolů posuzování. Známý model OpenAI GPT-2 jako příklad dokázal přesvědčit falešné zprávy.
Takový pokrok však vyžadoval výcvik stále větších modelů na natažených souborech dat z vět vytažených z internetu. Tento přístup je výpočetně nákladný a velmi energeticky náročný.
Vědci se podívali na čtyři modely v oblasti zodpovědné za největší skoky ve výkonu: Transformer, ELMo, BERT a GPT-2. Každý den trénovali jeden GPU na měření spotřeby energie.
Potom vypočítali celkovou spotřebovanou energii během celého tréninkového procesu počet hodin školení uvedených v původních vzorových dokumentech. Toto množství bylo převedeno na ekvivalent liber oxidu uhličitého, což bylo v souladu s energetickým mixem AWS od Amazonu, největšího poskytovatele cloudových služeb na světě.
Zjistilo se, že výpočetní a environmentální náklady na vzdělávání se zvyšovaly úměrně k velikosti modelu a poté se exponenciálně zvyšovaly, když byla upravena konečná přesnost modelu. Hledání neuronové architektury, která se pokouší optimalizovat model postupnou změnou struktury neuronové sítě pomocí pokusů a chyb, způsobuje extrémně vysoké náklady s malým ziskem výkonu. Bez něj by nejdražší model BERT zanechal uhlíkovou stopu 1 400 liber (635 kg), blízko trans-americké okružní cesty.
Tyto údaje by navíc měly být považovány pouze za základní linie.
Celkově vědci odhadují, že proces vytváření a testování finálního modelu hodného publikace vyžadoval za 6 měsíců zaškolení 4 789 modelů. Pokud jde o ekvivalent CO2, jedná se o asi 35 000 kg.
Význam těchto čísel je kolosální, zejména s ohledem na současné trendy ve výzkumu AI. Obecně výzkum AI zanedbává účinnost, protože velké neuronové sítě jsou považovány za užitečné pro různé úkoly a společnosti s neomezeným výpočetním prostředkem je použijí k získání konkurenční výhody.
Ilya Khel