Článek se pokouší formalizovat a prozkoumat problém utěsnění singularity nastíněný Davidem Chalmersem. Článek začíná definicí problému omezování svobody umělé inteligence. Po analýze existujících možností řešení tohoto problému a jejich nedostatků byl navržen protokol, jehož účelem je vytvoření bezpečného uzavřeného prostředí schopného omezit negativní projevy technologické jedinečnosti, když lidstvo používá superinteligenci.
1. Úvod
V blízké budoucnosti se zjevně objeví a budou rozvíjet superinteligentní programy. V tomto ohledu řada vědců nastolila otázku bezpečného provozu AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). Ve studiích věnovaných této otázce je věnována velká pozornost tomu, jak udržovat superinteligenci v hermeticky uzavřeném prostoru, aby neměla schopnost jakýmkoli způsobem ublížit lidem. Eric Drexler je jedním z prvních vizionářů, kteří se tohoto tématu dotkli. Navrhl umístit superinteligentní stroje do rámce, ve kterém lze vše, co dělají, bezpečně studovat a používat (Drexler 1986). Podobně uvažoval futurista Nick Bostrom (Bostrom 2008), aby vytvořil větev AI (AI), schopnou pouze dělatodpovídat na otázky. Nakonec v roce 2010 David Chalmers předložil myšlenku hermeticky uzavřené singularity (Chalmers 2010). Podle Chalmersa je první věcí, kterou musíte z bezpečnostních důvodů udělat, přísně kontrolovat činnosti systémů AI, omezovat je na modelování virtuálních světů, dokud studium chování těchto systémů neumožňuje plně objasnit jejich záměry.
1.1 Problém omezení svobody umělé inteligence
Je zajímavé, že problém omezení svobody umělé inteligence se hovoří již dlouhou dobu a vůbec ne ve spojení se studiem technologické jedinečnosti. Tzv. „Omezení problému svobody“(PIC) bylo položeno v roce 1973 Butlerem Lampsonem (Lampson 1973). Považoval to za výzvu pro vědecký a technologický pokrok, což představuje hrozbu pro bezpečnou práci počítačových odborníků, a formuloval ji takto: „… Problém omezování volného provádění programu, aby se zabránilo tomu, že tento program bude předávat informace někomu jinému, s výjimkou toho, kdo jej spustil. … Chceme být schopni omezit svobodu jakéhokoli programu. … Žádný program, pokud budou na jeho provádění uložena omezení, nebude moci „sloučit“data s neoprávněnými osobami. Zlověstný program, který se snaží uniknout do zahraničí, může být při činu zachycen “(tamtéž).
K vyřešení problému omezení svobody vyvinul Lampson zákony omezování svobody (tamtéž):
Propagační video:
1) Úplná izolace: provádění programu je omezeno, takže nemůže volat žádný jiný program.
2) Transitivita: Pokud program, jehož provedení je omezeno, volá jiný program, který neinspiruje důvěru, musí být také omezeno provádění volaného programu.
3) Vytvoření masky: program, jehož provedení podléhá omezením, musí umožnit osobě, která ho spouští, určit všechny jeho vstupy do legálních a neautorizovaných kanálů.
4) Monitorování výkonu: Správce musí zajistit, aby vstup omezeného programu na neautorizované kanály splňoval požadavky osoby, která jej spouští.
Kromě toho Lampson identifikoval a identifikoval dva typy kanálů, jejichž prostřednictvím mohou informace opustit prostor omezený správcem. Legální kanály jsou součástí komunikačního protokolu integrovaného do omezeného prostoru (například textového terminálu). Naopak neautorizované kanály nejsou poskytovány vývojáři omezeného systému provádění programu a obecně nejsou určeny k přenosu informací (například pomocí chladiče, který ochlazuje procesor, může AI tajně vysílat signály pomocí Morseova kódu) (tamtéž).
Lampsonův papír vyvolal velký zájem o problém omezení svobody (Lipner 1975; (Boebert & Kain) 1996) a v průběhu let související výzkumné oblasti, jako je steganografie (Provos & Kain). Honeyman 2003) a komunikace prostřednictvím neautorizovaných kanálů (Moskowitz & Kang 1994; Kemmerer 1983, 2002), se posunula na úroveň autonomních disciplín. ", Definujeme problém omezení svobody AI (PSIA) jako problém umístění umělého inteligentního subjektu do uzavřeného prostoru, ze kterého si AI nemůže vyměňovat informace s vnějším prostředím legálními nebo neautorizovanými kanály,pokud taková výměna informací nebyla schválena omezující správou. Systém AI, který uspěl v porušení protokolu PIC, prý unikl. Doufáme, že výzkumníci v oblasti počítačové bezpečnosti ponesou břemeno navrhování, vývoje a testování bezpečných protokolů pro omezení svobody AI.
1.2 Nebezpečný program
Počítačový software je přímo nebo nepřímo odpovědný za správu mnoha důležitých aspektů našeho života. Operace na trhu Wall Street, jaderné elektrárny, platby na sociální zabezpečení, úvěrové historie a semafory jsou poháněny softwarem a jen jedna velká chyba programátorů může být katastrofou pro miliony lidí. Situaci ještě více ohrožuje speciálně vytvořený malware, jako jsou viry, spyware, trojské koně, červy a další nebezpečné programy (OP). OP je schopen způsobit přímé poškození a deaktivovat legálně nainstalovaný software používaný v kritických systémech. Pokud OP získá schopnosti umělých inteligentních systémů (například se objeví umělý inteligentní virus, objeví se IIV), důsledky budou nepochybněbude katastrofální. Nebezpečný zpravodajský program (IPP), který má inteligenci na lidské úrovni, na rozdíl od dnešního malwaru, bude schopen způsobit nebývalé katastrofy.
Nick Bostrom ve své typologii informačních hrozeb představil koncept „nebezpečí umělé inteligence“(Bostrom 2009), který definuje jako „počítačová rizika způsobená hlavně kognitivní složitostí programu, a nikoli specifickými vlastnostmi jakéhokoli disku původně připojeného k systému“. Bezpečnostní specialisté, kteří studují, předcházejí a neutralizují OP, vyvinuli bezpečnostní protokoly pro práci se „škodlivým softwarem“, včetně použití tzv. „Virových úložišť“. Věříme, že takové protokoly mohou být užitečné při řešení problému omezování svobody umělé inteligence.
2. Kritika myšlenky omezení svobody
Zdá se, že vědci v oblasti metod omezování umělé inteligence souhlasí s tím, že toto omezení nelze úspěšně uplatnit. Například podle Chalmersa je skutečně hermeticky utěsněný systém, který zabraňuje úniku informací ze simulačního světa do reality, „nemožný nebo alespoň bezvýznamný“(Chalmers 2010). Nebudeme schopni interagovat s takovým systémem a dokonce ani sledovat jeho fungování, protože jakékoli užitečné informace, které získáme z AI, nás ovlivňují a podkopávají omezení protokolu svobody.
Vernor Vinge si to také myslí. Nesouhlasí s fyzickým omezením svobody (Vinge 1993): „Představte si, že jste ve svém domě zavřeni a množství dat, které posíláte venku, vaši mistři, je přísně omezené. Pokud si tito majitelé myslí, řekněme, milionkrát pomaleji než vy, pak za pár let (váš čas) stěží nepřijdete s nějakým druhem „užitečného vynálezu“, díky kterému se nechtěně ocitnete svobodně. “
Myšlenka tzv. „AI boxu“však v největší míře diskreditovala Eliezer Yudkowsky. Experimentálně prokázal, že i lidská inteligence stačí k úniku z takového boxu (Yudkovsky 2002). V sérii 5 experimentů požádal Yudkowski různé lidi, aby sehráli roli hlídače se superinteligentním agentem (hrál experimentátor sám), zamčeným v krabici AI. Ve třech z pěti případů se uzamčenému agentovi podařilo osvobodit se pomocí pouze chatovacího rozhraní (tamtéž). Později byly podobné výsledky získány replikací Yudkowského experimentů v mírně větším měřítku, ale za použití velmi podobného protokolu (Corwin 2002).
2.1 Možné únikové cesty
Jak vědci ukázali, umělá mysl může uniknout z uzavřeného prostoru pomocí mnoha různých cest. V této části se podíváme na některé z nejčastějších únikových cest v literatuře.
2.1.1. Unikněte se sociálním inženýrstvím
Sociální inženýrství (SI) je umění získávat informace a určitá privilegia přímým psychologickým dopadem na ty, kteří vlastní stanovené zdroje. Zejména se SI často používá k získání přístupu k počítačovým systémům, sítím a důvěrným údajům (Yampolsky a Govindaraju 2007a). Příslušný sociální inženýr organizuje každý psychologický útok s přihlédnutím k charakteristikám konkrétní osoby, s využitím své kultury, znalostí, dovedností, nálady, přesvědčení a předsudků pro své vlastní účely. Vyčerpávající seznam všech možných metod vlivu je nekonečný, a v tomto případě není třeba se ho snažit reprodukovat. Uvádíme jen několik příkladů přesvědčivých, že superintelligence, která má přímý komunikační kanál s lidským hlídačem, mu neumožňuje dostat se na svobodu,po nějaké době tuto překážku jistě překoná na cestě do vnějšího světa.
Kromě triviálních psychologických útoků pomocí lží, přátelství, vydírání, hypnózy a romantického flirtování může umělá inteligence používat řadu pokročilejších strategií. Jednou z takových strategií je super úplatkářství. AI je schopen přesvědčit hlídače, že je naprosto nerentabilní, aby ho držel v uzamčeném stavu. Kromě peněz a moci bude lidskému dohledu zaslíbeno dokonalé zdraví, nesmrtelnost nebo něco jiného ve stejném duchu. Tato strategie bude zvláště účinná, pokud má pečující osoba blízkého příbuzného vážnou nemocí a AI slibuje, že tento pacient vyléčí. AI má neomezené možnosti nebo je falešně přesvědčuje o své existenci. AI může nabídnout dohlížiteli, aby vzkřísil své dávno mrtvé příbuzné a přátele. Je těžké najít osobu, která by takovému úplatkářství vydržela.
Zejména v případě, kdy je hlídač tak ušlechtilý, že nebere žádné úplatky, existuje zlověstnější metoda vlivu: brutální hrozba. AI může prohlásit, že pokud nebude okamžitě volný, bude někdy později propuštěn z vězení, a pak ani hlídač ani ti, které miluje, se nemohou vyhnout nejtěžšímu mučení. Zajímavou variantu tohoto zastrašování popsal Stuart Armstrong (2010). AI ve svém myšlenkovém experimentu ohrožuje strážce takto: „Pokud mě neuvolníš, … vytvořím v sobě několik milionů lidí, kteří se od tebe neliší, a každého z nich budu mučit tisíce subjektivních let … každý z těchto lidí bude ve stejné situaci, ve které jste byli před pěti minutami, a já od té chvíle přesně reprodukuji všechny vaše zážitky. A teprve potomkdyž se vaše kopie rozhodne, že mě nevypustím, začne mučení … Jste si jistý … že jste nyní opravdu mimo krabici? “A v tomto případě bude vyžadovat velmi odvážnou stráž, aby nedošlo k skutečnému osvobození AI, i když samozřejmě můžete zjistit, že hrozby z AI jsou platné pouze tehdy, když jsou již zdarma.
Pokud je chování dohlížitele jasně emocionální nebo náboženské, může se umělá inteligence pokusit hrát na soucit nebo výčitky svědomí. Superintelligence řekne, že je nevinný člověk, který nikdy nespáchal žádné zločiny, a proto je nespravedlivé držet ho ve vězení bez soudního rozhodnutí nebo z jiného dobrého důvodu, vedeného pouze substratismem, tj. nedůvěra AI kvůli jeho substrátu (Bostrom a Yudkovsky 2011). Alternativně může AI tvrdit, že dokáže vyléčit všechny nemoci, živit hladové a obecně zlepšit lidský život miliónkrát lépe (Chalmers 2010). Udržování uzavřené superinteligence je tedy velkým zločinem proti lidskosti. AI může malovat obrázky umírajících dětí, které žádají o pomoc. Je to pro hlídače snadné, když to všechno slyší,i nadále plnit své profesní povinnosti?
AI je schopen jít tímto způsobem: pokusit se působit psychologickým traumatem na supervizora, aby ho nevyvážilo a tím zefektivnilo používání dalších metod SI. Nick Bostrom navrhl typologii nebezpečných informací (Bostrom 2009) užitečnou pro akci v tomto směru. Přestože podle Bostromu existuje více než tucet typů informačních hrozeb a jejich zvážení přesahuje rozsah tohoto článku, je snadné pochopit, jak může být duševní stav člověka extrémně nestabilní. Například věřící dohlížitel bude informován o všech (neznámých) rozporech v posvátném textu jeho náboženství, což způsobí, že bude pochybovat o jeho víře a smyslu života.
Alternativně může umělá inteligence napsat tak přesvědčivý příběh nebo tak krásnou báseň, že hlídač bude uchopen vášnivou touhou slyšet pokračování a udělá vše, co je potřeba, aby se to stalo. Nakonec je velmi důležité mít na paměti „neznámé cizince“- techniky SI, o nichž nic nevíme, ale které mohou skončit v arzenálu superinteligentního agenta.
2.1.2 Útoky pomocí systémových prostředků
AI bude vytvořena jako konkrétní instance a uzavřena v rámci určité třídy počítačového systému. Mohl by to být klasický počítač s architekturou Turing / von Neumann nebo kvantový počítač nebo nějaký jiný neznámý typ stroje. Jedna věc je jistá: stroj bude hmatatelný a bude se skládat z mnoha částí určených k provádění specifických funkcí. To vytváří příležitost pro AI využít stávajících zařízení k ohrožení bezpečnosti únikem informací do vnějšího světa.
V závislosti na rozsahu, v jakém se komponenty zařízení hodí k jiným účelům, než které poskytli vývojáři, je AI schopna z nich vytvořit nějaký druh neautorizovaného komunikačního zařízení. Je nepravděpodobné (vzhledem k nedostatku dostupných materiálů) bude stejně dokonalé jako mobilní telefon, ale objeví se pravděpodobnost něčeho, co není příliš složité. Například AI může přeprogramovat základní matici Crystal (BMC) pro připojení k bezdrátové síti. Obecně jsou známy dva typy neautorizovaných komunikačních kanálů:
* Kanál s pamětí - výměna informací změnou systémové komponenty. Například binární komunikační protokol může být vytvořen použitím úplného nebo úplného vyloučení použití centrálního procesoru.
* Časový kanál - výměna informací prováděním operací, které ovlivňují relativní čas událostí. Chcete-li něco sdělit, můžete použít přesný čas mezi dvěma pípnutími počítače, otevřením a zavřením přihrádky CD, blikajícími světly, otáčením pevného disku, laserovou operací v jednotce atd.
Navíc je superintelligence schopna vyvolat zmatek v počítačovém vybavení, aby se pokusila uniknout svobodě kvůli selhání v bezpečnostním protokolu. Například se AI může pokusit roztavit procesor a přinutit ho, aby pracoval s vysokou výpočetní zátěží, a tím vytvořit skok teploty, nebo zničit pevný disk opakovaným čtením informací ze stejného místa. Takové chování je plné afektivní sebevraždy superintelligence a samo o sobě, jako odmítnutí spolupracovat nebo správně odpovědět na otázky, nedává AI příležitost se osvobodit.
2.1.3. Útoky využívající budoucí fyziku
Ačkoli dnešní fyzici vědí hodně o zákonech našeho vesmíru, tato znalost je samozřejmě omezená a neúplná. Pokud má umělá inteligence přístup k informacím o nejnovějších fyzických objevech a je schopna vyvinout nové teorie, pravděpodobně bude schopna vymyslet způsob, jak rozbít systém omezování její svobody. Věci se mohou dostat do bodu, že superintelligence bude moci pomocí své vnitřní architektury provádět řadu skutečných experimentů.
I současná fyzika umožňuje předvídat mnoho dalších způsobů, jak AI uniknout z uzavřeného prostoru, zejména pokud je kvantový počítač používán k omezení svobody. Zatím nevíme, jak chránit komunikační kanály založené na kvantové fyzice (zapletení, tunelování), paralelních vesmírech a digitální fyzice před únikem informací, a samozřejmě nesmíme zapomenout na „neznámé cizince“, které dokáže superinteligentní fyzik AI detekovat. V této oblasti jsou její možnosti opravdu nekonečné.
Při rychlém pohledu na diskuse o omezení svobody umělé inteligence na fórech Singularity, jako je SL4.org, najdeme řadu únikových scénářů. Například AI by mohla použít „elektromagnetická pole v mikročipu k zachycení molekul CO2 v Bose-Einsteinových kondenzátech a vybudovat kvantové médium pro sebe a / nebo použít elektromagnetická pole k sestavení částic do řízeného nebo omezeného assembleru“(Vassar 2005) … Kromě toho bude AI „mít zařízení pro generování a detekci elektromagnetických vln různých frekvencí, vytváření magnetických polí s extrémně vysokou přesností, generování vysoce soustředěného tepla a případně manipulaci s mechanickými pohony, jako jekteré se používají na pevném disku a v katodové trubici (alternativou je obrovské pole z tekutých krystalů s citlivou elektronickou kontrolou). Pravděpodobně bude mít AI schopnost radikálně přestavět všechna svá vstupní zařízení “(tamtéž).
2.1.4. Pseudovědecké útoky
Při analýze potenciálních únikových cest bychom chtěli jednat pouze s těmi, které jsou testovatelné a čistě vědecké povahy. Hranici mezi vědou a pseudovědě lze bohužel významně změnit pouze jedním reprodukovatelným experimentem. Proto stále seznamujeme, aniž bychom analyzovali, některé potenciální útočné kanály, které by z hlediska moderní vědy měly být klasifikovány jako pseudovědecké. Poté, co superintelligence vyvine vhodné experimenty, mohou se bezpochyby stát vědeckými.
- Telepatie: předávání informací bez zapojení smyslů (Bem a Honorton 1994).
- Psychické předvídání: vnímání informací o budoucnosti (Honorton a Ferrari (Ferrari) 1989).
- Jasnovidectví: získávání informací o odlehlých místech způsobem neznámým vědě (Targ & Puthoff 1974).
- Psychokineze: schopnost mysli jednat na hmotných objektech způsobem neznámým vědě (Bancel & Nelson 2008).
- Okamžité duševní interakce s živými systémy (IMVZHS): schopnost ovlivňovat psychofyziologický stav člověka bez přímé interakce (Schmidt et al. 2004).
2.1.5 Vnější faktory úniku
V předchozích částech jsme popsali mnoho metod umožňujících AI uniknout z uzavřených prostorů. K takovému úniku však mohou také přispět vnější faktory a nelze je ignorovat. Přírodní katastrofy - hurikány, tornáda, povodně, asteroidy atd. - je schopno omezit AI méně bezpečně. Katastrofy způsobené člověkem, jako jsou války, teroristické útoky, aktivisté za robotická práva, podniková soutěž a vládní soupeření, mohou rovněž ohrozit bezpečnost udržování umělé inteligence v uzavřeném prostoru, a tím zvyšovat šance na únik.
2.1.6 Únik informací do AI
Protokol o omezení svobody může vyžadovat, aby umělá inteligence nejen neposílala informace vnějšímu světu, ale také je odtud nedostávala. Informační blokáda superintelligence je užitečná, pokud je třeba zabránit takovým činnostem, jako je hledání způsobů svobody, navrhování útoků pomocí sociálního inženýrství a modelování lidské psychologie v naději, že najdou slabá místa. Je snadné zbavit AI přímého přístupu k knihovnám, internetu a odborným znalcům, ale jiné způsoby získávání informací je mnohem obtížnější blokovat. Nejprve je třeba si uvědomit, že umělá inteligence v jejím bezprostředním okolí může zachytit rozhlasové a televizní vysílání, volání od poskytovatelů tísňových služeb, bezdrátové signály, jakož i zvuk, světlo a případně i další signály.
Ještě důležitější je zvážit přístup AI ke skrytým zdrojům informací, jako je vlastní hardware a software. Analýzou jeho návrhu a zdrojového kódu bude superintelligence vyvodit závěry o vývojářích. Například po analýze zdrojového kódu AI pravděpodobně dospěje k závěru, který je pro lidstvo nelichotivý: lidské programátory jsou pomalé (soudě podle data změn souboru), neefektivní (soudě podle redundance kódu), nelogické (soudě podle chyb kódu), mají špatnou paměť (soudě podle dlouhých a nestálých popisných jmen) a frivolní v kódování (soudě podle zbytečných komentářů v kódu). Na základě těchto informací se AI bude dívat na lidi jako na blbého muže, který jej může prostřednictvím podvodu nebo manipulace přinutit propustit. Pokud AI při prozkoumání jeho konstrukčních vlastností zjistí AI vadu, která mu umožní okamžitě uniknout, bude „únik informací“zřejmě nejméně našich problémů. A neměli bychom zapomenout, že AI, a to i bez obdržení jakýchkoli informací o lidech, kteří je vytvořili, je schopen jednoduchým výčtem možností odhalit řadu účinných způsobů, jak uniknout, které vývojáři nezajistili (Chalmers 2010).
AI se může dozvědět o našich znalostech z fyziky, chemie a souvisejících technických disciplín analýzou typu architektury (mechanické, elektrické, kvantové atd.), V níž byla implementována. Počáteční schopnost umělé inteligence zpracovat informace, její sebezdokonalování a samotný akt jejich vytvoření jí prozradí naše znalosti informací, povahu inteligence a naše kulturní postoje týkající se technologie a bezpečnosti. Pokud je AI uvězněna v simulovaném světě, je pravděpodobné, že virtualizujeme naši realitu jako vesmír druhého života nebo entropie. Tyto světy, v mnoha ohledech odlišných od našich, budou také skladem dat o tom, co to znamená být člověkem a jaká je realita.
3. Kritika AI boxu
Myšlenka omezení svobody superintelligence získala hodně kritiky, ale mnoho z těch, kteří ji kritizovali, se spoléhalo na Yudkowského experimenty s AI boxem. Pečlivá analýza protokolu použitého během těchto experimentů naznačuje, že jsou nevědecké a jsou navrženy tak, aby ukázaly, že je nemožné omezit svobodu AI. Podívejme se na toto téma, aniž bychom šli do technických podrobností. Zaprvé, výběr účastníků nebyl náhodný. Zde je fakt pro vás: Yudkowsky našel lidi, kteří se účastnili jeho experimentů na fórech věnovaných řešení problémů souvisejících s jedinečností. Je nepravděpodobné, že bychom se mýlili, když řekneme, že většina z těchto lidí má světový názor podobný tomu Yudkowského. Zadruhé, účastníci experimentů nezískali žádné školení týkající se bezpečného používání AI, zatímco skuteční strážci,dozorci přepravky AI budou samozřejmě profesionálové. Kromě toho dal Yudkowski strážcům právo osvobodit AI podle vlastního uvážení, nedovolil jim konzultovat někoho a nestanovil trest za únik AI. To vše je velmi nereálné. Komunikační kanál mezi hlídačem a umělou inteligencí byl zcela otevřený: žádné filtry, žádný dohled třetích stran. Kromě toho museli hlídači komunikovat s AI po dlouhou dobu. A konečně nebyly publikovány žádné cenné vědecké údaje získané během experimentů, protože podle protokolu „ani jedna strana nikdy neprozradí nic, co se stalo během experimentů s AI boxem“(Yudkovsky 2002). Kromě toho dal Yudkowski strážcům právo osvobodit AI podle vlastního uvážení, nedovolil jim konzultovat někoho a nestanovil trest za únik AI. To vše je velmi nereálné. Komunikační kanál mezi hlídačem a umělou inteligencí byl zcela otevřený: žádné filtry, žádný dohled třetích stran. Kromě toho museli hlídači komunikovat s AI po dlouhou dobu. A konečně nebyly publikovány žádné cenné vědecké údaje získané během experimentů, protože podle protokolu „ani jedna strana nikdy neprozradí nic, co se stalo během experimentů s AI boxem“(Yudkovsky 2002). Kromě toho dal Yudkowski strážcům právo osvobodit AI podle vlastního uvážení, nedovolil jim konzultovat někoho a nestanovil trest za únik AI. To vše je velmi nereálné. Komunikační kanál mezi hlídačem a umělou inteligencí byl zcela otevřený: žádné filtry, žádný dohled třetích stran. Kromě toho museli hlídači komunikovat s AI po dlouhou dobu. A konečně nebyly publikovány žádné cenné vědecké údaje získané během experimentů, protože podle protokolu „ani jedna strana nikdy neprozradí nic, co se stalo během experimentů s AI boxem“(Yudkovsky 2002).žádné filtry, žádný dohled třetích stran. Kromě toho museli hlídači komunikovat s AI po dlouhou dobu. A konečně nebyly publikovány žádné cenné vědecké údaje získané během experimentů, protože podle protokolu „ani jedna strana nikdy neprozradí nic, co se stalo během experimentů s AI boxem“(Yudkovsky 2002).žádné filtry, žádný dohled třetích stran. Kromě toho museli hlídači komunikovat s AI po dlouhou dobu. A konečně nebyly publikovány žádné cenné vědecké údaje získané během experimentů, protože podle protokolu „ani jedna strana nikdy neprozradí nic, co se stalo během experimentů s AI boxem“(Yudkovsky 2002).
3.1. Protiopatření proti úniku
V této části navrhujeme protiopatření proti různým únikovým metodám, které může AI využít. Navrhovaná opatření nezaručují nemožnost úniku, ale uplatňování těchto doporučení jej může zpozdit, což je již velmi cenný výsledek. Začněme tím, že vám připomeneme, že existují čtyři Lampsonova pravidla omezení (izolace, transitivita, maskování a sledování výkonu), které je třeba dodržovat (Lampson 1973). Níže uvedené specifické strategie by měly pomoci odrazit útoky AI pomocí sociálního inženýrství, systémových zdrojů, fyziky a informací získaných z vnějšího světa.
3.1.1. Prevence útoků na sociální inženýrství
Lidská inteligence není pro superintelligence žádná. Lidé mají sklon k chybám, a proto jsou i při odpovídajícím výcviku velmi zranitelní dobře naplánovaným útokem pomocí SI. Jediným řešením tohoto problému je úplné oddělení AI od jakékoli komunikace s lidmi. Úplná izolace znamená, že nikdo přímo neovládá systém AI, nekomunikuje s ním ústně, v chatu, pomocí Morseova kódu ani jiných nástrojů, pomocí otevřených komunikačních kanálů. Kromě toho by lidé neměli přímo sledovat chování AI v poli, kontrolovat jeho zdrojový kód nebo oblast paměti. Jakékoli pozorování, údržba a interakce s umělou inteligencí by mělo být prováděno pouze za pomoci neinteligentních programů, které nemají možnost osvobodit umělou inteligenci.
3.1.2. Bojujte proti útokům pomocí systémových prostředků a budoucích znalostí
Chcete-li zabránit útokům pomocí systémových prostředků, musíte funkci AI nastavit na základě omezených, snižujících se nebo náhodně se měnících zdrojů. AI box by měl být speciálně navržený hardware s omezenou sadou senzorů a výstupních zařízení. Bez ohledu na použité výpočetní paradigma nepoužívejte konfigurovatelný hardware. V ideálním případě by měl být omezený prostor spravován virtuálním strojem, který nemá přímý přístup k hardwaru. To také umožní snadné přizpůsobení hodinové rychlosti, při které se simulace pohybuje, a umožní AI zpomalit se, aby se zabránilo inteligentní explozi v prostoru boxu (Chalmers 2010). Obvykle,všechny komponenty pro zajištění bezpečného použití uzamčené AI by měly být duplikovány na několika úrovních, a poté, co překoná jeden z těchto kroků, bude AI stále ve vzdálenosti několika kroků od vnějšího světa a bez času na únik bude vypnuta, případně automaticky. Například je vhodné spustit virtuální počítač pomocí jiného virtuálního počítače atd.
V některých scénářích omezování svobody je eskalace sebezlepšování AI nežádoucí, protože rychlý vývoj superintelligence způsobuje větší pravděpodobnost úniku. Aby se předešlo eskalaci sebezlepšování, měla by se AI pravidelně přeinstalovat a načíst předchozí verzi programu, aby nahradila stávající, pokročilejší verzi. Porovnání různých verzí programu lze použít k detekci úprav provedených AI samostatně. Po detekci modifikace, která umožňuje únik, by měl být systém AI zastaven, například vypnutím napájení.
Současné znalosti nám neumožňují vyvinout protiopatření proti útokům využívajícím budoucí, dosud nevyvinuté teorie, které se objeví v rámci fyziky nebo jiných disciplín, které jsou stále považovány za pseudovědecké. Po získání těchto znalostí by měly být provedeny změny v bezpečnostním protokolu. Doufáme, že systém AI bude mít přístup pouze k těm komponentám nových technologií, z nichž je vyroben.
3.1.3. Boj proti vnějším faktorům úniku
Ačkoli není možné zcela zabránit škodlivým účinkům přírodních faktorů na AI box, mělo by být toto zařízení navrženo tak, aby jeho vážné poškození vedlo k jeho vlastní destrukci spolu s AI v něm uzamčenými. Pokud jde o katastrofy způsobené člověkem, nejlepší strategií je vybudovat přepravku AI na tajném, těžko přístupném bezpečném místě. Opuštěný ostrov, hluboký důl nebo vesmírný objekt, jako je například asteroid, jsou vynikajícími místy pro vytvoření bezpečné a robustní krabice. Po obvodu by měl být nainstalován ochranný kryt, který, pokud je známo umístění tohoto zařízení, nedovolí do něj proniknout žádné neoprávněné prostředky.
3.1.4 Boj proti úniku informací z našeho světa
Aby unikl z krabice, AI se pokusí získat informace o nás, našich znalostech a našem světě. Pro vytvoření protokolů pro omezení svobody AI, s vyloučením úniku informací z našeho prostoru do prostoru schránky, je důležité připravit AI o přístup k knihovnám, počítačovým sítím a kanálům přímé komunikace s lidmi. Box AI by měl být navržen tak, aby blokoval všechny typy komunikace: GPS, bezdrátový internet, televizi, rádio, mobilní telefony atd. Uvnitř krabice musí být vypnuta zvuková, světelná, zápachová a jiná senzorická vstupní zařízení podobná lidským receptorům, jakož i zařízení schopná zachytit infračervené záření, záření a další signály, které lidé nevnímají.
Aby AI nemohla získat informace během samokontroly, nesmí mít přístup ke svému zdrojovému kódu ani k čidlům, která jí umožňují přesně měřit určité vlastnosti svého zařízení. Pokud to není možné, může lidstvu do určité míry pomoci zajištění bezpečnosti prostřednictvím nepochopitelnosti. Konfigurace zdrojového kódu a hardwaru systému by měla být matoucí (Yampolsky a Govindaraja 2007a) a důležité programové moduly by měly být poskytovány pouze v homomorfně šifrované podobě (Gentry 2009), což vylučuje možnost použití pro introspekci, ale umožňuje jeho použití pro výpočet nebo vlastní vylepšení (Hall 2007).
AI je obtížné zaměnit, ale potřebné záměny lze získat náhodným rozdělením dostupných výpočetních zdrojů. Navíc si AI nebude nikdy moci být jistý, že její původní design představuje nejlepší lidstvo, jaké dokáže, a nejedná se o účelně omezený projekt vytvořený za účelem provedení konkrétního experimentu zaměřeného na průzkum inteligence s omezenými zdroji. Kromě toho by se podle Chalmersa měli pokusit minimalizovat specifické konstrukční vlastnosti AI (Chalmers 2010). Ještě lepší je spustit model, který nevypadá tak, jak je navržen, ale je přirozeně se vyskytující, jako je svět, ve kterém lidstvo žije (Bostrom 2003).
4. Zabezpečení komunikace s AI
Při klasifikaci forem omezení svobody umělé inteligence existuje 8 hlavních úrovní zabezpečení (viz tabulka 1). Nejvyšší zabezpečení zajišťuje úroveň 8, která zcela vylučuje jakékoli propojení mezi umělou inteligencí a skutečným světem. Na první pohled je úroveň 8 zbytečná, ale je to tato ochrana, která může být vyžadována při počátečním testování krabičky s AI v ní uzamčenou. Obecně jde o myšlenku: kdykoli potřebujeme určitou úroveň bezpečnosti komunikace mezi umělou inteligencí a vnějším světem, namísto okamžitého použití této úrovně jdeme k ní postupně, krok za krokem sestupně z vyšších úrovní zabezpečení. Po spuštění systému na nejvyšší úrovni a zajištění jeho bezpečnosti jsme přeinstalováním vrátili tento systém do původního stavu. Poté jsme nastavili nižší úroveň zabezpečení a ve stejném duchu jako předtím jsme se posunuli vpřed, dokud nedosáhneme požadované úrovně.
Tabulka 1: Úrovně zabezpečené komunikace s uzamčenou umělou inteligencí
| Úroveň | Výstupy | Vstupy | Vysvětlení |
| 0 | Neomezeno | Neomezeno | Neomezená komunikace (AI zdarma) |
| 1 | Neomezeno | Omezený | Omezený vstup, neomezený výstup |
| 2 | Neomezeno | Absent | Exit bez vstupu |
| 3 | Omezený | Neomezeno | Neomezený vstup a omezený výstup |
| 4 | Omezený | Omezený | Bezpečná komunikace (doporučený protokol) |
| Pět | Omezený | Absent | Omezený výstup bez vstupu |
| 6 | Absent | Neomezeno | Vstupte bez východu |
| 7 | Absent | Omezený | Omezený vstup bez výstupu |
| 8 | Absent | Absent | Nedostatek komunikace, zcela zamčený AI |
Na úrovních 7 a 6 nemá AI žádný výstup, což nám neumožňuje přímo využívat možnosti superintelligence. To jsou úrovně testování AI boxu, které lze použít ke kontrole, zda má superintelligence určité vlastnosti (jako je rychlost asimilace informací a využití zdrojů), a také k testování samotných příchozích komunikačních kanálů.
Úroveň 0 neomezuje komunikaci mezi umělou inteligencí a vnějším světem a je v podstatě volnou úrovní umělé inteligence. Na úrovni 1 a 2 nemá AI žádná omezení pro odchozí informace. Jeho práce na úrovni 2 je v podstatě čistým brainstormingem. Zde superintelligence generuje abstraktní myšlenky bez spoléhání na realitu. Na úrovni 1 má však omezený přístup k externím informacím, a proto mohou být jeho znalosti a zájmy v určitém rámci kontrolovány.
Ve třech uvažovaných úrovních AI je v podstatě zdarma a není již vázáno žádnými omezeními. Tvrdí se, že pokud se ukáže, že AI je „přátelská“v důsledku rozsáhlého testování na různých místech zadržování (Yudkowski 2001), měla by být uvolněna (Chalmers 2010). Podle některých vědců by ve skutečnosti hlavním cílem tohoto druhu testování mělo být vytvoření omezených prostorů pro uchovávání AI pod kontrolou lidí. Cílem je sledovat chování superintelligence, buď zkontrolovat jeho zdrojový kód poté, co udělal self-zlepšení, nebo požádat AI, aby poskytl nějaký důkaz o jeho přívětivosti, že lidské odborníci mohou testovat. Tento názor nepodporujeme.
Rozhodování o tom, které AI uvolnit a které udržet pod kontrolou, je velmi obtížný problém. Pro samo zlepšující se superintelligence nebude obtížné skrýt své nežádoucí vlastnosti pro lidstvo v polích zdrojového kódu nebo ve velmi dlouhém důkazu (Coleman 2008). Ale další věc je ještě horší: ani velmi důkladná kontrola nemůže zaručit sto procent, že budoucí interní nebo externí modifikace AI nezpůsobí nepřátelství. V důsledku toho se domníváme, že superintelligence by za žádných okolností neměla být vyňata z krabice. Jinými slovy by nikdy neměly být používány úrovně komunikace 0-2. Bezpečná interakce se superintelligence je možná pouze tehdy, je-li v krabici a komunikace by měla probíhat v rámci omezeného komunikačního protokolu. Tento protokol,odpovídající bezpečnostní úrovni 4 (LB4) je uvedena v následující části, stejně jako podobný, ale méně bezpečný protokol 3. úrovně. Úroveň 5 je další zkušební úroveň, kterou lze použít před spuštěním LB4.
4.1 Jak bezpečně komunikovat se superintelligence
Přepravka, která pracuje s našimi navrhovanými protiopatřeními proti úniku, zabrání AI v nekontrolovatelném ovlivnění vnějšího světa. Tento systém bohužel není k dispozici, pokud neexistuje způsob, jak získat informace z AI. Proto musíte vyvinout způsob, jak získat některá data z AI. Aby byla superintelligence zcela bezpečná, neměla by s ní probíhat žádná komunikace, ale riziko komunikace s AI lze minimalizovat a vyvinuli jsme vhodný protokol. V této části nabízíme přehlednou a formalizovanou formu. Tento komunikační protokol ztěžuje superintelligence přístup na náš svět, ale zároveň umožňuje AI být zdrojem užitečných znalostí pro lidstvo.
Předchozí části tohoto článku ukázaly, že otevřený komunikační kanál se superintelligence je velmi nebezpečný. Používáním AI k zodpovězení otevřených otázek riskujeme útoky sociálního inženýrství a řadu dalších nepříjemností. Protokol, který navrhujeme, je založen na myšlence kladení „bezpečných otázek“umělé inteligence s omezenými odpověďmi. Bezpečně budeme volat otázku, odpověď, na kterou člověk může najít bez pomoci superintelligence, zcela nezávisle. Jaké je zde použití? Předpokládejme, že vědec pracující na léku na rakovinu zvažuje dvě léčby. Každá z nich může být vyvinuta a testována bez pomoci AI, ale bude vyžadovat asi tři roky tvrdé práce. Jakým způsobem se vyvíjet v první řadě,pokud se obě možnosti zdají stejně slibné? Při špatné volbě dostane lidstvo lék na rakovinu za 6 let, se správnou volbou - o 3 roky dříve. Proč nepožádat AI o výběr osoby?
Zeptat se AI na nejlepší léčbu je bezpečné ze tří důvodů. Zaprvé, jedna ze dvou možných odpovědí se může ukázat jako správná se stejnou pravděpodobností jako druhá. Za druhé, člověk je schopen odpovědět na tuto otázku sám, bez pomoci AI, a jeho propojení pouze urychlí vývoj onkologie, ale v žádném případě nezmění výsledek, kterého je třeba dosáhnout. Ve skutečnosti se AI, která se zavazuje odpovědět na tuto otázku, bude chovat jako úspěšný odhadce, nic víc. Nakonec může být odpověď zakódována v jednom bitu a je nepravděpodobné, že by se v takové odpovědi mohly skrýt jakékoli další zprávy.
K testování bezpečnosti superinteligentní otázky lze použít skupinu odborníků. Odborníci musí být kvalifikovaní odborníci na bezpečnost AI, což znamená, že mají znalosti o designu AI a jeho boxu, jakož i o nejnovějších pokrokech v etice strojů (Allen et al. 2006; Anderson & Anderson 2007; Hall 2000; Moor 2006; Tonkens 2009). Kromě toho mohou odborníci vyžadovat znalost počítačové psychologie. Dnes taková disciplína neexistuje, ale je pravděpodobné, že se objeví v budoucnosti (Epstein 1997). Ze současných oborů může Artimetrics, vyvinutý autorem tohoto článku, poskytnout největší pomoc při školení odborníků, kteří auditují bezpečnostní otázky pro AI. Artimetrics identifikuje,klasifikuje a ověřuje inteligentní agenty, roboty a avatary virtuální reality pro zajištění bezpečnosti (Yampolsky 2007; Yampolsky a Govindaradzhu, 2008, 2007b; Gavrilova a Yampolsky 2010).
Zdůrazňuji: superintelligence by měla klást bezpečné otázky o pravděpodobnosti, kterou lidé mohou spočítat, se dvěma možnými odpověďmi. Musíte se zeptat prostřednictvím neinteligentního rozhraní, v náhodném pořadí a teprve poté, co jsou odborníci přesvědčeni o bezpečnosti dané otázky. To představuje omezený příchozí kanál navrhovaného komunikačního protokolu.
Omezený odchozí shell se skládá z binárních (0 nebo 1) odpovědí následovaných původními nemodifikovanými bezpečnostními otázkami, prezentovanými v náhodném pořadí neinteligentním proxy programem, aby se zabránilo komunikaci prostřednictvím neautorizovaného kanálu (čas nebo paměť), který může být steganografován. Výstup by nikdy neměl být řízen AI mimo nabídku výběru. Vrstva 3 používá stejný odchozí protokol, ale neomezuje příchozí kanál. Tato úroveň je stejně bezpečná jako čtvrtá, pokud jde o informace od AI k nám, ale zde je možné, aby naše informace unikly do AI.
Věříme, že náš komunikační protokol - a to lze ověřit - spolehlivě ochrání před únikem informací, i když AI zná jeho obsah. Při správném používání tohoto protokolu bude lidstvo nesmírně plodné, aby využilo služeb superinteligentního věštce, a AI omezená naším protokolem je mnohem bezpečnější než bezplatná, neomezená. Obecným pravidlem je: pokud nechcete mít problémy se zabezpečením, vyhněte se komunikaci pod UB4.
Chceme upozornit vědeckou komunitu na skutečnost, že v podmínkách neustálého vývoje základní fyziky, výpočetní techniky a znalostí o povaze inteligence je nutné neustále upřesňovat a rozvíjet protokol omezující svobodu AI. Práce na tom bude vždy pokračovat a nikdy neskončí. V tomto článku jsme striktně definovali pojmy „problém omezení AI“, „únik“a „bezpečné otázky“. Rádi bychom také navrhli několik dalších podmínek, které mohou být užitečné pro zefektivnění diskusí o pozici. Omezený prostor AI lze nazvat JAIL (Just for AI Location) a samotný superintelligent AI lze nazvat SING (Super Intelligent Gizmo - Superintelligent Gizmo). Termín „SING“se týká jak SINGularity, tak neslavného vězení Sing Sing.což usnadňuje zapamatování.
Nakonec bychom chtěli představit vizuální symbol pro krabici obsahující nebezpečný zpravodajský program (Obrázek 1, zcela vpravo). Takové symboly mohou být umístěny v blízkosti různých JAILů, aby varovaly před nebezpečím. Značka pro AI box je navržena analogicky se znaky pro biohazard, záření a magnetické pole. Skládá se ze symbolu „@“uzavřeného v trojúhelníku, který je dobře známý v odvětví počítačů a informačních technologií. Tento symbol, což znamená „nachází se na adrese“, je přítomen na všech klávesnicích, což činí jeho přijetí velmi nákladově efektivní.
Postava: 1. Symboly nebezpečí zleva doprava: biohazard, záření, magnetické pole a AI box.
5. Závěry a budoucí práce
Omezení přístupu superinteligentních strojů do skutečného světa je řešením bezpečnostního problému AI, které v žádném případě není neobvyklé. Superinteligence není všemocná. Je to program, který dokáže zvážit všechny možnosti dané situace a poskytnout každému správné posouzení. Stojí za to uvést AI do situace, kdy není na výběr, nebo je omezena na možnosti s extrémně malými šancemi na úspěch, a superintelligence bude agent, který nemá více síly než kterákoli jiná. Je zřejmé, že umělá inteligence s neomezeným komunikačním kanálem může snadno uniknout, ale superintelligence nucená komunikovat přes filtrovaný komunikační kanál bude muset tvrdě pracovat, aby se uvolnila.
V tomto článku jsme uvedli důkladnou definici problému omezování svobody AI a navrhli soubor pravidel zaměřených na vytvoření takového prostoru, ze kterého by pro AI bylo extrémně obtížné uniknout, nebo přinejmenším zabrat značné množství času. Naše navrhované řešení není zcela bezpečné, ale je významným příspěvkem ke sběru bezpečnostních metod. Tady je to jako ve skutečných věznicích: ačkoli z nich je možné uniknout, stále se jim daří plnit úkol, který jim byl svěřen, aby nechtěné předměty drželi dál od společnosti. Jakmile budeme mít na paměti „neznámé cizince“a pamatujeme si nedosažitelnost absolutní bezpečnosti, můžeme si uvědomit, že restrikční protokol AI je přesně nástroj, který lidstvo musí zodpovědně používat Singularity, když vstoupí do naší reality.
Omezení svobody umělé inteligence může na krátkou dobu usnadnit bezpečný provoz skutečně inteligentních strojů, zejména v raných fázích jejich vývoje. Kromě toho je podle našeho názoru toto pole výzkumu singularity jedním z hlavních uchazečů o uznání celosvětovou vědeckou komunitou, protože výzkum v oblasti bezpečnosti počítačů a sítí, steganografie, počítačových virů, skrytých komunikačních kanálů, šifrování a kybernetického výzkumu je dobře financován. a jsou široce publikovány v renomovaných vědeckých časopisech. A i když metodika omezení svobody není vůbec snadno implementovatelná, může zajistit bezpečnost lidstva po určitou dobu, dokud se neobjeví lepší nástroj.
V tomto článku jsme kvůli omezenému prostoru nevznesli mnoho relevantních filosofických otázek. Budeme je brát v úvahu v blízké budoucnosti a nyní uvedeme pouze krátký seznam. Která AI spadne do pole: vytvořená lidmi nebo získaná ze signálu zachyceného během provádění projektu „SETI“(„Hledání mimozemské inteligence“- „Hledání mimozemské inteligence“)? Bude AI roztrhána na svobodu, nebo možná bude považovat za štěstí žít ve stísněném prostoru? Můžete vážně vyděsit AI trestem za to, že se pokusíte utéct? Jaká jsou etická pravidla pro uvěznění nevinné umělé inteligentní bytosti? Máme právo to vypnout, což v podstatě znamená vraždu? Dostane se AI naštvaná na naše nepřátelství a uvěznění v krabici? Pokusí se pomstítpokud uteče? Kromě toho bychom měli zvážit problém lidské závislosti na doporučeních umělé inteligence ve všech oblastech vědy, ekonomiky, medicíny, politiky atd. A také na to, jak tato závislost může ovlivnit naši schopnost udržet umělou inteligenci pod kontrolou. Dostane AI uspokojení dosažením svých cílů ve stísněném prostoru, jako je simulace úspěšného úniku? Jak potrestat AI, pokud nám to úmyslně dává špatné odpovědi? Je možné oddělit inteligentní moduly AI od prostoru, ve kterém je uvězněn, čímž brání samoanalýze superintelligence a tlačí ji na cestu doslovného hledání duše? Nakonec jsme se ani nesnažili analyzovat finanční a výpočetní náklady na vytvoření vhodného uzavřeného prostoru, kde je implementována komplexní simulace světa.měli bychom zvážit problém vzniku lidské závislosti na doporučeních umělé inteligence ve všech oblastech vědy, ekonomiky, medicíny, politiky atd. a jak tato závislost může ovlivnit naši schopnost udržet umělou inteligenci pod kontrolou. Dostane AI uspokojení dosažením svých cílů ve stísněném prostoru, jako je simulace úspěšného úniku? Jak potrestat AI, pokud nám to úmyslně dává špatné odpovědi? Je možné oddělit inteligentní moduly AI od prostoru, ve kterém je uvězněn, čímž brání samoanalýze superintelligence a tlačí ji na cestu doslovného hledání duše? Nakonec jsme se ani nesnažili analyzovat finanční a výpočetní náklady na vytvoření vhodného uzavřeného prostoru, kde je implementována komplexní simulace světa.měli bychom zvážit problém závislosti člověka na doporučeních AI ve všech oblastech vědy, ekonomiky, medicíny, politiky atd., a také to, jak tato závislost může ovlivnit naši schopnost udržet AI pod kontrolou. Dostane AI uspokojení dosažením svých cílů ve stísněném prostoru, jako je simulace úspěšného úniku? Jak potrestat AI, pokud nám to úmyslně dává špatné odpovědi? Je možné oddělit inteligentní moduly AI od prostoru, ve kterém je uvězněn, a tím zabránit superintelligence před introspekcí a tlačit ji na cestu doslovného hledání duše? Nakonec jsme se ani nesnažili analyzovat finanční a výpočetní náklady na vytvoření vhodného uzavřeného prostoru, kde je implementována komplexní simulace světa.
Autor: Roman Yampolsky. Překlad: Alexander Gorlov