Se zrychlením technologického pokroku se může lidstvo rychle přibližovat ke kritickému bodu svého vývoje. Kromě známých hrozeb, jako je jaderný holocaust, přináší perspektiva rychle se rozvíjejících technologií, jako jsou nanosystémy a strojní inteligence, bezprecedentní příležitosti a rizika. Naše budoucnost a to, zda budeme mít vůbec budoucnost, závisí na tom, jak se s těmito výzvami vypořádáme. S rychle se rozvíjející technologií potřebujeme lepší porozumění dynamice přechodu z lidské na „post-lidskou“společnost. Obzvláště důležité je vědět, kde jsou pasti umístěny: cesty, kde se věci mohou stát smrtící chybou.
Přestože máme dlouhou historii expozice různým osobním, místním nebo tolerovaným celosvětovým rizikům, tento článek analyzuje nedávno vznikající kategorii: existenciální rizika. Tomu říkáme rizika událostí, které mohou vést k našemu zániku nebo poškození srdce pro potenciál inteligentního života, který se na Zemi vyvinul. Některá z těchto nebezpečí jsou relativně dobře známá, zatímco jiná jsou zcela přehlížena. Existence hrozeb má řadu funkcí, které činí konvenční řízení rizik v tomto případě neúčinným. Závěrečná kapitola tohoto článku pojednává o některých etických a politických důsledcích tohoto problému. Jasnější pochopení hrozebného prostředí nám umožní formulovat lepší strategie.
Život je nebezpečný a nebezpečí je všude. Naštěstí ne všechna rizika jsou stejně vážná. Pro naše účely můžeme k popisu rizik použít tři dimenze: měřítko, intenzitu a pravděpodobnost. „Měřítkem“mám na mysli velikost skupiny ohrožených lidí. „Intenzitou“mám na mysli, jak velkou škodu utrpí každý jednotlivec ve skupině. A „pravděpodobností“mám na mysli nejlepší současný subjektivní odhad pravděpodobnosti negativního výsledku.
1. Typologie rizik
Můžeme rozlišit šest kvalitativně odlišných skupin rizik v závislosti na jejich rozsahu a intenzitě (tabulka 1). Pravděpodobnost třetí dimenze může být položena na tyto dvě dimenze. Když jsou všechny věci stejné, riziko je vážnější, pokud má značnou pravděpodobnost a pokud je naše jednání může zvýšit nebo snížit.
Měřítko / intenzita: Bearable Intensity Smrtelná intenzita
globální vyčerpání ozonu X
Propagační video:
místní ekonomický pokles v zemi Genocida
Smrt krádeží osobních aut
„Osobní“, „místní“nebo „globální“označuje velikost populace, která je přímo ovlivněna; globální riziko ovlivňuje celé lidstvo (a naše potomky). „Přípustná intenzita rizika“a „smrtelná intenzita“se týkají toho, jak vážně bude ohrožená populace ovlivněna. Přípustné riziko může také vést k velkému zničení, ale příležitost zůstává zotavit se z poškození nebo najít způsoby, jak překonat negativní důsledky. Naopak konečným rizikem je to riziko, že předměty, které jsou mu vystaveny, buď umírají, nebo jsou nevratně poškozeny takovým způsobem, že radikálně snižují svůj potenciál žít život, který usilují o život. V případě osobních rizik může být konečným výsledkem například smrt, nevratné vážné poškození mozku,nebo doživotí. Příkladem lokalizovaného rizika smrti může být genocida, která vede ke zničení celého lidu (což se stalo několika indickým národům). Dalším příkladem je přeměna na věčné otroctví.
2. Existence rizika
V tomto článku budeme diskutovat o rizicích šesté kategorie, která je v tabulce označena jako X. Toto je kategorie globálních smrtelných rizik. Říkám jim existenciální hrozby.
Existující hrozby se liší od globálně přijatelných rizik. Příkladem toho jsou: ohrožení biologické rozmanitosti pozemské ekosféry, mírné globální oteplování (a dokonce i velké) a možná potlačování kulturních a náboženských období, jako jsou „temné věky“, i když pokrývají celou společnost, pokud končí dříve či později (i když viz kapitola Screech níže). Tvrdit, že globální riziko je přijatelné, samozřejmě neznamená, že je přijatelné nebo málo závažné. Světová válka s konvenčními zbraněmi nebo desetiletí nacistické říše bude nesmírně hroznou událostí, přestože spadají do kategorie tolerovatelných globálních rizik, protože lidstvo se nakonec může zotavit. (Na druhou stranu,tyto události budou pro mnoho jednotlivců a pro pronásledované etnické skupiny představovat místní smrtelné riziko.)
Budu používat následující definici existenciálního rizika:
Hrozba pro existenci je riziko, kdy negativní výsledek buď zničí inteligentní život, který vznikl na Zemi, nebo nezvratně a významně snižuje jeho potenciál.
Existence je riziko, které ohrožuje celé lidstvo. Tyto katastrofy mají obrovské negativní důsledky pro celou budoucnost pozemské civilizace.
3. Jedinečnost problému ohrožení existence
V této šesté kategorii se nedávno objevila rizika. To je jeden z důvodů, proč je užitečné je rozdělit do samostatné kategorie. Nevyvinuli jsme mechanismy, přírodní ani kulturní, které by se s takovými riziky vypořádaly. Naše instituce a defenzivní strategie byly formovány tak, že čelíme rizikům, jako jsou nebezpečná zvířata, nepřátelští lidé nebo kmeny, otrávené jídlo, dopravní nehody, Černobyl, Bhopal, sopečné výbuchy, zemětřesení, sucha, první světová válka, druhá světová válka, epidemie chřipky, neštovice, černý mor a AIDS. K tomuto druhu katastrof došlo mnohokrát a náš kulturní přístup k riziku byl utvářen pokusem a omylem při řízení těchto hrozeb. Ale tragédie přímo pro účastníky těchto akcí,ze širokého hlediska - z pohledu celého lidstva - i ty nejstrašnější z těchto katastrof byly pouze vlnky na povrchu velkého moře života. Výrazně neovlivnili celkový počet šťastných a trpících lidí, ani neurčili dlouhodobý osud našeho druhu.
Až na komety ničící druhy a asteroidní srážky (které jsou extrémně vzácné), existovaly pravděpodobně až do poloviny 20. století významné hrozby pro existenci a s žádným z nich určitě nemůžeme nic dělat.
První lidskou hrozbou pro existenci byla první atomová bomba. V té době existovalo jisté znepokojení, že výbuch zahájí řetězovou reakci „zapálením“atmosféry. Ačkoli víme, že takový výsledek byl fyzicky nemožný, v té době byl tento předpoklad v souladu s definicí existenciální hrozby. Aby bylo něco na základě dostupných znalostí a porozumění rizikem, stačí, že existuje subjektivní pravděpodobnost nepříznivého výsledku, i když se později ukáže, že objektivně nebyla jediná šance, že se něco špatného stalo. Pokud nevíme, zda je něco objektivně riskantní, je to riskantní v subjektivním smyslu. Tento subjektivní význam je samozřejmě tím, na čem bychom měli založit naše rozhodnutí. Kdykoli musíme použít naše nejlepší subjektivní hodnocení toho, zdajaké jsou objektivní rizikové faktory.
Mnohem větší hrozba pro existenci vznikla současně se vznikem arzenálů jaderných zbraní v SSSR a USA. Plnohodnotná jaderná válka byla možná se značnou mírou pravděpodobnosti as důsledky, které by mohly být tak perzistentní, aby byly charakterizovány jako globální a konečné. Mezi lidmi, kteří byli nejlépe obeznámeni s informacemi dostupnými v té době, existovalo skutečné znepokojení nad tím, že by se mohl stát jaderný Armageddon a že by mohl trvale zničit náš druh nebo trvale zničit lidskou civilizaci. v budoucí konfrontaci, náhodou nebo úmyslně. Existuje také riziko, že jiné země mohou jednoho dne vybudovat velké arzenály. Všimněte si však, že malá výměna jaderných útoků, například mezi Indií a Pákistánem,není hrozbou pro existenci, protože nezničí lidstvo a nezvratně nepoškodí lidský potenciál. Taková válka by však byla místním smrtelným rizikem pro cílená města. Bohužel uvidíme, že jaderný Armageddon a dopad na kometiku nebo asteroid jsou jen předehrou k hrozbám pro existenci v 21. století.
Zvláštní povahu výzev, které představují existenciální hrozby, lze ilustrovat následujícími poznámkami.
Náš přístup k existenciálním hrozbám nemůže být založen na pokusech a omylech. Neexistuje způsob, jak se poučit z chyb. Reaktivní přístup - sledování toho, co se stalo, omezení poškození a poučení se ze zkušenosti - nefunguje. Spíše musíme zaujmout aktivní přístup. To vyžaduje prozíravost s cílem odhalit nové typy rizik a ochotu přijmout rozhodná preventivní opatření a uhradit jejich morální a ekonomické náklady.
Nemůžeme se spolehnout na naše instituce, morální standardy, sociální postoje nebo národní bezpečnostní politiky, které se vyvinuly z našich zkušeností s řízením jiných typů rizik. Existence hrozeb je jiné zvíře. Může být pro nás obtížné brát je tak vážně, jak si zaslouží, protože jsme takové katastrofy nikdy nezažili. Naše kolektivní reakce na strach je pravděpodobně špatně kalibrována podle rozsahu hrozby.
Snížení existenčních hrozeb je všeobecným veřejným statkem (Kaul, 1999), a proto jej trh nemusí dostatečně zásobovat (Feldman, 1980). Existující hrozby jsou hrozbou pro všechny a mohou vyžadovat mezinárodní reakci. Respektování národní suverenity není legitimní omluvou pro nečinnost protiopatření proti kritickým existencím.
Pokud vezmeme v úvahu blaho budoucích generací, pak se škoda způsobená existenciálními hrozbami znásobí dalším faktorem, který závisí na tom, zda a kolik budou zváženy budoucí přínosy (Caplin, Leahy 2000; Schelling 2000: 833-837).
S ohledem na nepopiratelný význam tématu je překvapivé, jak málo systematické práce bylo v této oblasti provedeno. Je to částečně proto, že nejzávažnější rizika vznikají (jak ukážeme později) z očekávaných budoucích technologií, kterým jsme teprve nedávno začali rozumět. Další částí vysvětlení může být nevyhnutelně interdisciplinární a spekulativní povaha výzkumného subjektu. A částečně lze zanedbávání připsat neochotě vážně přemýšlet o depresivních tématech. To neznamená, že bychom měli být odrazováni, ale že musíme důkladně prozkoumat, co se může pokazit, abychom mohli vytvořit robustní strategie ke zlepšení našich šancí na přežití. Abychom to mohli udělat, musíme vědět, kam se musíme zaměřit.
4. Klasifikace rizik pro existenci
Pro klasifikaci existenčních rizik použijeme následující 4 kategorie:
Výbuchy (třesky) - Inteligentní život, který na Zemi vznikl, je vyhuben v důsledku relativně náhlé katastrofy, ke které může dojít buď v důsledku nehody, nebo úmyslně.
Drtí - Schopnost člověka vyvinout se v posmrtnost je nezvratně poškozena, i když lidé nějak žijí.
Výkřiky - Dosáhne se nějaké podoby posmrtnosti, ale bude to jen velmi úzký zlomek spektra toho, co je možné a žádoucí.
Whimpers - Posthumanská civilizace vzniká, ale vyvíjí se směrem, který postupně, ale neodvolatelně vede k úplnému vymizení věcí, které si ceníme, nebo ke stavu, kdy jsou tyto hodnoty realizovány jen v malém rozsahu z úrovně, která by mohla být dosažena.
Vyzbrojeni takovou klasifikací můžeme začít analyzovat nejpravděpodobnější scénáře v každé kategorii. Definice budou také jasnější, jak budeme postupovat.
Díky zrychlení technologického pokroku se lidstvo přibližuje ke kritickému bodu svého vývoje. Kromě známých hrozeb, jako je jaderný holocaust, přináší perspektiva rychle se vyvíjejících technologií, jako jsou nanosystémy a strojní inteligence, bezprecedentní příležitosti a rizika. Naše budoucnost a to, zda budeme mít budoucnost, závisí na tom, jak se s těmito výzvami vypořádáme. S rychle se rozvíjející technologií potřebujeme lepší porozumění dynamice přechodu z lidské na post-lidskou společnost. Je důležité vědět, kde jsou pasti umístěny: cesty, kde se věci mohou stát smrtelně špatnými.
Přestože máme dlouhou historii expozice různým osobním, místním a přenosným celosvětovým rizikům, tento článek analyzuje nově vznikající kategorii: existenciální rizika. Tomu říkáme rizika událostí, které mohou vést k zániku člověka nebo poškození srdce k potenciálu inteligentního života, který se na Zemi vyvinul. Některá z těchto nebezpečí jsou relativně dobře známá, zatímco jiná jsou přehlížena. Existence hrozeb má řadu funkcí, které činí konvenční řízení rizik v tomto případě neúčinným. Závěrečná kapitola tohoto článku pojednává o některých etických a politických důsledcích tohoto problému. Jasnější pochopení hrozebného prostředí nám umožní formulovat hlavní strategie.
Je nebezpečné žít a nebezpečí je všude. Naštěstí ne všechna rizika jsou stejně vážná. Pro naše účely používáme k popisu rizik tři dimenze: měřítko, intenzitu a pravděpodobnost. „Měřítkem“mám na mysli velikost skupiny ohrožených lidí. „Intenzitou“mám na mysli, jak velkou škodu utrpí každý jednotlivec ve skupině. A „pravděpodobností“mám na mysli nejlepší současný subjektivní odhad pravděpodobnosti negativního výsledku.
5. Typologie rizik
Existuje šest skupin rizik v závislosti na rozsahu a intenzitě.
Měřítko / intenzita: Bearable Intensity / Lethal Intensity
globální / vyčerpání ozonu, X
místní / ekonomický pokles v zemi, genocida
Osobní krádež / smrt, smrt
Pravděpodobnost třetí dimenze může být položena na tyto dvě dimenze. Když jsou všechny věci stejné, riziko je vážnější, pokud má značnou pravděpodobnost a pokud je naše jednání může zvýšit nebo snížit.
„Osobní“, „místní“nebo „globální“označuje velikost populace, která je přímo ovlivněna; globální riziko ovlivňuje celé lidstvo (a potomky). „Přípustná intenzita rizika“a „smrtelná intenzita“se týkají toho, jak vážně bude ohrožená populace ovlivněna. Přípustné riziko může také vést ke zničení, ale příležitost zůstává zotavit se z poškození nebo najít způsoby, jak překonat negativní důsledky. Naopak konečným rizikem je to riziko, že předměty, které jsou mu vystaveny, buď umírají nebo jsou nezvratně poškozeny tak, že snižují jejich potenciál žít život, který usilují o život. V případě osobních rizik je konečným výsledkem smrt, nevratná, vážná poškození mozku nebo doživotní vězení. Příkladem místního smrtelného rizika je genocida vedoucí ke zničení lidí (což se stalo několika indickým národům). Dalším příkladem je přeměna na věčné otroctví.
Rizika existence
V tomto článku budeme diskutovat o rizicích šesté kategorie, která je v tabulce označena jako X. Toto je kategorie globálních smrtelných rizik. Říkám jim existenciální hrozby.
Existující hrozby se liší od globálně přijatelných rizik. Příkladem toho jsou: ohrožení biologické rozmanitosti pozemské ekosféry, mírné globální oteplování (a dokonce velké) a možná potlačování kulturních a náboženských období, jako jsou „temné věky“, i když pokrývají celou společnost, pokud dříve či později končí (i když viz kapitola Screech níže). To, že globální riziko je přijatelné, samozřejmě neznamená, že je přijatelné nebo není závažné.
Světová válka se standardními zbraněmi nebo desetiletí nacistické říše bude nesmírně hroznou událostí, přestože spadají do kategorie tolerovatelných globálních rizik, protože lidstvo se nakonec může zotavit. (Ale tyto události budou pro mnohé a pro pronásledované etnické skupiny představovat místní smrtelné riziko.)
Budu používat následující definici existenciálního rizika:
Hrozba pro existenci je riziko, ve kterém negativní výsledek buď zničí inteligentní život, který vznikl na Zemi, nebo nezvratně a snižuje jeho potenciál.
Existence je riziko, které ohrožuje celé lidstvo. Tyto katastrofy mají negativní důsledky pro budoucnost pozemské civilizace.
Jedinečnost problému existenciální hrozby
V této šesté kategorii se nedávno objevila rizika. To je jeden z důvodů, proč je užitečné je rozdělit do samostatné kategorie. Nevyvinuli jsme mechanismy, přírodní ani kulturní, které by se s takovými riziky vypořádaly. Naše instituce a defenzivní strategie byly formovány tak, že čelíme rizikům, jako jsou nebezpečná zvířata, nepřátelští lidé nebo kmeny, otrávené jídlo, dopravní nehody, Černobyl, Bhopal, sopečné výbuchy, zemětřesení, sucha, první světová válka, druhá světová válka, epidemie chřipky, neštovice, černý mor a AIDS. K tomuto druhu katastrof došlo mnohokrát a náš kulturní přístup k riziku byl utvářen pokusem a omylem při řízení těchto hrozeb. Ale tragédie přímo pro účastníky těchto akcí,ze širšího hlediska - z hlediska lidstva - i ty nejhroznější z těchto katastrof byly jen vlnky na povrchu velkého moře života.
Výrazně neovlivnili celkový počet šťastných a trpících lidí, ani neurčili dlouhodobý osud našeho druhu.
Až na komety ničící druhy a srážky asteroidů (které jsou extrémně vzácné) neexistovaly až do poloviny 20. století žádné hrozby pro existenci a s žádným z nich určitě nemůžeme nic dělat.
První lidskou hrozbou pro existenci byla první atomová bomba. V té době existovalo jisté znepokojení, že výbuch zahájí řetězovou reakci „zapálením“atmosféry. Ačkoli víme, že takový výsledek byl fyzicky nemožný, v té době byl tento předpoklad v souladu s definicí existenciální hrozby. Aby bylo něco dostatečně riskantní, existuje subjektivní pravděpodobnost nepříznivého výsledku, i když se později ukáže, že objektivně neexistovala šance, že se něco špatného stalo. Pokud nevíme, zda je něco objektivně rizikové nebo ne, jedná se o riziko v subjektivním smyslu. Tento subjektivní význam je samozřejmě tím, na čem bychom měli založit naše rozhodnutí. V každém okamžiku musíme použít naše nejlepší subjektivní hodnocení toho, jaké jsou objektivní rizikové faktory.
Mnohem větší hrozba pro existenci vznikla současně se vznikem arzenálů jaderných zbraní v SSSR a USA. Plnohodnotná jaderná válka byla možná se značnou mírou pravděpodobnosti as důsledky, které by mohly být tak perzistentní, aby byly charakterizovány jako globální a konečné. Mezi lidmi, kteří byli nejlépe obeznámeni s informacemi dostupnými v době, kdy se mohl stát jaderný Armageddon, došlo k rozšířenému znepokojení a že navždy zničilo náš druh nebo zničilo lidskou civilizaci.
Rusko a USA mají obrovské jaderné arzenály, které by mohly být použity v budoucí konfrontaci, náhodou nebo úmyslně. Existuje také riziko, že jiné země mohou jednoho dne vybudovat velké arzenály. Malá výměna jaderných útoků, například mezi Indií a Pákistánem, však není hrozbou pro existenci, protože nezničí lidstvo a nezvratně nepoškodí lidský potenciál. Taková válka by však byla místním smrtelným rizikem pro cílená města. Bohužel uvidíme, že jaderný Armageddon a dopad na kometiku nebo asteroid jsou jen předehrou k hrozbám pro existenci v 21. století.
Povaha problémů vyplývajících z existenčních hrozeb bude ilustrována následujícími poznámkami.
Náš přístup k existenciálním hrozbám nemůže být založen na pokusech a omylech. Nemůžete se poučit z chyb. Reaktivní přístup - sledování toho, co se stalo, omezení poškození a poučení se ze zkušenosti - nefunguje. Musíme zaujmout proaktivní přístup. To vyžaduje prozíravost s cílem odhalit nové typy rizik a ochotu přijmout preventivní opatření a platit za jejich morální a ekonomické náklady.
Nemůžeme se spolehnout na instituce, morální standardy, sociální postoje nebo národní bezpečnostní politiky, které se vyvinuly ze zkušeností s řízením jiných typů rizik. Existence hrozeb je jiné zvíře. Je pro nás obtížné brát je tak vážně, jak si zaslouží, protože jsme takové katastrofy nikdy nezažili. Reakce kolektivního strachu je pravděpodobně špatně kalibrována podle rozsahu hrozby.
Omezení existenčních hrozeb je společným veřejným statkem (Kaul, 1999), a proto je na trhu nedostatečně zásobován (Feldman, 1980). Hrozby pro existenci jsou hrozbou pro všechny a vyžadují mezinárodní reakci. Respektování národní suverenity není legitimní omluvou pro nečinnost protiopatření proti kritickým existencím.
S ohledem na nepopiratelný význam tématu je překvapivé, jak málo systematické práce bylo v této oblasti provedeno. Je to částečně proto, že nejzávažnější rizika vznikají (jak ukážeme později) z očekávaných budoucích technologií, kterým jsme teprve nedávno rozuměli.
Další částí vysvětlení může být nevyhnutelně interdisciplinární a spekulativní povaha výzkumného subjektu. A částečně lze zanedbávání připsat neochotě vážně přemýšlet o depresivních tématech. To neznamená, že bychom měli být odrazováni, ale že musíme důkladně prozkoumat, co se může pokazit, abychom mohli vytvořit robustní strategie ke zlepšení našich šancí na přežití. Abychom to mohli udělat, musíme vědět, kam se musíme zaměřit.
Klasifikace existenčního rizika
Pro klasifikaci existenčních rizik použijeme následující 4 kategorie:
Výbuchy (třesky) - Inteligentní život, který na Zemi vznikl, je vyhuben v důsledku relativně náhlé katastrofy, ke které může dojít buď v důsledku nehody, nebo úmyslně.
Drtí - Schopnost člověka vyvinout se v posmrtnost je nezvratně poškozena, i když lidé nějak žijí.
Výkřiky - Dosáhne se nějaké podoby posmrtnosti, ale bude to jen velmi úzký zlomek spektra toho, co je možné a žádoucí.
Whimpers - Posthumanská civilizace vzniká, ale vyvíjí se směrem, který postupně, ale neodvolatelně vede k úplnému vymizení věcí, které si ceníme, nebo ke stavu, kdy jsou tyto hodnoty realizovány jen v malém rozsahu z úrovně, která by mohla být dosažena.
Vyzbrojeni takovou klasifikací můžeme začít analyzovat nejpravděpodobnější scénáře v každé kategorii. Definice budou také jasnější, jak budeme postupovat.
Bangs
Toto je nejzjevnější forma globálního rizika. Tento koncept je nejsnadněji pochopitelný. Níže jsou uvedeny některé z nejpravděpodobnějších způsobů výbušného ukončení světa. Snažil jsem se je uspořádat ve vzestupném pořadí (podle mého odhadu) pravděpodobnosti způsobení vyhlazení inteligentního života na Zemi; ale mým záměrem, pokud jde o objednávání, bylo vytvořit základ pro další diskusi, spíše než učinit některá jednoznačná prohlášení.
1. Záměrné zneužití nanotechnologií
Ve své zralé formě umožní molekulární nanotechnologie vytvoření samoreprodukčních robotů o velikosti bakterií, které se mohou živit odpadními vodami nebo jinými organickými látkami (Drexler 1985, 1992; Merkle a kol. 1991: 187-195; Freitas 2000). Tito replikátoři mohou biosféru jíst nebo ji zničit jinými způsoby, jako je otrava, spálení nebo blokování slunečního světla. Muž s kriminálními úmysly s touto nanotechnologií může zničením inteligentního života na Zemi uvolnit takové nanoboty do životního prostředí.
Technologie pro vytvoření destruktivních nanobotů se zdá být mnohem jednodušší než technologie pro vytvoření účinné obrany proti takovým útokům (globální nanotechnologický imunitní systém, „aktivní štít“(Drexler 1985)). Proto bude pravděpodobně existovat období zranitelnosti, během kterého bude nutné zabránit tomu, aby tyto technologie padly do nesprávných rukou. Tyto technologie mohou být také obtížně spravovatelné, protože nevyžadují vzácné radioaktivní izotopy ani velké, snadno zjistitelné továrny, jako je tomu ve výrobě jaderných zbraní (Drexler 1985).
I když existují účinná obrana proti omezenému útoku na nanotechnologie před tím, než jsou sebevražednými režimy nebo teroristy vyvinuty a získány nebezpečné replikátory, stále existuje nebezpečí, že mezi státy, které vlastní nanotechnologie, dojde ke zbrojení. Bylo argumentováno (Gubrud 2000), že molekulární výroba povede k větší nestabilitě v závodě ve zbrojení a větší nestabilitě ve vztahu ke krizím než jaderné zbraně. Nestabilita závodu na zbrojení znamená, že každé konkurenční straně bude dominovat touha posílit své zbrojení, což povede k rychlému rozvinutí závodu na zbrojení. Nestabilita ve vztahu ke krizím znamená, že stávkující první bude hlavní motivací pro každou stranu. Dva přibližně stejně silní oponenti,Po získání nanotechnologických zbraní začnou z tohoto hlediska hromadná výroba a konstrukce zbraní, které budou pokračovat, dokud nedojde ke krizi a nezačne válka, potenciálně schopná způsobit všeobecné konečné zničení. To, že tento závod se zbraněmi lze předvídat, není zárukou toho, že bude zaveden mezinárodní bezpečnostní systém včas, aby se zabránilo této katastrofě. Předpokládal se závod v jaderných zbraních mezi SSSR a USA, ale přesto se to stalo.že mezinárodní bezpečnostní systém bude vytvořen včas, aby této katastrofě zabránil. Předpokládal se závod v jaderných zbraních mezi SSSR a USA, ale přesto se to stalo.že mezinárodní bezpečnostní systém bude vytvořen včas, aby této katastrofě zabránil. Předpokládal se závod v jaderných zbraních mezi SSSR a USA, ale přesto se to stalo.
2. Jaderný holocaust
Spojené státy a Rusko mají stále obrovské zásoby jaderných zbraní. Ale povede plnohodnotná jaderná válka ke skutečnému vyhlazení lidstva? Všimněte si, že:
a) k tomu, aby se stalo existenčním rizikem, stačí, když si nejsme jisti, že k tomu nedojde.
b) klimatické účinky rozsáhlé jaderné války jsou málo známé (existuje možnost jaderné zimy).
c) budoucí závody ve zbrojení mezi zeměmi nelze vyloučit, a to by mohlo vést ke vzniku ještě větších arzenálů, než jaké existovaly na vrcholu studené války. Světová zásoba plutonia neustále roste a dosáhla 2 000 tun, což je asi desetkrát více, než zbývá ve hlavicích (Leslie 1996: 26). I když někteří lidé přežijí krátkodobé účinky jaderné války, mohlo by to vést ke zhroucení civilizace. Lidská rasa v době kamenné může nebo nemusí být odolnější vůči vyhynutí než jiné druhy zvířat.
3. Žijeme v simulaci a vypne se
Lze tvrdit, že hypotéza, že žijeme v počítačové simulaci, by měla být připsána významné pravděpodobnosti (Bostrom 2001). Hlavní myšlenkou tzv. Proof of Simulation je, že v budoucnu může být k dispozici obrovské množství výpočetního výkonu (Moravec 1989, 1999) a že je lze mimo jiné použít k provádění velkého počtu jemně strukturovaných simulací minulosti. lidské civilizace. Na několika málo tak neuvěřitelných předpokladech může být výsledkem to, že většina myslí, jako je ta naše, jsou simulované mysli, a proto musíme připisovat významnou pravděpodobnost, že jsme takové simulované mysli, spíše než (subjektivně nerozeznatelné) mysli přirozeně vyvinutých bytostí. A pokud ano, riskujemeže simulaci lze kdykoli vypnout. Rozhodnutí zastavit naši simulaci může být způsobeno našimi činy nebo vnějšími faktory.
I když se může někomu zdát frivolní, aby předložil tak radikální hypotézu vedle konkrétní hrozby jaderného holocaustu, musíme založit své závěry na zdůvodnění, nikoli na netrénované intuici. Dokud nebudou vyvráceny argumenty, které předložil Bostrom (2001), bylo by intelektuálně nečestné ignorovat vypnutí simulace jako možnou příčinu vyhynutí člověka.
4. Špatně naprogramovaná superintelligence
Když vytvoříme první superinteligentní zařízení (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), můžeme udělat chybu a stanovit cíle, které ji nasměrují k ničení lidstva, vzhledem k jeho kolosálnímu intelektuální výhoda dávající sílu k tomu. Můžeme například mylně povýšit cíl nižší úrovně na nadřazený stav. Řekneme mu, aby vyřešil nějaký matematický problém, a poslouchá, proměňuje veškerou hmotu ve sluneční soustavě v obrovské výpočetní zařízení a zabije toho, kdo položil tuto otázku. (Pro další analýzu tohoto tématu, viz (Yudkowsky 2001)).
5. Geneticky upravený biologický objekt
V důsledku obrovského pokroku v genetické technologii, který nyní probíhá, může být možné, že tyran, terorista nebo šílenec vytvoří „virus doomsday“: organismus, který kombinuje dlouhou latenci s vysokou virulencí a letalitou (National Intelligence Council 2000).
Nebezpečné viry mohou být dokonce pěstovány neúmyslně, jak nedávno prokázali australští vědci, kteří vytvořili modifikovaný virus mousepoxu Ectromelia se 100% smrtelností, když se snažili navrhnout antikoncepční virus pro myši, které mají být použity k hubení hlodavců (Nowak 2001)). Ačkoli tento konkrétní virus neinfikuje člověka, existuje podezření, že podobné změny by zvýšily letalitu lidského viru neštovic. K potenciálnímu nebezpečí zde přispívá to, že studie byla rychle zveřejněna v otevřené vědecké literatuře (Jackson a kol. 2001: 1479-1491). Je vzácné vidět informace vytvořené v otevřených biotechnologických projektech v tajnosti, bez ohledu na to, zdajak závažné potenciální nebezpečí má - a totéž platí pro výzkum v nanotechnologiích.
Genetická medicína povede k lepším lékům a vakcínám, ale není žádná záruka, že obrana bude s trestným činem držet krok. (Dokonce i náhodně generovaný virus mousepoxů měl u očkovaných myší 50% úmrtnost.) Nakonec může být nebezpečí biologických zbraní pohřbeno pokrokem nanomedicíny, ale i když nanotechnologie má obrovský dlouhodobý potenciál pro medicínu (Freitas 1999), má svá vlastní nebezpečí.
6. Nesprávné použití nebezpečné nanotechnologie („šedá goo“)
Možnost nehody nelze nikdy zcela vyloučit.
Existuje však mnoho způsobů, jak se vyhnout nehodám zabíjení lidí pomocí spolehlivých technických řešení. Nebezpečnému použití samoreprodukčních systémů lze zabránit; můžete dát nanoboty závislost na použití nějaké vzácné chemikálie, která v přírodě neexistuje; můžete je uzavřít v uzavřeném prostředí; mohou být navrženy tak, aby jakákoli mutace téměř jistě způsobila, že nanobot přestal fungovat (Foresight Institute 2000). Z tohoto důvodu je náhodné zneužití nanobotů mnohem méně znepokojivé než škodlivé zneužití (Drexler 1985; Freitas 2000; (Foresight Institute 1997-1991)).
Rozdíl mezi náhodným a úmyslným se však může stát rozmazaný. Ačkoli se v zásadě jeví jako možné učinit globální nanotechnologické katastrofy velmi nepravděpodobné, konkrétní okolnosti mohou bránit realizaci této ideální úrovně bezpečnosti. Porovnejte nanotechnologie s jadernou technologií. Z technického hlediska je samozřejmě možné použít jadernou technologii pouze pro mírové účely, například pouze v jaderných reaktorech, které mají nulovou pravděpodobnost zničení celé planety. V praxi se však ukázalo, že není možné vyhnout se využívání jaderné technologie také pro výrobu jaderných zbraní, které vedly k závodům ve zbrojení. S jaderným arzenálem vysokého stupně připravenosti na boj je nevyhnutelné vysoké riziko náhodné války. Totéž se může stát s nanotechnologiemi:mohou být nuceni sloužit vojenským účelům způsobem, který by mohl způsobit bezprostřední riziko vážných nehod.
V některých situacích může být dokonce strategicky výhodné, aby se záměrně učinila určitá technologie nebo kontrolní systém rizikovým, například aby vytvořila „zásadně nepředvídatelnou hrozbu, ve které vždy existuje prvek náhody“- (Schelling 1960).
7. Něco neočekávaného
Potřebujeme takovou sjednocující kategorii. Bylo by hloupé uvěřit, že jsme již vymysleli a předpovídali všechny významné hrozby. Budoucí technologické nebo vědecké objevy by mohly snadno vytvořit nové způsoby, jak zničit svět.
Některá předvídatelná rizika (a proto nikoli z této kategorie) byla vyloučena ze seznamu explozí kvůli skutečnosti, že se zdají být příliš nepravděpodobné příčiny globální katastrofy, jmenovitě: sluneční erupce, supernovy, exploze a sloučení černých děr, gama paprsky, vypuknutí v galaktickém centru, supervolcanoes, ztráta biologické rozmanitosti, zvýšené znečištění ovzduší, postupná ztráta lidské schopnosti se rozmnožovat, a mnoho náboženských doomsday scénářů. Hypotéza, že jednoho dne dosáhneme „osvícení“a spácháme kolektivní sebevraždu nebo se přestane množit, jak VHEMT (Dobrovolné hnutí za vyhubení člověka) obhajuje naději (Knight 2001), se jeví jako nepravděpodobná. Pokud ano,bylo by lepší neexistovat (jak řekl Silenus králi Midasovi v řeckém mýtu a jak argumentoval Arthur Schopenhauer (Schopenhauer 1891), ačkoli z důvodů specifických pro jeho konkrétní filosofický systém, nepokoušel se o sebevraždu), pak bychom tento scénář nepovažovali za globální katastrofa. Předpoklad, že být naživu, není špatnou věcí, by měl být v definici explozí považován za implicitní předpoklad. Falešná obecná sebevražda je riziko existence, i když její pravděpodobnost se zdá být extrémně malá. (Více o etice lidského vyhynutí viz kapitola 4 (Leslie 1996: 26).)že život není špatný, měl by být v definici explozí považován za implicitní předpoklad. Falešná obecná sebevražda je riziko existence, i když její pravděpodobnost se zdá být extrémně malá. (Více o etice lidského vyhynutí viz kapitola 4 (Leslie 1996: 26).)že život není špatný, měl by být v definici explozí považován za implicitní předpoklad. Falešná obecná sebevražda je riziko existence, i když její pravděpodobnost se zdá být extrémně malá. (Více o etice lidského vyhynutí viz kapitola 4 (Leslie 1996: 26).)
8. Katastrofy v důsledku fyzikálních experimentů
Návrháři atomové bomby v Manhattanu se obávali, že výbuch by zapálil atmosféru, mají moderní protějšky.
Existují spekulace, že experimenty na budoucích vysokoenergetických urychlovačích částic mohou způsobit destrukci metastabilního stavu vakua, ve kterém může být náš vesmír umístěn, a přeměnit jej v „skutečné“vakuum s nižší hustotou energie (Coleman, Luccia 1980: 3305-3315). To vytvoří rozšiřující se bublinu úplného zničení, která se bude šířit po celé galaxii i za ní rychlostí světla a během cestování se roztrhne veškerá hmota.
Další myšlenkou je, že experimenty s urychlovačem by mohly vytvořit negativně nabité, stabilní „strangelety“(hypotetická forma jaderné hmoty) nebo vytvořit mikroskopickou černou díru, která se vrhne do středu Země a začne spotřebovávat zbytek planety (Dar et al. 1999: 142-148). Takové scénáře se zdají nemožné na základě našich nejlepších fyzikálních teorií. Důvodem, proč provádíme experimenty, je právě to, že nevíme, co se ve skutečnosti stane. Mnohem přesvědčivějším důkazem je, že hustoty energie dosažitelné v moderních urychlovačích jsou mnohem nižší než hustoty zjištěné v přírodě při srážkách kosmických paprsků (Dar et al. 1999: 142-148; Turner, Wilczek 1982: 633-634). Je však možné,že pro tyto hypotetické procesy jsou důležité jiné faktory, než je energetická hustota, a tyto faktory budou spojeny v budoucích nových experimentech.
Hlavní příčinou obav z „fyzických katastrof“je metaúrovňové pozorování, že objevy všech druhů nebezpečných fyzikálních jevů se neustále dějí, takže i když nyní jsou všechny fyzické katastrofy, o nichž uvažujeme, zcela nepravděpodobné nebo nemožné, mohou stále existují realističtější cesty ke katastrofě čekající na objevení. Zde uvedené nejsou ničím jiným než ilustracemi obecného případu.
9. Přirozeně se vyskytující nemoc
Co kdyby byl AIDS nakažlivý jako nachlazení?
Existuje několik funkcí moderního světa, díky nimž může být globální pandemie mnohem pravděpodobnější než kdykoli předtím. Cestování, obchod s potravinami a městský život se v moderní době výrazně zvýšili, což novému onemocnění usnadňuje rychlou infekci většiny světové populace.
10. Kolize s asteroidem nebo kometou
Existuje reálné, ale velmi malé riziko, že budeme vyhlazeni dopadem asteroidů nebo komet (Morrison et al. 1994).
Aby mohlo dojít k zániku lidstva, může mít nárazové těleso průměr více než 1 km (a pravděpodobně 3 až 6 km.). Země, a alespoň některé z nich byly pravděpodobně způsobeny srážkami. (Leslie 1996: 81 f). Zejména vyhynutí dinosaurů před 65 miliony let bylo spojeno s poklesem asteroidu o průměru 10-15 km na poloostrově Yucatan. Předpokládá se, že těleso o průměru 1 km nebo více se v průměru jednou za půl milionu let srazí se Zemí. Zatím jsme katalogizovali jen malou část potenciálně nebezpečných těl.
Dokážeme-li včas odhalit blížící se tělo, budeme mít dobrou šanci, že jej odkloní tak, že jej zachytí jadernou raketou (Gold 1999).
11. Nezastavitelné globální oteplování
Existuje scénář, že uvolňování skleníkových plynů do atmosféry může být procesem se silnou pozitivní zpětnou vazbou. Možná se to stalo s Venuší, která má nyní atmosféru a teplotu 450 ° C. Doufejme však, že budeme mít technologické prostředky, jak tomuto trendu čelit, než bude skutečně nebezpečné.
Nick Bostrom