Je zřejmé, kdy je problém získat vědecké údaje. Ukazuje se však, že je problém je uložit a zpracovat.
Celá řada vysoce profilovaných objevů s koliderem byla založena na analýze dat, jejíž objem je menší než jedno procento z celkového objemu generovaných dat.
Zbytek dat se nenávratně ztratí.
26,7-kilometrový srážkový tunel se používá k urychlení částic blízko rychlosti světla. Dva proudy částic pohybujících se v opačných směrech se srazí v bodech v prostoru monitorovaných citlivými senzory. I při nejnižší hustotě protonových paprsků obsahujících 120 miliard protonů je počet srážek 30 miliónů srážek za sekundu.
Podle informací zveřejněných na webových stránkách Evropské organizace pro jaderný výzkum CERN vytváří jedna miliarda srážek za sekundu datový tok 1 petabyte za sekundu. A to je v současné době největší problém, protože datový tok s takovou rychlostí nelze jednoduše uložit, natož jej správně zpracovat. "Při minimálním počtu 30 milionů srážek potřebujeme 2 000 petabajtů k uložení výsledků typické 12hodinové fáze srážky." Při 150 spuštěních kolizérů ročně by uložení všech dat vyžadovalo 400 000 petabytů, 400 exabajtů dat, což je obrovské množství, které v současné době nemůžeme ani uložit, “říká Andreas Hoecker, vědec CERN.
Řešením problému velkého množství dat je samozřejmě drastické snížení jejich objemu. A to se neděje na úkor algoritmů komprese informací, proto není dostatek energie všech procesorů existujících superpočítačů. Možnosti počítačové technologie dostupné v CERN umožňují ukládat výsledky pouze 1200 kolizí na každých 30 milionů takových případů. To je 0,004 procenta z celkového objemu a zbývajících 99,996 procent, jak je uvedeno výše, je navždy ztraceno.
Tento stav se jeví jako hrozný odpad, ale ne všechno je tak smutné. Jevy, o které mají vědci skutečný zájem, nevznikají tímto tempem. Například, Higgsův boson se objevuje rychlostí jednou za sekundu, zatímco jiné události se objevují při frekvenci desítek nebo stokrát za sekundu. Pro zvýraznění nejzajímavějších z celého datového toku jsou zahrnuty speciální „spouštěče“, zařízení, která provádějí předběžné filtrování dat hlavně na hardwarové úrovni. Tyto spouštěče jsou vyvíjeny pro každý konkrétní případ a jsou vyladěny v souladu s vlastnostmi hledaných částic, jako je Higgsův boson, pravý kvark, W a Z bosony atd.
Propagační video:
Při takovém provedení předběžného zpracování dat se samozřejmě ztratí některá zajímavá data spolu s horou zbytečných a nezajímavých „odpadků“. Zbývající informace však obsahují hlavně významná data a jejich relativně skromný objem již umožňuje dostatečně hluboké zpracování i v reálném čase.
Na závěr je třeba poznamenat, že řešení výše popsaného problému v žádném případě nezajišťuje možnost ukládání většinou zbytečných dat. Řešením problému je vytvoření nových senzorů pro srážce, které budou využívat nejnovější úspěchy moderních technologií a budou schopné proniknout do hlubin dosud neprozkoumaných oblastí fyziky. Mimochodem, některé z těchto senzorů se objeví na srážce v průběhu jeho příští modernizace právě probíhající. A zahájení modernizovaného srážce je naplánováno na rok 2025.