De deeltjestsunami

Wereldwijd computernetwerk moet speld in CERN-hooiberg vinden

Margriet van der Heijden

Interview | Zaterdag 15-03-2008 | Sectie: Overig | Pagina: 37 | Margriet van der Heijden

Voor de jacht op het Higgs-deeltje is zoveel rekenkracht nodig, dat nieuwe technologie ontwikkeld moest worden: duizenden computers vormen samen het grid. Margriet van der Heijden

Brand maar los, zegt Kors Bos aan de telefoon. Het is vrijdagavond. In zijn appartement in Saint Genis, aan de voet van de Franse Jura, zat Bos net naar atletiek op de televisie te kijken. Maar dat geeft niks.

Bos is gewend om, zodra nodig, om te schakelen naar zijn werk. De afgelopen anderhalf jaar heb ik zestig tot zeventig uur per week gewerkt, zegt hij. Dat is leuk hoor, geen stress. Alleen heb ik wel gezegd: dit is mijn laatste grote klus.

Bos (60) werkt bij het CERN, het Europese instituut voor deeltjesonderzoek in Genève. Hij is er de computation coördinator van het ATLAS-experiment. De ATLAS-detector is één van de vier reusachtige detectoren die bij het instituut in aanbouw zijn. Bos en zijn collegas moeten ervoor zorgen dat de meetgegevens uit deze detectoren straks ook wetenschappelijke resultaten opleveren. En dát is, hoe vanzelfsprekend het ook klinkt, bepaald een uitdaging.

We zijn op zoek naar een speld in een hooiberg, vertelt Bos. De vier detectoren hangen aan de enorme LHC-deeltjesversneller, die een omtrek van 27 kilometer heeft. Vanaf eind dit jaar zullen daarin wolkjes van protonen zich in tegengestelde richting spoeden met bijna de lichtsnelheid. De wolkjes worden zo gedirigeerd dat ze in het hart van de vier grote detectoren dwars door elkaar heen suizen, waardoor frontale proton-protonbotsingen optreden. Elke seconde een stuk of zeshonderd miljoen. Iedere botsing op zich leidt in de grote detectoren dan weer tot honderden of duizenden sporen: die worden in de vorm van karakteristieke meetsignalen achtergelaten door de deeltjes die tijdens zon botsing ontstaan.

Anders gezegd: als de vier experimenten vanaf volgend jaar op stoom zijn, leveren ze een berg data die zijn weerga niet kent. Een jaar meten (het streven is 18 uur per dag, acht maanden in een jaar, zegt Bos) zorgt voor tien- tot vijftien petabytes. Dat is tien tot vijftien miljoen gigabytes: een stapel cds met deze meetgegevens erop zou vijftien kilometer boven de Mont Blanc (4.811 meter) uittorenen.

De moeilijkheid zit in het bewerken van al die data, in het schiften, het analyseren en het reduceren ervan tot een helder resultaat. Liefst in de vorm van een stel botsingen met één herkenbare signatuur: die van het nog onbewezen Higgsdeeltje. Want dát deeltje is, volgens een overbekend cliché, de heilige graal van het elementaire deeltjesonderzoek. Het Higgsdeeltje zorgt ervoor dat materie zijn massa krijgt en vormt zo de kroon op het standaardmodel dat de bouwstenen van de wereld en de kosmos probeert te beschrijven.

En het is dus de speld in een hooiberg van twintig kilometer hoog.

Om zon berg data door te vlooien, zijn nieuwe concepten nodig. Dat was jaren geleden al duidelijk.

Wat er nog bijkomt: het signalement van het Higgsdeeltje in bijvoorbeeld de ATLAS-detector is pas te herkennen als het gedrag van die gigantische detector, met zijn duizenden kabeltjes en stukjes elektronica, helemaal begrepen is. Tot in detail moet bekend zijn hoe de detector reageert op elk deeltje dat er maar doorheen kan vlieden. En zoveel begrip ontstaat alleen door de hele detector in een computerprogramma na te bootsen, met deeltjesbotsingen en al.

Volgens de Monte-Carlomethode, vernoemd naar de stad van de casinos, worden miljoenen deeltjesbotsingen, van elk mogelijk type, in willekeurige volgorde gesimuleerd. In die simulatie is natuurlijk bekend waar de deeltjes uit die botsingen in de detector opduiken. Daarna ga je die nagebootste botsingen telkens vergelijken met de echte meetgegevens, zegt Bos. Ofwel: Er is nog een tweede grote gegevensstroom, van al die gesimuleerde botsingen.

Dat allemáál behappen kon alleen, zo dachten experts, door wereldwijd op wetenschappelijke instituten rekenkracht, computergeheugens, harde schijven en tapes te mobiliseren. Snelle internetverbindingen moesten die dan met elkaar verknopen.
Slimme software zou de gegevensstromen in goede banen moeten leiden en de verschillende computersystemen zonder spraakverwarring laten samenwerken. Een geavanceerde boekhouding, softwarematig, moest er bovendien voor waken dat de gegevens van de vier experimenten steeds naar de juiste tapes werden weggeschreven en aan de bedoelde computerbewerkingen werden onderworpen.

Sinds 2000 werd daarvoor een enorme infrastructuur op touw gezet, een grid zoals computerexperts het noemden. De Europese Unie stak er tientallen miljoenen in. Want van een grid, zo dachten de subsidiegevers, zouden ook onderzoekers in andere disciplines profiteren. Hoe slimmer de grid-software, des te efficiënter zou op den duur de gezamenlijke rekenkracht van Europese onderzoeksinstituten, en wellicht zelfs wereldwijd, benut kunnen worden.

De verwachtingen waren van het begin af hoog gespannen, zegt Jeff Templon, Amerikaan van origine, collega van Kors Bos en werkzaam bij het Nederlandse instituut voor deeltjesonderzoek, het NIKHEF inAmsterdam. Steeds werd de vergelijkinggetrokken met het World WideWeb, dat ook op het CERN ontstond, vertelthij. Ofschoon dat web aanvankelijkbedoeld was als gereedschap voor deeltjesonderzoekers,veroverde het de wereld.Ook het grid, zo was dan de suggestie,zou voor zon doorbraak in internetgebruikmoeten gaan zorgen.

Maar het web, zegt Templon, ontstond toen één jongen, Tim Berners Lee, een idee had waar in eerste instantie niemand in geïnteresseerd was. Hij kon dus in alle rust werken. Wij stonden meteen in de schijnwerpers. Dat heeft, beamen de andere grid-experts, druk op het project gelegd.

Het idee dat het grid van de deeltjesfysici op CERN dé nieuwe wereldwijde standaard voor megaberekeningen zou worden, is dan ook niet uitgekomen.

In feite is de basisgedachte achter een grid, het gedistribueerd rekenen, een logisch vervolg op het internet, zegt Ron Trompert, grid-expert bij het grote rekencentrum SARA in Amsterdam. Het werd al halverwege jaren de jaren negentig bedacht. Met de komst van snelle computers én snelle verbindingen, ontstonden daarna als vanzelf op meerdere plaatsen tegelijk grids.

Een gevolg daarvan is dat het grid van de deeltjesfysici - officieel: het Worldwide LHC Computing Grid (WLCG) - nu een lappendeken is, zegt Trompert. In het WLCG zijn het Open Science Grid uit de Verenigde Staten, het NorduGrid van Scandinavië, het Japanse NAREGI en het Europese EGEE-grid verenigd. En het laten samenwerken van al die grids, elk met hun eigen boekhouding en regelsoftware, is absoluut lastig en vergt creatieve oplossingen, zegt hij.

Maar kijk, merkt grid-collega Templon op, Berners Lee kon vooraf een standaard bedenken voor de hele logistiek van het world wide web. Terwijl het web groeide, nam iedereen die standaard automatisch over. Een voorbeeld zijn de IP-nummers waaraan elke individuelecomputer te herkennen is, en dedoordachte communicatieprocedures.Achteraf een standaard opleggen is vééllastiger, zegt hij. Als je zegt, we willenin de EU de standaard overnemen die inde VS ontwikkeld is, of omgekeerd, dankrijg je daar de handen niet voor op elkaar.

Achteraf een standaard opleggen is véél lastiger, zegt hij. Als je zegt, we willen in de EU de standaard overnemen die in de VS ontwikkeld is, of omgekeerd, dan krijg je daar de handen niet voor op elkaar.

Toch is er de afgelopen zeven jaar ook indrukwekkend veel bereikt, vindt op het CERN Maarten Litmaath. Hij werkt er sinds jaar en dag aan het WLCG en is volgens collegas een ware grid-goeroe. Zijn werkkamer ligt achter het CERN Computer Centre, een van de grijze loodsen bij de Geneefse voorstad Meyrin. Daar staan rijen computers, rekken harde schijven en tapesilos met duizenden tapes en met robotarmen om die tapes te pakken of op te bergen.

Juist vanwege die geavanceerde opbergsystemen, en ook omdat er zoveel op past (700 gigabyte) gebruiken we tapes, geen cds, vertelde Litmaath bij een bezoek, alweer een tijdje geleden. Straks staan er dus de ruwe meetgegevens uit de vier experimenten op. In de zacht gonzende computers ondergaan die ook een eerste grove bewerking; tijdens een proces dat dag in dag uit en 24 uur per dag doorgaat.

Daarna worden de voorbewerkte gegevens via het WLCG de wijde wereld ingestuurd. Om te beginnen via de supersnelle verbindingen die de ruggegraat van het WLCG vormen. Zij loodsen de data met minstens 10 gigabit per seconde naar Karlsruhe, Taipei, Lyon, New York of Amsterdam.

Vooraf is afgesproken welke data naar welke stad gaan. Elf grote onderzoeksinstituten zullen volgens een vooraf vastgelegde verdeelsleutel ieder een groot deel van de gegevens op tape opslaan. De tapesilo bij het Amsterdamse rekencentrum SARA bevat straks bijvoorbeeld vijftien procent van de ATLAS-gegevens. Daarnaast hebben de elf instituten rekenkracht gereserveerd om de data verder te bewerken. Om ze, met de laatste inzichten in de detector, nog eens bij te slijpen. En ook dat gaat straks uur na uur en dag na dag door.

Via kleinere vertakkingen (1 gigabit per seconde of, een tree lager,100 megabit per seconde) kunnen fysiciop veel meer instituten daarna de gegevenskopiëren, ze bekijken of opdrachtgeven ze ergens op het grid te laten analyseren.Maar er is meer.

Op al die kleinere instituten draaien, alweer nagenoeg continu, ook de Monte-Carloprogrammas die de detectoren en de deeltjesbotsingen daarin nabootsen. De gegevens die ze generen, stromen naar de elf ruggegraat-instituten terug. Daar worden ze opgeslagen en gebruikt bij het begrijpen van de data.

Al met al: het netwerk omspant de wereld. Het verbindt 250 instituten in 45 landen. Het bundelt rekenkracht die overeenkomt met 41.000 rekeneenheden (als een rekeneenheid het equivalent is van ongeveer één Pentium-4-processor, zoals in een pc). En het wordt overeind gehouden door ruim 800 ingenieurs en onderzoekers.

Het is dus, zegt Litmaath, waarschijnlijk nog steeds correct dat deeltjesfysica dé discipline is om grootschalige grid-technologie te ontwikkelen. Geen enkele andere discipline heeft ervaring met experimenten van deze omvang en op deze schaal.

Maar, zegt hij ook, ik vind het toch een beetje triest dat we niet verder gekomen zijn. Na zeven jaar vraag ik me geregeld af: waarom zijn de basiscomponenten nog niet klaar?

De boekhoud- en regelprogrammas die het grid stroomlijnen, bedoelt hij. Ze zijn er wel, en ze werken ook. Maar met relatief veel onderhoud op de verschillende instituten. Niet vlekkeloos en als vanzelf, zoals je zou willen bij een geolied grid, zegt Litmaath. Het hoort, vermoedt hij, bij zon groot multinationaal project, waarin heel veel onderzoeksinstituten elk een stukje voor hun rekening nemen. Dat is bijna niet meer centraal aan te sturen.

Ook de subsidiëring speelt mee, denkt hij. Die verliep binnen het Europese EGEE-project: Enabling Grids for E-Science. Kijk, daaraan meedoen levert geld op. Maar ik heb weleens de indruk dat sommige instituten op te veel projecten hebben ingetekend. Of te klein zijn om écht mee te kunnen doen. Dan kan één systeembeheerder uiteindelijk maar een kwart van zijn tijd aan grid-ontwikkeling besteden. En als hij vertrekt is in één klap alle expertise weg.

Collegas van Litmaath delen die kritiek, én relativeren die. Het gevoel steeds een beetje te laat te zijn, hoort bij een zo langdurig project, denkt Bos. Maar alleen al om praktische redenen kun je niet jaren van te voren beginnen. De ontwikkelingen in soft- en hardware gaan zo snel, dat al je werk al weer verouderd zou zijn voor de metingen begonnen.

En toch, ondanks alles, zullen de meetgegevens verwerkt worden, verzekeren Bos en zijn collegas steeds: Linksom of rechtsom.

Eerst moet nog wel de hoeveelheid rekenkracht verdubbeld worden. En nee, dat dat op het laatst gebeurt, is niet vreemd, zegt Trompert. Ìnstituten stellen de aanschaf van computers zo lang mogelijk uit omdat die nog steeds elk jaar krachtiger worden.

Daarna gaat de verdubbeling problemen geven. Meer rekenkracht leidt tot meer rekenopdrachten, en regelsoftware raakt bij zulke taakverzwaringen steevast overbelast. Trompert: Maar dat is oplosbaar.

Het lastigste zal zijn om alle rekenkracht te verzamelen. Het is intussen wel zeker dat instituten in de Verenigde Staten en Groot Brittannië de beloofde rekenkracht niet kunnen inkopen vanwege harde bezuinigingen. We moeten dus misschien in de voorbewerking al meer data weggooien, zegt Bos, om zo het grid minder te belasten. Dat moeten we goed afwegen, want als we eenmaal meten draait alles volcontinu. Dan is er geen speelruimte meer om ruwe data, vanwege voortschrijdend inzicht opnieuw door de molen te halen.

Nou ja, het zal wel gaan zoals we gewend zijn op CERN, zegt Litmaath. In het begin is er hectiek, daarna wordt het routine. Alleen: dat uit die routine ook een wereldwijde grid-technologie voortkomt, vergelijkbaar met het world wide web, die belofte wordt niet ingelost, geven de experts toe. Enfin, als ze de Higgs maar wel vinden.

De traditionele wetenschap, science 1.0, heeft helden als Galileo, Newton en Einstein, schreef conputerspecialist Ben Shneiderman vorige week in Science. Hun methode, het formuleren en toetsen van hypotheses, vormt nog steeds het hart van de wetenschap. Maar de werkwijze van onderzoekers verandert, schrijft Shneiderman. Meer en meer vormen zij grote netwerken, waarin zij hun gegevens delen. Daarmee worden andere zaken belangrijk, zoals wederzijds vertrouwen, gemeenschappelijke verantwoordelijkheid en empathie. Het zijn kenmerken van wat Shneiderman science 2.0 noemt. Gridtechnologie is een begin van science 2.0. Grote groepen onderzoekers delen geheugencapaciteit, rekenkracht en meetgegevens via computercentra die als roosterpunten op het internet verspreid liggen. Ook onderzoekers uit andere disciplines dan de kosmopolitische en computergeoriënteerde deeltjesfysica, doen dat steeds vaker. Twee jaar geleden berekenden biomedici bijvoorbeeld op het Europese grid, (EGEE, enabling grid for E-science), voor 300.000 moleculen wat hun effect was op vogelgriep. Voor het Nederlandse deel van dit grid geldt hetzelfde. Het heeft, onder de noemer Big Grid, specifiek Nederlandse uitbreidingen; de overheid steekt er gedurende vier jaar dertig miljoen euro in. Geesteswetenschappers bewaren er intussen gescande archieven in en maken die doorzoekbaar. En een nieuwe snelle lijn tussen Groningen en Amsterdam moet de komende jaren de meetgegevens uit de LOFAR-telescoop in het noorden van Nederland het Big Grid insturen. Het idee van een grid is enigszins terug te vinden bij muziekuitwisselingsprogrammas als limewire. De pcs waarop limewire geïnstalleerd is, liggen ook als roosterpunten op het internet, herkennen elkaar en zorgen samen voor een gemeenschappelijk geheugen: daar valt muziek uit te kopiëren, van de ene naar de andere pc. Het grid onderscheidt zich onder meer doordat de roosterpunten hier bestaan uit grote instituten met veel rekenkracht en geheugencapaciteit. Die zijn geld waard en daarom niet toegankelijk voor jan en alleman. Het grid is een exclusieve club met ballotage. Leden die een rekenopdracht verstrekken of tapes willen volschrijven moeten zich iedere keer weer identificeren met een elektronisch paspoort en toegangscodes. Een uitgebreide elektronische boekhouding laat dat volautomatisch verlopen én houdt bij waar rekenkracht beschikbaar is. Andere software zorgt ervoor dat de enorme rekenopdrachten steeds als vanzelf draaien op verschillende computers, met hun eigen besturingssystemen. Het grid is ook daarin veel complexer dan limewire.

Foto-onderschrift: Computerkabels op het CERN, het Europese instituut voor deeltjesonderzoek in Genve. De computers op het CERN zijn verbonden met computers op 250 onderzoeksinstituten in 45 landen. Al die rekenkracht is nodig bij de nieuwste deeltjesexperimenten.