Der komplizierte Geburtsweg einer Teilchenphysik-Publikation am Beispiel des Catino

12
Kommentare

Illustration zum Catino. Hier sind, wie ihr sicherlich bemerkt haben werdet, Signal und Monte Carlo vertauscht. Leider hat eine Quantengravitationswelle das Programm durcheinander gewirbelt. Sorry.

Ein Abstract aus einem internen ATLAS-Paper erschütterte letzte Woche die Welt der Teilchenphysik. Der »Leakstract« beschreibt das angebliche Auffinden des lange gesuchten Higgs-Bosons. Gestern kümmerten wir uns darum.

Weshalb es interne Dokumente gibt und wie aus einer kleinen Analyse eine Veröffentlichung wird, die den Stempel des gesamten Experiments mit seinen tausenden Mitarbeitern trägt, das erläutern wir euch heute in der kleinen Publikationsschule des physikBlogs.

Particles' days out at CERN
Aufgeklapptes CMS-Experiment mit Teilchen.

Dazu wollen wir der Geburt des fiktiven Catino-Teilchens (s.o.) samt passendem Paper »On the mass distribution of certain particles leading to the discovery of the Fourth Generation Leptoquark Catino« hautnah beiwohnen.

Der folgende Verlauf bezieht sich darauf, wie er beim CMS-Experiment ablaufen würde. Mehr oder weniger gilt das wohl auch für ATLAS und andere große Teilchenbeschleunigerexperimente. Aber da kennen wir uns nicht so genau aus. Selbst bei einem einzelnen Experiment ist das schon kompliziert genug. Die Beschreibung hier beruht auf Annex 6 der CMS-Verfassung1.

Phase 1: Die Frucht der Daten

Vermutlich ist es spät, das Licht gedämpft, die Luft knistert. Lüfter scharren, Kaffeetassen bedecken den Tisch. Zweisamkeit erfüllt den Raum: Der Experimentator und sein Computer.
Der Experimentator streckt seine Finger und legt sie vorsichtig auf die Tastatur, um die letzten Zeilen Datenanalyse zu implementieren. Aus unzähligen vorherigen Versuchen, aus hunderten Grafiken und tausenden Zeilen Code weiß er, dass nun der Moment gekommen ist, bei dem sich alles entscheidet.
Hatte er damals, als er per Zufall diesen Fliegendreck-artigen Fleck in der Zeichnung beobachtete, einen richtigen Riecher gehabt? Oder waren die letzten Monate nervenkostende Auseinandersetzung nur großartig verschwendete Zeit?
Enter.
Die Maschine werkelt. Einsen und Nullen verschmelzen. Der Monitor flackert.
In einem Moment voller Anspannung, am Höhepunkt der Ausführung, endlich:
Break. Segmentation Violation.
Semikolon vergessen. Wieder mal. Also noch mal: Enter.
Dieses Mal ist alles korrekt eingegeben. Das Programm wird ausgeführt.
Und es zeigt das, wonach sich Experimentator und Rechenmaschine in unzähligen schlaflosen Nächten sehnten: Der vorher kleine Hinweis entpuppt sich zu einer ernsthaften Besonderheit. Das Feature ist tatsächlich vorhanden.
Die Erhöhung im Spektrum der invarianten Masse von strahlachsennahen b-Quarks, leichten Jets und sieben Photonen, die später als Catino bekannt werden wird, ist gefunden. Die Zellteilung der Ideen möge beginnen.

Ungefähr so kann man sich das vorstellen. Nur weniger romantisch. Und mehr langwierig.

Natürlich gibt es neben dem Zufall noch mehr Möglichkeiten, um etwas Neues zu entdecken. Häufig geht eine theoretische Vorhersage der experimentellen Findung voraus und es wird gezielt nach dem neuen Teilchen gesucht. Eine weitere Möglichkeit ist gezielt ungezieltes Suchen. Dabei werden viele, viele, ganz ganz viele Daten mit speziellen Werkzeugen2 untersucht, in der Hoffnung, dass sich irgendwann Besonderheiten herauskristallisieren.

Phase 2: Arbeitsgruppe

Etwas, was man andauernd im CERN macht: In Meetings sitzen. Bild via CERN-Love-Blog.

Hat der Experimentator Programmcode und Ergebnisse noch ein paar mal geprüft, kann er damit zur nächsten Station gehen: Seine Arbeitsgruppe.

Das sind meistens Leute, die sich ähnlich gut auskennen, aber an einem leicht anderen Thema arbeiten. So wie Automechaniker A hinten rechts nach der Bremse schaut, während Automechaniker B vorne links den Reifen wechselt. Mit der Gruppe wird vermutlich viel diskutiert und jeder kleinste Schritt des Analysators hinterfragt und umgeschlagen. Manchmal gibt es neben der lokalen, heimischen Arbeitsgruppe, mit der man sich Büro und Flur teilt, auch noch eine international verstreute, größere Fassung der Arbeitsgruppe.
Hier werden ebenfalls Ergebnisse präsentiert, mögliche Fehler oder Effekte diskutiert und so lange iteriert, bis nur noch die Wahrheit übrig bleibt: Die Erhöhung muss das Catino sein. Es bleibt einfach keine andere Schlussfolgerung.
Nun heißt es ran an die Schreibmaschine.

Phase 3: Analysis Note

Der erste Schritt, mit dem es raus geht aus dem familiären Kreis der Arbeitsgruppe, ist die Analysis Note (AN). Diese Notiz ist mitnichten ein gelbes Post-It, das man auf die Tür zum Gebäude klebt. Die Note beschreibt das Vorgehen zur Entdeckung des Catinos im Detail. Seitenlang. Welche Datensätze wurden benutzt? Mit welchen Parametern wurden sie weiterverarbeitet? Welche Softwareversion wurde verwandt? Wie sind die Schnitte gesetzt, mit denen die Daten gefiltert wurden? Wie wurden die Fehler ermittelt? Wie groß ist die Systematik?

Mo playing drum
Auch ein häufig benutztes internes Mittel der Kommunikation von Teilchenphysikern. Bild von Rob Baird.

Die Analysis Note ist die erste, strikt interne Vorfassung eines eventuellen Catino-Papers. Sie soll Menschen, bei denen sich die großartige Entdeckung des Catinos noch nicht durch das Luftpostsystem herumgesprochen hat, die nötigen Details liefern, dass sie den Vorgang verstehen und replizieren können. Ein Mindestmaß an Qualität wird schon auf dieser niedrigsten Ebene gewahrt, da die Arbeitsgruppe der internen Veröffentlichung zustimmen muss.

Phase 4: Pre-Approval

Ist die Analysis Note weit genug gediehen, kann sie zum Pre-Approval der Analyse eingereicht werden. Dazu gehört ein Meeting der Physik-Arbeitsgruppe, bei dem erstmals Gruppenvorsitzende und andere wichtige Menschen anwesend sind. Hier wird die Analyse noch einmal genau unter die Lupe genommen, so wie sie in der Analysis Note beschrieben wurde. Ebenfalls wird die Note3 in Wortlaut und Struktur bearbeitet, so dass sich daraus langsam eine öffentlichere Version entwickeln kann.

Mindestens eine Woche vor dem Meeting muss die Note allen Teilnehmenden zugänglich gemacht und entsprechend beworben werden. Alle Änderungen, die innerhalb der Woche in die Präsentation und damit die Analyse einfließen, müssen dort kenntlich gemacht werden. So dass die Streber, die sich minutiös vorbereitet haben, keinen cholerischen Anfall bekommen, wenn auf einmal alles ganz anders ist und das Catino plötzlich Caton oder Dogino heißt. Tut es nicht, zum Glück.

Zur Analyse gibt es an der Stelle nicht nur eine passende Note und ein Pre-Approval-Meeting, sondern auch ein Analysis Review Committee (ARC). Das begleitet die Analyse ab dem Zeitpunkt und schaut, dass Stil und Qualität des Experiments eingehalten werden. Darin sitzen Spezialisten aus dem Publikationskomitee, der thematisch passenden Physik-Arbeitsgruppe und ein etwas höheres Tier des Experiments.

Im Pre-Approval-Meeting wird, natürlich, festgestellt, dass die Analyse mit hervorragender Genauigkeit durchgeführt wurde und das Catino ein ganz sonderbar haariges und wuschiges Teilchen ist, was unbedingt ans Geburtsorgan weitervermittelt werden muss.

Phase 5: Physics Analysis Summary

Diese Phase und die nächste Phase, irgendwie auch die vorherige Phase, laufen parallel ab. Aber irgendwie müssen wir die Phasen ja hinbekommen, ne?
Die Analysis Note, die die Analyse für interne Zwecke beschrieben hat, evolutioniert sich nun zu einem Physics Analysis Summary (PAS). Wichtigster Unterschied: Den Physics Analysis Summary sehen später auch externe Physiker. Sie ist die Dokumentation der Entdeckung des Catinos und, je nach Wichtigkeit des neuen Teilchens, die Vorarbeit für eine Veröffentlichung als Paper oder die einzige Veröffentlichung dazu. Es steht wohl außer Frage, was aus unserem Catino-PAS wird, oder?

Der Physics Analysis Summary muss also entsprechend genau geschrieben werden. Drei bis vier Seiten ist die Maximallänge — darüber hinaus liest, wie bei Blog-Artikel mit jenseits von 1000 Wörtern, eh keiner mehr.

Phase 6: Approval Meeting

Frühestens zwei Wochen nach dem Pre-Approval-Meeting kann ein Approval-Meeting einberufen werden4. Zum Zeitpunkt der Einladung wird der Physics Analysis Summary gelockt, also abgeschlossen. Kleine Änderungen darin, im Vergleich zur Analysis Note, müssen ausgewiesen sein. Bei großen Änderungen heißt’s zurück auf Feld »Pre-Approval«, ohne Einzug von 4000 Euro.

Beim Approval Meeting ist das ganze Experiment eingeladen und darf Input geben. Ist auch diese Hürde überwunden und die Analyse findet Zustimmung, werden eventuelle Änderungen in den Physics Analysis Summary eingearbeitet5 und der PAS schließlich öffentlich zugänglich auf einer passenden Webseite gepostet.

Ab jetzt darf auch außerhalb der Kollaboration mit den Daten und Plots gearbeiteten werden — so lange der Zusatz »vorläufig« immer nervig-prominent vom wichtigen Plot ablenkt.

Phase 7: Publikationsvorbereitung

Paper-Liste von CMS auf dem CERN Document Server, aber soweit sind wir noch nicht ganz.

Das Catino ist geboren und hat als Frischling das erste Mal die Welt jenseits des Experiments erblickt. Es erlebt nun seine Kindheit zur Vorbereitung der eigentlich Publikation.

Der Physics Analysis Summary evolutioniert weiter, zum Publikationsentwurf, dem »Draft«6. Hier wird besonders genau gearbeitet und aller Experiment-eigener Slang entfernt. Ziel: Ein Nicht-CMS-Teilchenphysiker muss verstehen, wieso gerade sieben Photonen genommen wurden und weshalb das Catino deswegen das haarigste aller Teilchen ist. Außerdem sollte auch von der Form her der Standard des Experiments eingehalten werden.

Meist sind all die Kriterien bereits beim PAS erfüllt, so dass der Schritt zum Draft kein großer mehr ist. Alles sollte nur jetzt wirklich sauber sein, damit die ganze Welt das Catino auch ernst nimmt und sich nicht an irgendwelchen Formfehlern aufhängt.

Die ganze Kollaboration wird noch ein mal benachrichtigt und hat die Chance, über den Draft zu meckern. Es wird ein zweiter Draft erstellt, der alle seit dem ersten Draft geführten Diskussionen und Änderungswünsche berücksichtigt. Die Kurve des Catino-Signals ist jetzt ein anderes blau, weil das alte blau auf dem Sekretariatsdrucker zu sehr nach ATLAS aussah.
Der zweite Draft sollte so gut wie nicht mehr von der Finalversion unterscheidbar sein.

Phase 8: Publikation

Ein Team aus Autoren, Publikationskomitee und Analysis Review Committee trifft sich und schaut sich den zweiten Draft an. Wenn alles zur Zufriedenheit, das Catino-Signal mit dem richtigen blau gesegnet und mit absoluter Sicherheit kein »NOTE TO SELF: RECHECK THIS TWICE« mehr im Literaturverzeichnis des Dokuments ist, beschließen sie, den Draft zu publizieren. Man einigt sich auch auf einen Titel, hier passender Weise: »On the mass distribution of certain particles leading to the discovery of the Fourth Generation Leptoquark Catino.«

Tada!

Publizieren können sie aber nicht selbst, denn der Kollaboration sitzt ein gewählter Sprecher vor, der das letzte Wort hat. Sie können ihm nur den Vorschlag unterbreiten, den Catino-Draft zu veröffentlich. Aber dem wird er natürlich nachkommen, wir befinden uns hier schließlich in einer repräsentativen Demokratie.

Freddy
Das Catino im Pier Re-View. Bild von skithund.

Der Draft wird zum Peer Review veröffentlicht und ist nun ein Paper. Bevor es auch die Review-Phasen von Nicht-CMS-Physikern durchlaufen hat und in Physik-Journalen auftaucht, findet man es in Pre-Publikations-Plattformen, wie arXiv oder beim CERN direkt.

Das Catino-Paper ist in seiner Adoleszens und muss sich all den neuen großen Gefahren da draußen stellen7. Die ganze Teilchenphysik-Welt, aber natürlich auch andere Physiker oder interessierte Laien stürzen sich nun auf das neue Paper: Üblicherweise wird es wohlwollend-skeptisch betrachtet8.
Erst wenn es auch dies überwunden hat, ist es erwachsen geworden und das Catino zum vollwertigen, neuen Teilchen aufgestiegen.

Herzlichen Glückwunsch.

Noch mehr

Natürlich war das noch nicht alles, was möglich ist.
Es gibt noch den »Fast Track«, bei dem der ganze Prozess beschleunigt wird — eingeführt, um auf die Veröffentlichung von KonkurrenzMit-Experimenten zu reagieren, oder die fingernagelbrennende Entdeckung des Higgs durchzudrücken.
Es gibt spezielle technische Detektor-Notes, für die ähnliche Prozesse gelten, und rein interne Notes, die es erst gar nicht bis nach draußen schaffen. Und für Doktor- und Diplomarbeiten gilt auch noch mal etwas anderes.

Und der Leakstract…? Zum Abschluss etwas Pathos

Irgendwo auf dem Weg, relativ am Anfang, hat jemand den Abstract einer solchen Note bei ATLAS geklaut, die ganzen Qualitätssicherungsphasen übersprungen und ihn der Öffentlichkeit preis gegeben9.
Kein netter Stil.
Bei so einem großen Experiment funktionieren Veröffentlichungen nur, wenn sie nach einem festen Prinzip durchgeführt werden. Denn nur dann kann dort die Unterschrift aller Mitglieder drunter stehen, die es verdient haben. Und nur mit dieser Unterschrift ist auch derjenige berücksichtigt, der hervorragende Arbeit leistete, als er sich vor zehn Jahren Siliziumdetektoren mit äußerst guter Auflösung ausdachte.

Ein Überbrücken der Gremien publiziert nicht nur physikalische Ereignisse, die ungetestet und damit im schlimmsten Fall ein Programmierfehler undoder Quatsch sind, sondern führt das ganze Prinzip einer solchen Korporation mehr oder minder ad absurdum. Jeder arbeitet für den Anderen mit, jeder macht ein kleines Zahnrädchen der Maschine, die erst mit allen Teilen die großartige Leistung erbringt. Erforscht die Maschine etwas tolles, dann hat jeder daran mitgewirkt. Und er muss sichergestellt sein, dass nichts Falsches unter seinem Namen die Runde macht.

Interne Diskussionen müssen sein. Bei einem derart großen Experiment heißt »intern« aber, dass dort ein paar tausend Menschen mitmachen können — und sollen! Das funktioniert nur, wenn sich alle darauf verlassen können, dass alles Interne auch so bleibt: intern10.

Man kann sicher sein: Wenn es an der Stelle tatsächlich den Fund eines Higgs gibt, dann wird das gar nicht mehr so lange dauern, ehe wir davon erfahren.
Und dann so richtig. Mit Details und so.

Bonus-Information: Dieser Beitrag hatte über 2000 Wörter.

  1. Die Verfassung ist frei zugänglich für jeden. Ich mache hier die kommentierte Übersetzung, aus dem Englischen, dem Verfassungsischen und dem Physikalischen. []
  2. Und damit meinen wir jetzt nicht die Kombizange aus Papas Werkstatt sondern verschiedene Experimente und dazu passende Auswertungsmethoden. []
  3. Fun: Das wort »Note« im Text deutsch aussprechen. Gnihihi. []
  4. Einladefrist: Zwei Wochen. Experiment-weit! []
  5. Änderungen werden einzeln an diejenigen, die sie mitgeteilt haben, geschickt. []
  6. Genauer: Evolutioniert zum Draft_1. Yeah, LaTeX-Code im Fließtext. []
  7. Andere böse Teilchen, die dem Catino das Leben schwer machen. Drogen. Waffen. Wirtschaftskrisen. []
  8. Euphemismus für: Es wird zerfleischt und es entstehen eine Vielzahl Witze über die verantwortliche Kollaboration. []
  9. Bei ATLAS gibt es vermutlich nicht die Notwendigkeit einer Arbeitsgruppenzustimmung beim Posten einer Analysis Note, die dort COM heißt. In diesem untersten aller Veröffentlichungsebenen kann jeder schreiben, der das möchte. Das hat viele Vorteile — aber auch Nachteile. []
  10. Wenn ihr so denkt, physikBlog, warum habt ihr dann überhaupt darüber geschrieben? Weil bereits viele Medien darüber berichtet haben, wir von einigen angeschrieben wurden, was wir davon halten, und wir das Beispiel nutzen wollten, um einmal den Publikationsprozess zu beschrieben, den warnenden Finger zu heben und diese Fußnote… Wisst ihr? []
Kurzlink
Kategorien: Erklärbär, Weltiges
Tags: , , , ,

12 Antworten auf Der komplizierte Geburtsweg einer Teilchenphysik-Publikation am Beispiel des Catino

  1. Andi sagt:
    #1

    Stolz bin ich auf das Bild zum Pier-ReView, das ich gefunden habe.

  2. Tobias sagt:
    #2

    Du kannst gar nicht so viel zahlen, wie viel das Bild in der Wortspielkasse kosten würde.

  3. Ben sagt:
    #3

    Die Experimentatoren mögen so viel Zeit haben, ständig im Meeting zu sitzen. Im Beschleunigersektor sieht das jedenfalls anders aus. ;-)

  4. Andi sagt:
    #4

    @Ben: Ob sie die Zeit haben… Wenn du sie fragst, wird dir das jeder verneinen. Die müssen sie sich halt nehmen…

  5. André sagt:
    #5

    Jeah, das Bild ist absolut klasse! Artikel auch. Aber das Bild.

  6. Wilfried sagt:
    #6

    Klasse Artikel!!!!!!

  7. C. Mai sagt:
    #7

    ich möchte den segfault sehen, der von einem fehlenden Semikolon ausgelöst wird ;-)

  8. Andi sagt:
    #8

    Jaja, das hat André auch schon angemeckert. Siehe es als dramatische Übertreibung ;) .

  9. Michi sagt:
    #9

    Schöner Artikel, sehr aufschlussreich. Jetzt bräuchte man nur noch ein Diagramm dazu. Vlt. hab ich ja irgendwann mal Zeit eines zu machen.

  10. Andi sagt:
    #10

    @Michi: Ja, das wäre tatsächlich mal gut. Ich bin auch sicher, dass ich bereits eines irgendwo gesehen habe – aber ich hab’s nicht wieder gefunden.

  11. Robert sagt:
    #11

    Schaut mal hier unter “The Life of a CMS Physics Paper”:
    http://cms.web.cern.ch/cms/Media/Publications/CMStimes/2011/02_21/index.html

  12. Andi sagt:
    #12

    @Robert: Oh, cool! Danke.