Dokumentationsvorlage für Experimente

Lesezeit 3 min

Ich traf die Situation immer wieder an: ein grosser Haufen Plots oder ein Verzeichnis voller Dateien, die Resultate von vielen Versuchen und Experimenten. Weder ich, der die Resultate erzeugt hatte, noch jemand anders konnte herausfinden, wie die Resultate erreicht wurden. Was war die Konfiguration der Hardware, was die Softwareversion? Häufig waren die gespeicherten Resultate vollkommen wertlos, da es nicht klar war wie und wann sie erzeugt wurden.
Das Problem waren normalerweise nicht nur die Resultate, sondern auch die Versuche selbst, welche diese produziert hatten. Es gab einige Ideen, was erreicht werden sollte, aber keine klaren Ziele. So war ein Grossteil der Arbeit nicht so effizient wie er hätte sein können.

Eine Vorlage, um Experimente nützlich zu machen

Um diese Situationen zu verhindern, haben wir eine Vorlage eingeführt, welche den Prozess der Messung, der Simulation, des Tests von Software-Verhalten etc., von «Experimenten», klar strukturiert.

Was sind mögliche Lösungen?

Man könnte sich komplexe Datenbanken zum Datenmanagement überlegen, es gibt sogar Software zum Management von Messdaten. Aber bei diesen muss immer noch viel Meta-Information den Messdaten hinzugefügt werden.
Die sehr kompakte Version ist der A3-Report, berühmt geworden durch Lean. Das Web ist voll von Beispielen und Referenzen für verschiedene Anwendungen. Für Entscheide macht es Sinn, die Informationen auf eine einzige Seite zu komprimieren, aber in vielen Fällen ist nicht genug Platz, um alle relevanten Informationen unterzubringen, die das Experiment nützlich machen. Unsere Vorlage bleibt nahe an der Struktur des A3-Reports, somit kann wenn nötig einfach ein A3-Report aus ihr kondensiert werden.

Die Vorlage

Durch das Ausfüllen der Vorlage vom Beginn des Experimentes weg wird der Benutzer durch den kompletten Prozess geführt:

Ausgangslage

Dieser Teil ist vielleicht weniger nützlich für die spätere Verwendung der Resultate, aber er ist sehr nützlich um die Gedanken des Ingenieurs zu klären, der das Experiment durchführt: Was ist die Ausgangslage? Warum tun wir das? Das sind einfache, aber starke Fragen, welche vor dem Experiment beantworten werden sollten.

Was ist die Hypothese? Was willst du herausfinden? Wie willst du es herausfinden? Auch hier hilft es, anzuhalten und den Zweck der Arbeit aufzuschreiben, welche ich tun werde. Darüber nachzudenken hilft auch, das Experiment effizient durchzuführen.

Experiment

Im Kontext der Technik mit Konfigurationen und Versionen, welche sich dauernd ändern, ist es wichtig, exakt die Konfiguration zu dokumentieren, mit welcher das Experiment durchgeführt wurde, die Baseline. Dasselbe trifft auch zu für den Aufbau, welcher angibt, welche Instrumente und Werkzeuge wie eingesetzt wurden um das Resultat zu erreichen. Auch die Bedingungen können wichtig sein: was war die Temperatur, die Luftfeuchtigkeit etc. Manch eine Messung in einem trockenen warmen Raum im Winter konnte an einem feuchten Sommertag nicht reproduziert werden, einfache Dinge wie verschiedenes elektrostatisches Verhalten kann zu interessanten "Software"-Effekten führen!
Erst wenn all dies dokumentiert ist, werden die Resultate aufgeschrieben oder besser geplottet, zusammen mit detaillierter Information zur Bedeutung jedes Werts.

Analyse/ Diskussion

Zuletzt kommt der wichtigste Punkt:
Die Analyse der Daten, ihrer Effekte, ihrer Grundursachen. Lässt sich die Hypothese noch aufrechterhalten?
Da ein Experiment keinen Sinn macht, wenn daraus nichts gelernt wird, müssen Konsequenzen in der Form von Handlungen dokumentiert werden, inklusive der betroffenen Personen und Rollen.

Aber mir dauert das zu lange!

Da haben Sie völlig recht, es macht keinen Sinn, den ganzen Prozess durchzuführen und die komplette Vorlage auszufüllen für jede Spannungsmessung. Wenn wir denken, eine Messung sei so wichtig oder in Zukunft so nützlich, dass wir sie dokumentieren, dann tun wir es immer vollständig. Sonst werfen wir sie fort, da ohne komplette Dokumentation die beste Oszilloskop-Messung, der schönste Debug-Log, die raffinierteste Fehlerzeitanalyse wertlos sind.
Erfreulicherweise führen der Experiment-Prozess und die Vorlage zu einer "natürlichen Auslese" von Messungen, welche gespeichert werden: wenn es etwas wirklich wert ist, gespeichert zu werden, ist es auch den Dokumentationsaufwand wert.

Und ja, eine letzte Sache: der ganze Prozess, durch welchen der Ingenieur geführt wird, ist der PDCA Kreis meines letzten Beitrags (Plan: Ausgangslage/ Hypothese, Do: Experiment, Check: Analyse, Act: Konsequenzen)!

Andreas Stucki

Haben Sie zusätzliche Fragen? Haben Sie eine andere Meinung? Wenn ja, mailen Sie mir oder kommentieren Sie Ihre Gedanken unten!