Nehmen wir an, dass wir ein Simulationstraining mit einer Notfallsanitäterklasse ausrichten möchten. Wir haben 20 Auszubildende, die in Zweierteams arbeiten und wir haben uns 2 Tage Zeit genommen. Wir müssen also pro Tag 5 Durchläufe schaffen. Inklusive Pausen, dem zwischenzeitlichen Auf- und Umbau und einem ausgiebigen Debriefing nach jedem Szenario ist das eine gut schaffbare Zahl. Natürlich kann man das Ganze auch skalieren und mehrere Szenarios in verschiedenen Räumen ausrichten, aber dazu an einer anderen Stelle mal mehr.
Hier gehen wir etwas vom Arbeitsalltag vieler Rettungsdienstpädagogen aus: Man ist alleine, höchstens zu zweit und möchte simulieren. In einem solchen Setting wird man nicht umhinkommen, dass pro Fall 18 Personen zuschauen müssen.
Methodisch geht man dabei natürlich am Besten vor, indem man Beobachtungsaufträge erteilt, die die Aufmerksamkeit der Lernenden auf für uns wichtige Dinge lenken sollen. Auch kann man überlegen, ob man die Beobachter ins Debriefing mit einbindet. Wie effektiv aber die Beobachterrolle ist, konnte in Studien bisher nicht so recht dargestellt werden. Wir freuen uns also über eine Veröffentlichung aus dem letzten Jahr, die die bisherigen Studien dazu einmal systematisch analysiert und in Form einer Metaanalyse zusammengefasst hat.
Das Autorenteam rund um Megan Delisle hat dazu eine systematische Literaturrecherche durchgeführt, dabei etwa 5000 Arbeiten gescreent und etwa 60 Arbeiten gefunden, die sie im Volltext analysiert haben. Hieraus haben sie 13 Arbeiten ausgewählt, die man in Form einer Metaanalyse vergleichen kann. Das ist bei Bildungsstudien methodisch durchaus schwierig und wir sind nicht ganz davon überzeugt, dass die Ergebnisse sich so gut darstellen lassen, wie bei naturwissenschaftlichen Studien mit weniger komplexen Fragenstellungen. Allerdings ist die Arbeit sehr sauber durchgeführt und nachvollziehbar gestaltet. Außerdem ist die Kategorisierung der einzelnen Studien auf sehr interessante Weise erfolgt. Die Autoren der Metaanalyse haben sie nämlich in Schema nach Kirkpratrick einsortiert.
Kirkpatrick hat 1959 ein noch heute gerne genutztes Modell zur Messung von Trainingsprogrammen vorgeschlagen:
Kirkpatrick 4 (K4): Auswirkungen auf die Ergebnisse im Arbeitsumfeld (Das regelmäßige 10-für-10 verhindert unerwünschte Ereignisse im Einsatz)
Kirkpatrick 3 (K3): Verhaltensänderung im Arbeitsumfeld (z.B. wird ein regelmäßiges 10-für-10 im Rettungseinsatz durchgeführt)
Kirkpatrick 2 (K2): Messbarer Wissenszuwachs, Steigerung der persönlichen Fähigkeiten, Veränderung der Einstellung
Kirkpatrick 1 (K1): Reaktion der Teilnehmenden (z.B. Freude am Training, mündliches Feedback)
Keine der Studien, die in die Metaanalyse eingeflossen sind, hat ein Kirkpatrick-4-Outcome erzielt. Nur bei einer wurde ein Kirkpatrick-3-Outcome gemessen. Hier waren die Teilnahme als aktiver Trainierender und als Beobachter gleichwertig. Allerdings besteht hier ein großes Risiko der Verzerrung. Dementsprechend muss daraus der Schluss gezogen werden, dass es mehr Forschung zu Ergebnissen im Bereich K3 und K4 braucht. Dies kann im Kleinen natürlich an jeder Notfallsanitäterschule durchgeführt werden, indem Fragebögen bezüglich der letzten Simulationstrainings entwickelt und in den Praxisphasen von Auszubildenden und Praxisanleitern ausgefüllt werden. Das ist natürlich nicht repräsentativ, gibt uns als Trainern und Lehrenden aber einen Hinweis auf die Effektivität unserer Ausbildungsprogramme. Selbiges gilt natürlich auch für die pflegerische Ausbildung, die Arbeit mit Medizinstudierenden und die kollegiale Fortbildung.
Spannend ist die Metaanalyse auf der Stufe Kirkpatrick 1, wo kein Unterschied zwischen aktiven Teilnehmern und Beobachtern zu bestehen scheint und auf Kirkpatrick 2, wo der Trainingseffekt bei aktiven Teilnehmern (erwartbar) höher ist. Offenbar kommt es bei Beobachtern (K1) zu einer Reduktion von Ängsten und Stress gegenüber dem Trainingsverfahren. Die geschilderten Ergebnisse traten nur dann auf, wenn Beobachtungsaufträge verteilt wurden und ein Debriefing durchgeführt wurde. Außerdem gibt es Hinweise darauf, dass die Beobachterrolle effektiver ist, wenn die Beobachter über einen gewissen Ausbildungsstand verfügen. Dies würde dafür sprechen, dass insbesondere am Anfang der Ausbildung entweder weniger simuliert wird, um zunächst ein Praxisgefühl zu entwickeln oder, ganz im Gegenteil, viel intensiver simuliert wird (vor allem mit stärkerer aktiver Teilnahme), um einen möglichst effektiven Grundstein zu legen.
Darüber hinaus lässt die Arbeit leider viele Fragezeichen offen, denn der aktuelle Forschungsstand scheint leider noch sehr überschaubar zu sein. Dennoch ist uns die Studie wichtig, da sie ein paar wesentliche Eckpunkte aufzeigt:
- Das Kirkpatrickschema, das auch in Lehrevaluationen verwendet werden kann
- K3 und K4 werden bisher wenig systematisch dargestellt. Das ist bedauerlich, weil sich insbesondere hier die eigentlichen Ziele von Simulationen verstecken. Simulationsanbieter sollten überlegen, inwieweit sie ihre Ergebnisse auf diesen Stufen messen können (z.B. durch Follow-Up-Befragungen)
- Auf K1 scheint Beobachten Ängste und Stress zu reduzieren und insbesondere bei erfahrenen Teilnehmern einer aktive Teilnahme sehr nahe zu kommen
- Auf K2 scheint die aktive Teilnahme einen Vorteil zu haben, wobei auch hier die Erfahrung der Beobachtenden eine großen Mehrwert darstellt
- Beobachtungsaufträge und Debriefings haben einen großen Mehrwert
- Zudem gab es Hinweise darauf, dass man bei Anfängern („Novices“) mögliche Störfaktoren („Noise“) ausschalten sollte. Weniger ist hier mehr.
- Daneben schlagen die Autoren vor, ganz aktiv auch Lerntheorien in die Simulationsgestaltung mit einzubeziehen und verweisen dabei auf Bandura („Social Learning Theory“) und Schön („Reflective Practitioner“)
Comparing the Learning Effectiveness of Healthcare Simulation in the Observer Versus Active Role; Delisle, Megan MD et. Al.; Simulation in Healthcare: The Journal of the Society for Simulation in Healthcare; 14(5), 318-332; doi: 10.1097/SIH.0000000000000377