Evaluation von Bildungsprogrammen

Donald L. Kirkpatrick hat ein System zur Evaluation der Effektivität von Trainings- und Bildungsprogrammen entwickelt, das vier Arten von Informationen bewertet: die Reaktionen der Teilnehmer, ihren Lernerfolg, Änderungen in ihrem Verhalten und die Endergebnisse für das Unternehmen.
Dieses Evaluationssystem enthält Richtlinien, Musterfragebögen, Grafiken und Schemata sowie Fallstudien von Unternehmen, die dieses System einsetzen, wobei die verwendeten Operationalisierungen und Erhebungsinstrumente geeignet sind, auf allen Ebenen Effekte zu erheben und in deren Ausprägung zu bewerten. Die Vorteile dieses Modells liegen nicht zuletzt in der einfachen Struktur und dem heuristischen Charakter, wobei es auch für den Bereich der Beratung eine nützliche Strukturierungshilfe darstellen kann, in die sich die Erwartungen der unterschiedlichen Interessengruppen bei einer Evaluation einordnen lassen. Selten werden jedoch bei der Evaluation von Bildungsmaßnahmen wirklich alle vier Ebenen betrachtet, sondern meist nur die Ebene 1 (Reaktionen) und die Ebene 2 (Lernen), kaum aber die Ebene drei (Verhalten) und die vierte Ebene (Resultate). Das liegt auch daran, dass ein Evaluationsprozess von Ebene zu Ebene zunehmend schwieriger, zeitaufwändiger und teuerer wird, wenngleich letztlich nur durch eine Evaluation auf Ebene vier jene Informationen gewonnen werden können, um den faktischen Erfolg einer Bildungsmaßnahme zu beurteilen. Erst eine Evaluation auf allen Ebenen ergibt ein vollständiges Bild des Erfolgs einer Bildungsmaßnahme.
Die Ebene der Reaktionen erfasst, wie die Lernenden die Maßnahme, bzw. die Materialien beurteilen. So werden beispielsweise subjektive Einschätzungen zur Akzeptanz, Lernwirksamkeit, Problemen usw. erhoben. Zwar haben Evaluationen auf der Ebene der Reaktionen einen gewissen Informationswert, da die Akzeptanz der Lernenden u.U. ausschlaggebend dafür ist, dass sich diese überhaupt mit dem Lernmaterial auseinandersetzen, was eine Grundlage für erfolgreiches Lernen darstellt. Subjektive Aussagen zu Problemen geben oft auch Hinweise für die Optimierung eines Lernangebots, doch erhält man keine Informationen darüber, was tatsächlich gelernt wurde oder ob es einen Lerntransfer in den Alltagskontext der Lernenden gibt. Evaluationen auf der Reaktionsebene müssen deshalb stets um Tests (Ebene Lernen) ergänzt werden, mit denen der tatsächliche Lernerfolg gemessen wird .

Über dieser Ebene der Lernerfolgsmessung liegt für die Beurteilung des Erfolgs einer Bildungsmaßnahme aber die Frage, ob es auch zu einem Transfer des gelernten Wissens in die Anwendungspraxis der Lernenden kommt (Verhaltensebene) und ob sich durch eine veränderte Anwendungspraxis gar die Organisationen und Systeme, in denen die Lernenden ihr neues Wissen anwenden, insgesamt verändern (Ergebnisebene). Evaluationen auf diesen obersten Ebenen sind nur im Zusammenhang einer summativen Evaluation sinnvoll, da Informationen über Lerntransfer und Ergebnisse auf organisationaler Ebene erst dann gewonnen werden können, wenn eine Bildungsmaßnahme implementiert wurde.