Wie lassen sich Weiterbildungsmaßnahmen messen?

Hinter allen Bemühungen im Zusammenhang mit dem Bildungscontrolling steht natürlich der Wunsch, den Erfolg von Weiterbildungsmaßnahmen messbar zu machen. Personaler stehen vor allem in der Pflicht, den diesbezüglich aufgewendeten externen und internen Kosten einen entsprechenden Nutzen gegenüberzustellen.

Während die Ausgaben für gewöhnlich genau erfassbar sind (Kostenrechnung, Finanzcontrolling, Revision etc.), ist die Messung des zukünftigen Nutzens sehr viel schwieriger, daher kranken diesbezügliche Anstrengungen meist schon im Ansatz. Doch nicht nur in Bezug auf Weiterbildung und Personalentwicklung gehen Unternehmen oft von dem Slogan aus:

Dieses Zitat ist u. a. zurückzuführen auf das Konzept der Balanced Scorecard und hat sicherlich seine Berechtigung. Da wir allerdings wissen, dass in Unternehmen sehr viel passiert, ohne es zu messen oder überhaupt messen zu können, darf es nicht das alleinige Management-Prinzip für die Unternehmenssteuerung und insbesondere für das Bildungscontrolling sein.

Diesbezüglich ist auf einen sehr schönen Beitrag von Reinhard K. Sprenger in der Zeitschrift „brandeins“ zu verweisen, der den Titel „Wer viel misst, misst viel Mist“ (Sprenger 2002) trägt. Sprenger wendet sich hier gegen einen unreflektierten Glauben an die ultimative Wahrheit von Zahlen und Messungen.

Denn hinter jeder Zahl steckt eine Annahme – so zum Beispiel diejenige, dass sich der Erfolg eines Unternehmens tatsächlich an der Differenz zwischen Einnahmen und Ausgaben ablesen lassen würde. Doch jeder, der schon einmal eine Gewinn- und Verlustrechnung (GuV) aufgestellt hat, weiß, wie viel Spielraum hier besteht.

Eine weitere, ganz grundlegende Herausforderung der Erfolgsmessung von Trainingsmaßnahmen ist zudem die Tatsache, dass Lernerfolg, der ja vor allem in Form von Kompetenzzuwachs entsteht, nicht „objektiv“ und unabhängig von dem Analysten gemessen werden kann.

Die Erweiterung der Kompetenzen ist zudem nur Mittel zum Zweck, denn das eigentliche betriebliche Ziel von Weiterbildung und Trainings ist eine Erhöhung der Leistungsfähigkeit in Bezug auf die aktuellen und zukünftigen Aufgaben. Ob der jeweilige Mitarbeiter nach den Maßnahmen tatsächlich mehr leistet und ob dies dann überhaupt auf dessen Kompetenzzuwachs zurückzuführen ist, bleibt oft im Dunkeln. Hierauf werden wir im Folgenden noch einmal zurückkommen.

Was leistet Bildungscontrolling?

Um es vorwegzunehmen: Evaluation von Bildungsmaßnahmen ist keineswegs das Gleiche wie Bildungscontrolling! Die Befragung zu Trainingsmaßnahmen hat eine lange Tradition. Nach der Erhebung werden die verschiedenen Aspekte der Maßnahme ausgewertet (evaluiert), abgefragte Aspekte in sogenannten „Feedback-Bögen“ können folgende sein (Beispiel aus der eigenen Anwendung):

• Gesamtbewertung
• Inhalte (Relevanz, Einstellung, Motivation)
• Methoden (Angemessenheit, Verständnis, Abwechslung, Unterlagen)
• Gruppe (Zusammensetzung, Atmosphäre, Wohlfühlfaktor)
• Transfer (Praxisorientierung, Tipps zur Umsetzung, Erwartung)
• Trainer (Kompetenz, Vorbereitung, Stil)
• Organisation (Informationen, Ziel/ Inhalt, Verpflegung, Räumlichkeiten)
• „Die ultimative Frage“ (Wie wahrscheinlich ist die Empfehlung?)

Da die Befragung direkt nach der Maßnahme erfolgt, wird bereits hier klar, dass die Messung des Erfolgs nur eine Prognose sein kann. Die Erfahrung zeigt zudem eine häufige Überschätzung des erwarteten Wissenstransfers zu diesem Zeitpunkt: Die Teilnehmer starten mit zahlreichen guten Vorsätzen in die Umsetzung, viele gehen jedoch im Tagesgeschäft unter.

Bildungscontrolling verfolgt hingegen – entsprechend dem modernen Verständnis von „Controlling“ – einen ganzheitlichen Ansatz. Horváth (2002) definiert dieses als eine Funktion, „die durch die Koordination von Planung, Kontrolle sowie Informationsversorgung die Führungsfähigkeit von Organisationen verbessern hilft.“ Hier wird klar: Controlling ist mehr als die nachgelagerte Bewertung einer Maßnahme.

Die Bundesakademie für öffentliche Verwaltung definiert den Begriff wie folgt:

Bildungscontrolling muss also auf verschiedenen Ebenen erfolgen: Sämtliche Phasen der Weiterbildung müssen erfasst werden – und damit auch die der Bedarfsermittlung und Planung. Insbesondere die Frage nach dem quantitativen und qualitativen Nutzen muss einbezogen werden.

Als praxistaugliches Controlling-Konzept in der betrieblichen Weiterbildung hat sich das 4-Stufen-Modell von Kirkpatrick (1998) bewährt, welches hier um zwei weitere Stufen ergänzt werden soll:

Stufe 1 (Reaktion) wird hier im Wesentlichen durch die bereits oben geschilderte Evaluation („Happy Sheet“) abgedeckt, bei der es um das direkte Feedback im Anschluss an eine Maßnahme geht.

Stufe 2 (Lernen/ Wissen) soll den Wissenserwerb messbar machen, am besten durch Kompetenzerfassung oder diesbezügliche Testläufe vor und nach der Maßnahme. Bereits hier kann es kompliziert werden, wenn es nicht um reines Fachwissen geht, das einfach abgefragt werden kann. Kompetenzen sind schwer zu greifen und noch schwerer zu messen.

Denn erst in Stufe 3 (Verhalten) wird die tatsächliche Anwendung des Gelernten erfasst, um die es letztendlich geht – „Lerntransfer“ genannt. Der Schritt von der Schulbank zur Umsetzung ist hierbei oft schwieriger als vermutet.

Neben dem Wissen und den Fähigkeiten („Können“) sowie Motivation und Wille („Wollen“) müssen natürlich auch die Möglichkeiten und Freiheiten („Dürfen“) zur Anwendung des Gelernten im betrieblichen Umfeld gegeben sein. Die Lernkultur und -organisation im Unternehmen ist hier oft sehr viel entscheidender als die eigentliche Maßnahme.

In Stufe 4 (Ergebnisse) geht es dann um die konkrete Messung der maßnahmenbezogenen Ergebnisse („Output“) des Gelernten für das Unternehmen. Dies kann jedoch nur sinnvoll operationalisiert werden, wenn vor der Maßnahme Lernziele definiert wurden, die im unmittelbaren Zusammenhang mit den strategischen Zielen des Unternehmens stehen.

Ist z. B. die Internationalisierung des Geschäfts ein strategisches Ziel, so ergeben sich daraus neue Kompetenzanforderungen (Sprachkompetenzen, interkulturelle Kompetenzen). Diese müssen als Lernziele in Maßnahmen ausdifferenziert und anschließend in der praktischen Umsetzung „gemessen“ werden (z. B. verbesserte Kommunikation, Reduzierung der Konflikte etc.).

Durch Realisierung von Stufe vier des Modells von Kirkpatrick wird aber keineswegs garantiert, dass sich die Maßnahme für das Unternehmen letztendlich rechnen wird. Phillips und Schirmer (2008) erweitern daher das Modell um die Stufe 5 (Return on Investment), in der der konkrete Nettogewinn (als ROI = Gewinn/ Investment) für das Unternehmen dargestellt wird.

An dieser Stelle wird es natürlich interessant und herausfordernd, denn für die Bewertung des Nutzens (Return) sind natürlich die unmittelbaren Effekte der PE-Maßnahme zu isolieren. Dabei sollte die Rechnung allerdings nicht verkompliziert werden, sondern der Nutzen von Weiterbildung kann an den mindestens zu erreichenden Return (im Sinne konkreter Kosteneinsparungen) geknüpft werden.

So ist es möglich, z. B. den Return on Investment einer eintägigen Anwender-Schulung im Umgang mit dem CRM-System bereits aufgrund der erzielbaren Einsparungen von Koordinations- und Kommunikationskosten zu errechnen. Folgendes Beispiel (Betrachtungszeitraum: drei Jahre) kann dies veranschaulichen:

Die von Kellner (2006) weiter vorgeschlagene Stufe 6 (Value of Investment) bietet dann den eigentlichen Hebel zu einer nutzenorientierten Sicht auf Weiterbildung oder Personalentwicklung im Allgemeinen. Um im obigen Beispiel zu bleiben, wird hierbei versucht, den weitergehenden Nutzen (z. B. in Form von erhöhter Kundenzufriedenheit) greifbar zu machen.

Im Bereich der Führungskräftetrainings könnte der Mehrwert zum Beispiel in einer erhöhten Mitarbeiterbindung bzw. reduzierten Mitarbeiterfluktuation liegen. Gerade zur Begrenzung der Fluktuation gibt es inzwischen zahlreiche Studien, die für den Wechsel von Spezialisten und Führungskräfte Mehrausgaben von bis zu 400 % des Jahresgehalts ermittelt haben.

Nur wenige Unternehmen nutzen Bildungscontrolling sinnvoll

In einer Studie des Bundeinstituts für berufliche Bildung (BIBB) aus dem Jahr 2008 (Käpplinger 2010) wurde die Verbreitung und Verwendung von Bildungscontrolling nach dem oben erläuterten Verständnis ermittelt. Dabei ergibt sich die ernüchternde Erkenntnis, dass nur ca. ein Drittel der größeren Unternehmen mit über 500 Beschäftigten ein umfassendes Bildungscontrolling einsetzen.

In über 50 % der kleineren Unternehmen (unter 50 Beschäftigte) kommt überhaupt kein Bildungscontrolling zur Anwendung. Das allgemeine Verständnis für Bildungscontrolling ist noch sehr lückenhaft. Dies ist zu erkennen, wenn Kostencontrolling mit über 50 % das deutlich häufiger verwendete Verfahren ist.

Demgegenüber wird nur in 13,7 % bzw. 24,9 % der Unternehmen eine systematische Nutzeneinschätzung der Weiterbildung vorgenommen. Dies ist aber die Voraussetzung dafür, Stufe 5 und 6 des oben dargestellten Modells zu erfüllen.

Insgesamt muss also festgestellt werden, dass relativ wenige Unternehmen tatsächlich eine brauchbare und der komplexen Gestalt der Weiterbildung angemessene Form des Controllings verwenden. Vielleicht sollte an dieser Stelle auch der Begriff des Bildungscontrollings durch einen Begriff ersetzt werden, der weniger kontrolllastig ist und insbesondere nicht zu stark auf die einfach monetär messbaren Größen (Kosten) abzielt.

Bei dem österreichischen IT-Dienstleister ACP wurde im Rahmen einer Trainingsmaßnahme für Führungskräfte ein Tool zur ganzheitlichen Erfolgsmessung eingesetzt, das alle oben dargestellten sechs Stufen abdeckt (Seyr 2011).

Hierfür werden im Rahmen mehrstufiger Befragungen die quantitativen Effekte (z. B. Kosteneinsparungen) und die qualitativen Verbesserungen (z. B. Arbeitsqualität, Wissenszuwachs, Kundenorientierung) abgefragt. Diese Daten werden dann zum einen zur Bewertung der Maßnahme selbst, aber insbesondere auch für die Planung und Auswahl von zukünftigen Weiterbildungsmaßnahmen verwendet.

Bei dem Karlsruher Software-Unternehmen CAS Software wird Personalentwicklung vor allem von einer strategischen Perspektive aus betrachtet. Weiterbildung und Personalentwicklung muss sich nicht „rechnen“, sondern muss sichtbar gemacht werden. Eine Infragestellung des Nutzens ist unsinnig, wenn die strategische Ausrichtung stimmt. Der Autor hat diese Sicht in einem Vortrag auf der Personalmesse „Zukunft Personal“ dargelegt (Widmayer 2010).

So lässt sich Bildungscontrolling effektiv umsetzen

Zusammenfassend muss festgestellt werden, dass die Erfolgsmessung von Mitarbeitertrainings in der Form des Bildungscontrollings noch in den Kinderschuhen steckt. Sichtbar sind z. T. hilflose Versuche, dem Diktat der Messbarkeit aller betrieblichen Abläufe zu folgen. Doch gerade das komplexe und schwer greifbare Feld von Lernen und Wissen lässt sich kaum in Zahlen fassen.

Versucht man es dennoch, liegt eine große Gefahr darin, nur die Kosten der Weiterbildung als Messkriterium heranzuziehen. Erfolg stellt sich demnach nur dann ein, wenn Kosten gespart werden – ein fataler Irrtum.

Gerade in schwierigen Zeiten kürzen Unternehmen dann oft als erste Reaktion die Weiterbildungsbudgets. Daher bietet das Modell von Kirkpatrick mit den genannten Erweiterungen einen guten Ansatz, ein ganzheitliches Verständnis von Bildungscontrolling in die Unternehmen zu tragen.

Abschließend sollen folgende Empfehlungen für den effektiven Einsatz von Bildungscontrolling und Erfolgsmessung gegeben werden:

• Um den Erfolg von Weiterbildung sinnvoll gestalten zu können, muss Bildungscontrolling in frühen Phasen von PE-Maßnahmen ansetzen. Hierzu zählt insbesondere die Ermittlung von Lernbedarfen, die sich an den strategischen Zielen des Unternehmens orientieren. Personalentwicklung muss einen sichtbaren Beitrag zum Gesamt-Unternehmenserfolg leisten.
• Die Erfolgsmessung mittels PE-Kosten-Controlling ist kein sinnvolles Instrument, jedoch ist sie einfach zu führen. Ohne Gegenüberstellung des quantitativen (Stufe 5) und qualitativen (Stufe 6) Nutzens ist dies eine gefährliche Sache!
• Der quantitative Erfolg mittels direkt zuordenbarer Umsatzsteigerungen oder Kosteneinsparungen ist möglich, aber aufwändig. Zumindest sollte die Evaluation der Weiterbildungsmaßnahme mittel- bis langfristig entsprechende Betrachtungen einschließen.
• Von allerhöchster Bedeutung ist die Einschätzung des qualitativen Gesamtnutzens von Weiterbildungsmaßnahmen. Wenn die Weiterbildung nicht auf strategischen Zielsetzungen der Personalentwicklung basiert, wird jeder Versuch der Erfolgsmessung scheitern.
• Ein klares Bekenntnis der Unternehmensleitung zu Weiterbildungsbemühungen, die nicht bei jeder kleinen Krise dem Rotstift zum Opfer fallen, bietet sowohl die Sicherheit und Voraussetzung für die Identifikation der Mitarbeiter mit dem Unternehmen als auch die Grundbedingung für die Entwicklung der strategischen Kernkompetenzen.

Wer mit Weiterbildung aufhört, um Geld zu sparen, kann auch seine Uhr anhalten, um Zeit zu sparen.

Literaturempfehlungen

• Horváth, Péter (2002): Controlling. 8., vollständig überarbeitete Aufl. München: F. Vahlen (Vahlens Handbücher der Wirtschafts- und Sozialwissenschaften).
• Käpplinger, Bernd (2010): Weiterbildungsentscheidungen auf Grundlage von Bildungscontrolling und Weiterbildungsentscheidungen auf Grundlage von Bildungscontrolling und jenseits von Bildungscontrolling. Empirische Ergebnisse eines BIBB-Forschungsprojektes. In: Bernd Käpplinger (Hg.): Weiterbildungsentscheidungen und Bildungscontrolling. Impulse aus der Bildungsforschung für die Bildungspraxis. Bonn: BIBB Bundesinstitut für Berufsbildung (Schriftenreihe des Bundesinstituts für Berufsbildung, Heft 117), S. 6–17.
• Kellner, Herbert J. (2006): Value of Investment. Neue Evaluierungsmethoden für Personalentwicklung und Bildungscontrolling. Offenbach: GABAL (GABAL management).
• Kirkpatrick, Donald L. (1998): Evaluating Training Programs. The Four Levels. 2. Auflage. San Francisco, CA: Berrett-Koehler.
• Krekel, Elisabeth M. (2001): Controlling in der betrieblichen Weiterbildung im europäischen Vergleich. Bielefeld: Bertelsmann (Berichte zur beruflichen Bildung, Heft 250).
• Phillips, Jack J.; Schirmer, Frank (2008): Return on Investment in der Personalentwicklung. Der 5-Stufen-Evaluationsprozess. Zweite, aktualisierte und erw. Auflage. Berlin: Springer Verlag.
• Seyr, Bernhard F. (2011): Zufriedenheitbefragungen greifen zu kurz. In: Personalwirtschaft (07/2011), S. 59–61. Online verfügbar unter http://www.seyr.at/downloads/Seyr%20Personalwirtschaft%2007-2011.pdf, zuletzt geprüft am 01.12.2014.
• Sprenger, Reinhard K. (2002): Wer viel misst, misst viel Mist (brand eins, 08). Online verfügbar unter http://www.brandeins.de/archiv/2002/modern/wer-viel-misst-misst-viel-mist/, zuletzt geprüft am 29.11.2014.
• Widmayer, Frank (2010): Personalentwicklung und Added Value. Vortrag. Messe „Zukunft Personal“. Köln, 2010. Online verfügbar unter https://www.youtube.com/playlist?list=PL1F63503C1A16A7B2, zuletzt geprüft am 01.12.2014.

Quellen

Bild: “6cm” von rosmary. Lizenz: CC BY 2.0