Trainingsevaluation-Nachhaltigkeit von Schulungsmaßnahmen im IT-Sektor

Diplomarbeit von Vitali Fuchs

Einleitung:

In heutiger Zeit ist die computergestützte Datenverarbeitung aus keinem Unternehmen mehr wegzudenken. In Deutschland prägen moderne Informations- und Kommunikations-Technologien, allen voran Computer und Internet, immer mehr das Berufs- und Privatleben vieler Menschen. Dies geht aus den aktuellen Ergebnissen der Erhebungen des Statistischen Bundesamtes zur Nutzung von Informations- und Kommunikationstechnologien (IKT) in Unternehmen und privaten Haushalten hervor. Angefangen mit ‘einfacher’ Brieferstellung über Terminplanung bis hin zu komplexen Businesscase-Lösungen läuft alles fast nur noch digital. Der Anteil der Beschäftigten, die regelmäßig während ihrer Arbeitszeit einen Computer nutzen, ist seit Januar 2003 um 14 Prozentpunkte auf rund 60% im Januar 2008 gestiegen. Im privaten Bereich ist der Anteil der Personen ab zehn Jahren, die einen Computer im ersten Quartal des Jahres nutzten, im Jahr 2008 auf 76% gestiegen (2003: 64%). Die Nutzungsintensität des Computers hat im gleichen Zeitraum in privaten Haushalten ebenfalls zugenommen: verwendeten im Jahr 2003 62% der privaten Computernutzer den PC jeden Tag oder fast jeden Tag, so stieg der Anteil dieser regelmäßigen Nutzer 2008 auf 75%. Im Berufsleben erfordert der zunehmende Einsatz von Informations- und Kommunikationstechnologien von Seiten der Beschäftigten immer mehr die Bereitschaft, sich die erforderlichen Kenntnisse für den Umgang mit Computern und dem Internet anzueignen.

Nur solche Unternehmen können im Innovationswettbewerb bestehen, die kompetente Fach- und Führungskräfte in ihren Unternehmen ausbilden, an das Unternehmen binden und ständig weiterqualifizieren. Die Mitarbeiter müssen stets in der Lage sein, die von Ihnen geforderten Leistungen und das Können, höchst komplexe Sachverhalte und Probleme zu lösen, zu 100% zu erbringen. Weiterbildung, also die Entwicklung der Fähigkeiten der Mitarbeiter, dient als Grundstein der erfolgreichen Unternehmensentwicklung und gewinnt immer mehr an Bedeutung.

Die Erbringung einer hochqualitativen Arbeit ist jedoch nur dann möglich, wenn die Arbeitnehmer entsprechende Qualifikationen aufweisen können. Solche Qualifikationen sind aber nur selten durch die Erstausbildung gegeben. Um einen nachhaltigen Wettbewerbsvorteil zu sichern und das nur schwer imitierbare implizite Wissen zu erlangen werden die Unternehmen ihre Mitarbeiter weiterbilden müssen, wenn sie in einem strengen Konkurrenzkampf für sich eine solide Marktposition sichern wollen.

Doch die Praxis sieht meist anders aus. Vielerorts bleiben die Potenziale strategisch zielorientierter Weiterbildung im EDV-Sektor unerkannt und ungenutzt. In der Zeit der ‘knappen Kassen’ wollen deshalb viele Unternehmen erst dann in die Weiterbildung der eigenen Mitarbeiter investieren, wenn der Nutzen und der daraus resultierende Gewinn für das Unternehmen einer Weiterbildungsmaßnahme im EDV-Sektor bekannt sind.

Die große gesellschaftliche, wirtschaftliche und individuelle Bedeutung der Weiterbildung macht es notwendig, Instrumente zur Messung und Verbesserung der Leistungsqualität zu entwickeln. Das Thema ‘Bildungscontrolling’ spielt in diesem Zusammenhang eine zentrale Rolle. In vielen Fällen wollen die Unternehmen keinen externen Vergleich mit der Konkurrenz. Sie brauchen ein (Kennzahlen)System, mit dem sie die Investition im Vergleich zu dem Output einer Weiterbildungsmaßnahme vergleichen können, um aussagekräftige Kennzahlen zu bekommen. Die Unternehmen sind daran interessiert, die ‘Softskills’, die so genannten weichen Faktoren einer Weiterbildungsmaßnahme zu messen. In den meisten Unternehmen werden die Feedbackbögen nach einem Seminar als Standardinstrument zur Abfrage der Teilnehmerzufriedenheit verwendet. Leider endet aber häufig hier der Controllingansatz zur Bewertung der Weiterbildungsmaßnahme, weil weiterführende Instrumente des Weiterbildungscontrollings nicht vorhanden sind.

Wie sollen die Unternehmen eine Weiterbildungsmaßnahme quantifizieren und zahlenmäßig erfassen, wenn der theoretische Hintergrund des Bildungscontrollings zwar in vielen Unternehmen bekannt ist, aber die Implementierung der einzelnen Ebenen häufig an mangelnden zeitlichen und personellen Ressourcen innerhalb der Unternehmen scheitert.

Das altbewährte und neu wiederentdeckte System nach Grundsätzen des Return on Investment (ROI) kann bei der Wirtschaftlichkeitsanalyse einer Weiterbildungsmaßnahme Abhilfe schaffen. Der erste rudimentäre ROI-Prozess wurde bereits vor 20 Jahren entwickelt. Er basiert auf den vier Evaluationsstufen nach Donald Kirkpatrick und wurde durch die 5. Stufe ergänzt - den ROI.5 Return on Investment kann das Kosten/Nutzen-Verhältnis einer Personalentwicklungsmaßnahme berechnen, um die Kostenvorteile darzustellen. Dies ist insbesondere dann wichtig, wenn die Gefahr besteht, dass in ‘schwierigen Zeiten’ schnell das Budget gekürzt oder ganz gestrichen werden kann. Was wiederum zur Folge hat, dass die Qualität der Arbeitsleitung mit der Zeit abnehmen und das Unternehmen seine gute Marktstellung evtl. verlieren kann.

Es gilt also den Nutzen einer Weiterbildungsmaßnahme aufzuzeigen und zu beweisen, dass die Weiterbildungsmaßnahmen für die Unternehmen von strategischer Bedeutung sind. Die Qualität der Arbeitsleistung und die Motivation der einzelnen Mitarbeiter kann durch gezielte Weiterbildungsmaßnahmen gesteigert werden. Die mit mangelnden Kenntnissen der Mitarbeiter verbundenen Ineffizienzen und Fehlerquellen könnten ebenso durch gezielte Weiterbildungsmaßnahmen reduziert oder gar beseitigt werden. Schließlich können die Unternehmen mit einem Hochqualifizierten Team eigene, unternehmensinterne Ziele besser erreichen und so im Konkurrenzkampf bestehen.

Gang der Untersuchung:

Im ersten Teil der vorliegenden Arbeit beschäftigt sich der Autor mit den theoretischen Grundlagen des Bildungscontrollings. Da das Thema ‘Trainingsevaluation-Nachhaltigkeit von Schulungsmaßnahmen im IT-Sektor’ weitestgehend das Bildungscontrolling als Wissensgrundlage voraussetzt ist es besonders wichtig dem Leser die Grundlagen des Bildungscontrollings näher zu bringen. So können später, im Laufe der Arbeit viele Fachspezifische Begriffe bedenkenlos eingeführt und verwendet haben.

Bevor der Kern der vorliegenden Arbeit - empirische Untersuchung, vorgestellt werden kann, wird im zweiten Teil der Arbeit konkret auf die Trainingsevaluation eingegangen. Wichtig ist sowohl die theoretische Darstellung dieses komplexen Themas als auch die Darstellung anerkannter Modelle zur Trainingsevaluation. Die Modelle werden so gewählt, dass der Leser einen breiten Horizont an Möglichkeiten kennen lernt, wie die weiterbildungsmaßnahmen im IT-Sektor evaluiert werden können.

Im dritten Teil der Arbeit wird eine empirische Untersuchung durchgeführt, um den Nachhaltigkeitseffekt einer Trainingsmaßnahme im IT-Sektor zu untersuchen. Dazu sind einige Vorbereitungen notwendig. Zum einen wird eine Feldstudie mit den Studenten der Universität Hamburg durchgeführt, um feststellen zu können, ob der Erfolg einer IT-Trainingsmaßnahme ermittelt werden kann. Diese Feldstudie wird als Ausgangspunkt die Untersuchungsschwerpunkte und die Richtung der empirischen Studie maßgeblich beeinflussen. Zum anderen werden vor der Durchführung der empirischen Studie, die in Zusammenarbeit mit New Horizons Computerlearning Centers GmbH durchgeführt wird6, Experteninterviews mit den Gesellschaftern und Geschäftsführern von New Horizons gemacht. Die Experteninterviews sollen mehr Aufschluss darüber geben, wie die Trainingsevaluation im IT-Sektor zur Zeit (Frühjahr 2009) aussieht und welche Herausforderungen es in der Praxis zu bewältigen gilt, um die Trainingsevaluation effizienter zu machen. Da New Horizons weltweit ihre Teilnehmer nach Seminarende befragt und alle Bewertungen in einer zentralen Datenbank speichert, können diese später für Untersuchungszwecke jederzeit abgerufen und genutzt werde. Diese Daten stellt New Horizons dem Autor zur Verfügung, um qualitativ und quantitativ hochwertige Ergebnisse zu erzielen. Durch die Bereitstellung der Daten und ihrer Analyse soll eine Brücke zwischen Theorie, Kennzahlensystem zur Bewertung und Quantifizierung der Weiterbildungsmaßnahmen und der Praxis hergestellt werden.

Zum Schluss soll eine Zusammenfassung sowie kritische Würdigung der gesamten Arbeit die Untersuchungsergebnisse mit der Theorie verbinden und dem Leser eine Möglichkeit bieten sich mit dem Thema der Trainingsevaluation weiter zu beschäftigen.

Inhaltsverzeichnis:

Textprobe:

Kapitel 4.2, Von Evaluation zur Trainingsevaluation:

Wichtig ist, dass der im Mittelpunkt der Arbeit stehende Begriff der Trainingsevaluation, mit dem Schwerpunkt der Ermittlung einer Nachhaltigkeit von Weiterbildungsmaßnahmen im IT-Sektor, sowohl pädagogisch als auch ökonomisch begründete Definitionsansätze der Evaluation erfordert. Es ist wenig sinnvoll einseitige Definitionen, die entweder ökonomisch orientiert oder pädagogisch motiviert sind zu verwenden, weil die Trainingsevaluation den gesamten Prozess einer Weiterbildungsmaßnahme einschießen soll. Aus diesem Grund sollen die wichtigsten Merkmale ökonomisch-pädagogischer Definitionen zusammengefasst werden, um die Grundlage für spätere Untersuchung zu schaffen.

Das Ziel von der Trainingsevaluation muss es sein, die Basis für Entscheidungen dauerhaft zu verbessern sowie Rahmenbedingungen, Prozesse und Ergebnisse zu optimieren. Voraussetzung dafür ist, dass die Trainingsevaluation in alle Phasen des Bildungsprozesses involviert ist. In der betrieblichen Weiterbildung sind es alle Aktivitäten die zur Verbesserung der Qualifikationen einzelner Mitarbeiter führen. Über die konkreten Trainings hinaus gehören alle anderen geplanten Maßnahmen vor, während und nach der eigentlichen Weiterbildungsmaßnahme dazu. In der Praxis wird hauptsächlich zwischen zwei Arten von Evaluation unterschieden, der formativen und der summativen Evaluation.

Formative Evaluation, die auch als begleitende Evaluation bezeichnet werden kann, dient dazu, bereits während der Planung und Durchführung einer Maßnahme Probleme zu klären, steuernd einzugreifen und zu optimieren. Ein Beispiel stellt die sog. Feedback-Runde zur ‘Halbzeit’ und zum Ende des Seminars. Die Teilnehmer geben dem Trainer bspw. während der Schulungsmaßnahme ein Feedback, so dass der Trainer noch die Möglichkeit hat während oder am Ende der Maßnahme auf die Wünsche der Teilnehmer einzugehen.

Summative Evaluation bewertet, im Gegensatz zu formativen Evaluation, die Maßnahme nach ihrer Beendigung und liefert damit die Grundlage, um über Verbesserung und Optimierung bei nachfolgenden Maßnahmen zu entscheiden. Dabei stützen sich summative Evaluationen auf hypothesengeleitetes Vorgehen, in dem z.B. experimentelle Designs mit quantitativen Erhebungsverfahren zur gezielten Untersuchung des Lernerfolgs verschiedener Trainingsvarianten genutzt werden.

Unabhängig von der Art (formativ/summativ) der Evaluation, stellt die Trainingsevaluation ein Instrument dar mit dem die Qualität und die Wirksamkeit einer bestimmten Weiterbildungsmaßnahme analysiert und bewertet werden. Da die Weiterbildungsmaßnahmen i.d.R. zeitlich begrenzt sind endet die Aufgabe der Trainingsevaluation mit der Bewertung der Maßnahme und evtl. Erarbeitung und Empfehlung von Verbesserungsschritten sowohl für die Teilnehmer als auch für das Unternehmen bei der Planung und Durchführung weiterer Trainingsmaßnahmen. Dabei orientiert sich die Trainingsevaluation an den vorher von dem Auftraggeber vorgegeben Zielen. Die Umsetzung der ausgearbeiteten Empfehlungen ist jedoch die Sache der Auftraggeber. Aus diesem Grund wird im Rahmen dieser Arbeit unter der Trainingsevaluation konkret die systematische Sammlung und Auswertung von Informationen verstanden, die dazu dient, eine Weiterbildungsmaßnahme hinsichtlich ihrer Auswirkungen, sowohl auf die Teilnehmer (Zufriedenheit, Lernerfolg und Lerntransfer in die Praxis) als auch auf das Unternehmen (Veränderungen im Arbeitsumfeld, Steigerung Effektivität und Arbeitsqualität sowie der Return on Investment) in Abgleich mit vorher festgelegten Trainingszielen qualitativ und quantitativ zu bewerten.

Gegenüberstellung von Bildungscontrolling und Trainingsevaluation:

Die Frage: ‘Worin unterscheidet sich die Evaluation bzw. Trainingsevaluation von dem Bildungscontrolling?’ wird immer wieder aufgegriffen und kontrovers diskutiert. In den 90er Jahren führte die Diskussion weniger dahin, beides gleichsetzen zu wollen, vielmehr wurde – je nach Denktradition – versucht, die Evaluation dem Bildungscontrolling oder das Bildungscontrolling der Evaluation unterzuordnen. Da aber die Fachdiskussion bis heute immer noch wenig Unterstützung beim Versuch die beiden Begriffe sauber voneinander zu trennen bietet, soll hier keine Abgrenzung sondern eine Gegenüberstellung von Bildungscontrolling und Trainingsevaluation stattfinden.

Die Gegenüberstellung von Bildungscontrolling und Trainingsevaluation macht deutlich, dass die beiden Begriffe keinesfalls synonym verwendet werden dürfen. Diese können aber auch nicht komplett getrennt und unabhängig voneinander betrachtet werden. Wie Bildungscontrolling begleitet auch Trainingsevaluation den gesamten Prozess des Bildungsverlaufs, von der Bedarfsanalyse bis zur Feststellung des Lerntransfers in die Praxis. Allerdings bezieht sich die Trainingsevaluation unmittelbar auf eine konkrete Weiterbildungsmaßnahme und deren Konsequenzen für die einzelnen Teilnehmer und das Gesamtunternehmen. Das Bildungscontrolling betrachtet, im Gegensatz zur Trainingsevaluation, den Weiterbildungsprozess, der mehrere Weiterbildungsmaßnahmen enthalten kann, insgesamt von der Planung, Durchführung bis hin zur Optimierung/Verbesserung. Das Ziel von Bildungscontrolling ist letztlich, den Nutzen von (betrieblichen) Bildungsmaßnahmen soweit wie möglich einzustellen und messbar zu machen. Daher soll das Bildungscontrolling als ein ganzheitlich-integratives Instrument der Unternehmensführung den erreichten und/oder erwarteten Bildungsnutzen in Relation zu den vorgegebenen Bildungszielen und eingesetzten Ressourcen evaluieren.

Zusammenfassend lässt sich hier festhalten, dass die Ziele und Inhalte der Trainingsevaluation den des Bildungscontrolling zwar stark ähneln, sind jedoch nicht deckungsgleich. Andererseits kann die Trainingsevaluation als ein Teilbereich des Bildungscontrollings gesehen werden. Häring sieht die Evaluation (Trainingsevaluation) als ‘[…]einen essenziellen Bestandteil des Bildungscontrolling, die den qualitativen und quantitativen Nutzen eine Entwicklungsmaßnahme bewertet’. Dabei darf jedoch nicht vergessen werden, dass das Bildungscontrolling auf bewährte Evaluationsmethoden zurück greift. Damit sind meiner Meinung nach beide Begriffe interdependär.