Entwicklung eines Evaluationsdesigns auf Basis der PAS 1032-1

MA-Thesis / Master von Regine Hilt

Einleitung:

Medienkompetenz gilt als Ziel von Aktivitäten der Medienpädagogik, als essentielle Sachverständigkeit, sich im Medienzeitalter zurechtzufinden. Dabei geht es einerseits um die Bedienung, Anwendung und Nutzung von Medien und Mediensystemen, andererseits um das Bewusstsein über die medialen Prozesse innerhalb der Gesellschaft und die Befähigung, diese Erkenntnisse auf das eigene Tun zu verwenden.

Kinder und Jugendliche wachsen in eine Medienwelt hinein, in der sie schon sehr früh durch verschiedene Medien wie Fernsehen, Computerspiele, Discman etc. ‘andere kognitive Fähigkeiten entwickeln können, die nicht dem linearen, an Sprachstrukturen orientierten Denkprozessen entsprechen.’ Während des systematischen Erwerbs der Lese- und Schreibkompetenz in den Schulen wird ‘ganz nebenbei’ auch Struktur und Organisation des Mediums ‘Buch’ vermittelt. Allein die Leserichtung von links nach rechts und von oben nach unten wirkt sich z.B. allgemein prägend auf die Seh- und Denkgewohnheiten aus. Mangels ebenso konsequenter Vermittlung anderer und anders strukturierter Herangehensweisen, überlagert die Linearität als Methode schnell andere Strategien.

Die den jeweiligen Medien oder Mediensystemen inhärente Struktur zu erfassen und reflexiv im eigenen Medienhandeln einzusetzen muss ebenfalls trainiert werden, um sich in der modernen Medienkultur zu orientieren. ‘ Kinder und Jugendliche müssten dann darin kompetent sein, die Konstruktionen von Welt in dieser spezifischen Kultur diskursiv und präsentativ zu erfassen, um sich so mit ihren Erfahrungen und Erlebnissen in eben dieser Kultur positionieren zu können’.

Vor allem bedeutet eine entsprechend dem Medium strukturierte Herangehensweise in der heutigen Wissensgesellschaft den Zugang zu Information und den Umgang damit.

Medienkompetenz und Lernkompetenz durch den Einsatz Neuer Medien bei Jugendlichen zu fördern, war der Ausgangspunkt zur Entwicklung der interaktiven Lernumgebung Lernscouts.

Ein ständig wachsender Vorrat an Lerneinheiten wird durch den Einsatz der Lernplattform zu verschiedenen Lerntouren als Kurse gebündelt. Die so zu erwerbenden Zertifikate dienen zum einen als Lernanreiz für die Jugendlichen. Zum anderen verknüpfen sie geschickt Theorie und Praxis, indem sie eine von Jugendlichen in Teamarbeit erstellte, praktische Arbeit in die Bewertung aufnehmen.

Mit dem Kurs ‘digitale Fotostory’ wird beispielsweise nicht nur gelernt wie Fotos manipuliert und bearbeitet werden können, was Pixel und RGB Farben sind, sondern durch die Produktion einer digitalen Bildergeschichte wird das erworbene Wissen umgesetzt. Dieses Konzept kommt damit Baumgartners Ansatz zur didaktischen Gestaltung mit E-Learning nach, Medienkompetenz nicht ‘als eigentliches Lehr- und Lernziel zu vermitteln’, sondern durch ‘indirekte Aufgaben’ anzuregen.

Der Einsatz von E-Learning impliziert eine Neugestaltung des Kurs- oder Unterrichtskonzepts und ein anderes Rollenverständnis der Unterrichtenden. Lerntempo und -intensität können von den Lernenden selbst beeinflusst werden, Lehrende fungieren eher als Lernberatende oder Coachs. Allerdings stellt die Flexibilität von Quantität und Qualität des über Internet distribuierten Lernstoffs hohe Anforderungen an die Selbstdisziplin und Erfahrung der Lernenden – eLernen will gelernt sein!

So sind die Kurse aus dem Lernscouts-Angebot eher als hybride Lernarrangements gedacht, wo Jugendliche über TutorInnen und die Arbeit an ihrer praktischen Kursaufgabe erste Erfahrungen mit computergestütztem Lernen sammeln und Selbstlernkompetenzen erwerben können.

Im Aktionsplan eEurope, der 2002 vom europäischen Rat in Barcelona gefordert wurde, stellt E-Learning ein Kernthema dar. Im Maßnahmenkatalog von 2005 ist von der Kommission der Vorschlag ‘ein spezielles Programm für das elektronische Lernen…’, das ‘…mit Schwerpunkt auf der Verwirklichung der unterrichtsbezogenen Ziele des Aktionsplans E-Learning (…) von 2004 bis 2006 laufen’ soll ausgeschrieben.

Wer in der Eltern- oder Schularbeit öffentlicher Schulen aktiv ist, weiß, dass noch viel Zeit vergehen wird, bis die praktische Umsetzung eines solchen Programms in den Schulen angekommen ist. Abgesehen von problematischen Voraussetzungen in Infrastruktur und Technik der Schulen, fehlt es vor allem an entsprechend weiterqualifizierten Lehrpersonal.

Die interaktive Lernumgebung Lernscouts will mit ihrem Programm Institutionen der informellen Bildung wie Jugendeinrichtungen, Jugendclubs, Vereine oder Freizeitbereiche von Schulen ansprechen. Diese dezentral organisierten informellen Bildungseinrichtungen für Jugendliche bilden kleinere Einheiten und können viel flexibler reagieren. Es bietet sich damit die in Deutschland bisher einmalige Chance für Betreuende und SchülerInnen, sich dieser neuen Lernform anzunähern und auszuprobieren.

Gerade in der Einmaligkeit und Aktualität dieses Projekts liegt jedoch auch eine Schwierigkeit. Den Betreuenden der Jugendlichen fehlt oft selbst Erfahrung mit computergestütztem Lernen und sie nehmen dann eine reservierte Haltung dazu ein. Häufig befürchten sie, dass damit ihre Stellen eingespart werden sollen, oder sie fühlen sich mit der Auswahl geeigneter Maßnahmen oder der Adaption eines Kurskonzepts mit E-Learning überfordert. Die Schulung und Information von MultiplikatorInnen war daher von Anfang an ein wesentlicher Baustein des Projekts. Um die Qualität der interaktiven Lernumgebung Lernscouts zu dokumentieren und für die Anwendenden transparent zu machen, wurde beschlossen, die jüngst erschienene DIN Spezifikation für Qualitätsmanagement und Qualitätssicherung in der Aus- und Weiterbildung mit besonderer Berücksichtigung von E-Learning, die im Abschnitt 1.3.2. ausführlich vorgestellt wird, zu implementieren.

Momentan befindet sich das Projekt Lernscouts mit der interaktiven Lernumgebung noch in der Pilotphase. Kurse, die in dieser Zeit stattfinden, werden ausgewertet, um an Hand der Ergebnisse Optimierungen vor zunehmen.

Den umfassenden Ansatz der DIN Spezifikation zum jetzigen Zeitpunkt zu implementieren, bietet auch den Vorteil, die einzelnen Kursevaluationen zu systematisieren. Die positive dynamische Wirkung, die die interne Auseinandersetzung mit den Arbeitprozessen bewirkt, kann gezielt zu einem, die Pilotphase begleitenden, kontinuierlichen Verbesserungsprozess genutzt werden.

Gezieltes Vorgehen verlangt nach einem Plan, einem abgesteckten Untersuchungsterrain und präzisen Angaben des Zielfeldes. Das soll in dieser Arbeit geleistet werden.

Im ersten Kapitel wird das Untersuchungsterrain von drei Richtungen eingekreist: Untersuchungsgegenstand bildet mit seinen Bausteinen und Zusammenhängen das Projekt Lernscouts in Abschnitt 1.1., Untersuchungszweck ist die Definition und Sicherung der Qualität des Projekts in Abschnitt 1.2. und schließlich wird die Beschaffenheit des Untersuchungsinstruments DIN Spezifikation in Abschnitt 1.3. vorgestellt.

Bei der Ausbreitung der Projektstruktur von Lernscouts im Abschnitt 1.1., wird die Problematik der teilweise als offene Variable gestalteten Bausteine, die einerseits als Schnittstellen für die Kurse flexibel bleiben müssen, andererseits durch den offenen Charakter eine Eingrenzung erschweren, erörtert.

Die zu sichernde Qualität stellt keine absolute Größe dar, wie im Abschnitt 1.2. ausgeführt wird. Qualität ist ein vielschichtiger Begriff, je nach dem, ob die Qualität eines Produkts oder einer Dienstleistung bewertet wird und ob man sie vom Standpunkt der Herstellenden oder Nutzenden betrachtet, kann Qualität eine andere Bedeutung haben.

Noch schwieriger wird es ‚die Qualität’ einer Bildungsmaßnahme zu definieren. Schließlich bestimmen und gestalten auch die Lernenden selbst durch ihren Einsatz den Lernprozess. Das gilt besonders für E-Learning. Hier wird die Qualität des Lernprozess ‘nicht länger als eine per se vorhandene, dem Lernmedium innewohnende Eigenschaft gesehen, sondern als ein Produkt, das gewissermaßen in einem Ko-Produktionsprozess zwischen Lerner und Lernangebot entsteht’.

Auf die Faktoren, die den Lernprozess von computergestütztem Lernen beeinflussen, wird aus diesem Grund im Abschnitt 1.2.4. ausführlich eingegangen.

In einem Zwischenschritt (1.2.5. und 1.2.6) werden die ausgewählten Qualitätsansätze auf die Variabelen-Problematik des Projekts übertragen. Auf diese Weise stellen sich die Anforderungen an das Untersuchungsinstrument deutlicher heraus.

Computergestützte Lernsysteme stellen keine Garantie für einen Lernerfolg dar, ihre Herstellung verursacht allerdings hohe Kosten. Die Entwicklung von Qualitätskonzepten war daher schon früh eine wichtige Aufgabe. Der Fortschritt von rein technologisch-geprägten Qualitätsansätzen zu umfassenden, ganzheitlichen Herangehensweisen der Qualitätsuntersuchungen wird im Abschnitt 1.3. umrissen und dient als Hintergrund für die Beschäftigung mit der, Kapitel 1 abschließenden DIN Spezifikation.

Nachdem im ersten Kapitel nach einer gründlichen Bestandsaufnahme das Untersuchungsfeld abgesteckt und die Zielrichtung diagnostiziert ist, beginnt mit dem zweiten Kapitel die Planung der Operation.

Dabei wird zunächst in Abschnitt 2.1. die Evaluation als Praktik für Qualitätssicherung mit ihren methodologischen Grundlagen ausgewählt und diskutiert, um auf dieser Basis in Abschnitt 2.2. eine Zielvision für das Unterfangen zu entwickeln. Mit dem Aufbau der Vision kann daraufhin die Evaluationsfragestellung formuliert werden.

Im dritten Kapitel wird die konkrete Planung angegangen: Das der DIN Spezifikation zu Grunde liegende DIN Referenzmodell wird an die Prozesse und Gegebenheiten des Projekts Lernscouts adaptiert.

Der Schwerpunkt dieser Arbeit liegt dabei nicht in der adaptiven Leistung bezüglich des Prozessmodells. Da das Projekt aus einer Vielzahl von möglichen Kursen zuzüglich der Online- und Präsenzschulung für MultiplikatorInnen besteht, dient die DIN Spezifikation als Rahmenplan, in welchen weitere Planungsteile integriert werden.

Daher wird das adaptierte Prozessmodell im Abschnitt 3.1. nur in einer so zusammengefassten Übersicht gezeigt, wie sie zum Verständnis des weiteren Vorgehens, der Entwicklung des Evaluationsdesigns in Abschnitt 3.2. notwendig ist.

Das Evaluationsdesign besteht aus einem statischen Teil, der gleich einem Grundriss die Architektur des Vorhabens abbildet und einem dynamischen Teil, der den dramaturgischen Ablauf organisiert. Beide Teile sind detailliert im Abschnitt 3.3. ausgeführt: Im Abschnitt 3.3.1. wird der statische Teil in eine Liste umgesetzt, während im Abschnitt 3.3.2. die Organisation der Liste in einem Zeitraster abgebildet ist.

Mit einer kurzen Übersicht der geplanten Evaluationsmethoden endet das dritte Kapitel mit der Zusammenfassung und dem Ausblick der Arbeit.

Inhaltsverzeichnis:

	Einleitung	4
	Kapitel 1	9
	Ausbreitung des Vorhabens und theoretische Grundlagen zur Qualitätssicherung und Entwicklung im Allgemeinen und in Hinblick auf E-Learning	9
1.1	Das Projekt Lernscouts - eine Übersicht	10
1.1.1	Hintergründe	10
1.1.2	Stakeholder und Partner	11
1.1.3	Zielgruppe	12
1.1.4	Konzept und Struktur	13
1.1.5	Lerninhalte und -ziele	15
1.1.6	Fazit	17
1.2	Qualität und Qualitätskonzeptefür E-Learning	17
1.2.1	Zum Qualitätsbegriff	18
1.2.2	Qualitätssicherung, Qualitätsentwicklung und Qualitätsmanagement	19
1.2.3	Qualität und Qualitätsmanagement in der Bildung	20
1.2.4	Besonderheiten der Qualitätsbestimmung bei E-Learning	21
1.2.4.1	E-Learning Begriffserklärung	22
1.2.4.2	Hybride Lernarrangements	23
1.2.4.3	Zur Produktion von E-Learning	23
1.2.4.4	Qualitätsansätze für E-Learningarrangements	24
1.2.5	Fazit	26
1.2.6	Übertragung der Problematik auf das Projekt Lernscouts	26
1.3	Angewendete Qualitätsinstrumente für E-Learning	27
1.3.1	Überblick der bisher eingesetzten Qualitätsinstrumente	28
1.3.1.1	Technologische und lerntechnologische Standards	28
1.3.1.2	Kriterienkataloge	29
1.3.1.3	Die DIN EN ISO 9000 Reihe	30
1.3.1.4	EFMQ-Modell	31
1.3.1.5	Fazit	32
1.3.2	PAS 1032-1 für Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning	32
1.3.2.1	Struktur der PAS 1032	34
1.3.2.2	DIN Referenzmodell zur Prozessbeschreibung	35
	Kapitel 2	37
	Evaluation als Weg zur Qualitätsentwicklung - Grundlagen und methodologisches Vorgehen	37
2.1	Grundlagen der Evaluation	38
2.1.1	Evaluationstypen	38
2.1.2	Angemessenheit der Evaluationsinstrumente	40
2.1.3	Evaluationsansätze	41
2.1.3.1	Ebenenorientierter Ansatz	41
2.1.3.2	Handlungsorientierter Ansatz	42
2.2	Entwicklung und Präzisierung eines Evaluationsziels	42
2.2.1	Untersuchung des Evaluationsfeldes	43
2.2.2	Überlegungen zum Evaluationsziel	45
2.2.3	Fazit und Evaluationsfragestellung	47
2.2.4	Entwicklung von Evaluationsperspektive und -schwerpunkt	48
	Kapitel 3	51
	Entwicklung und Präsentation des Evaluationsdesigns	51
3.1	Das Adaptierte Prozessmodell	52
3.2	Aufbau der Evaluation	63
3.2.1	Entwicklung des Evaluationsdesigns	63
3.2.2	Einbeziehung der Jugendlichen in die Evaluation	65
3.3	Umsetzungsplan	68
3.3.1	Datenerhebungsplan	69
3.3.2	Zeitraster	77
3.3.2.1	Zeitraster	78
3.3.2.2	Zeitraster mit Meilensteinen	79
3.3.3	Methoden der Evaluation	80
3.4	Zusammenfassung und Ausblick	82
	Abbildungsverzeichnis	85
	Literaturverzeichnis	86

Textprobe:

Kapitel 2.1.3, Evaluationsansätze:

Für die Evaluation von Bildungsangeboten haben sich je nach Evaluationsgegenstand und -ziel verschiedene Ansätze herausgebildet.

Thierau, Stangel-Meseke und Wottawa unterscheiden zwischen pädagogisch-psychologischen und ökonomischen Evaluationsansätzen. Zu ersteren zählen sie ergebnisorientierte, prozessorientierte und handlungsorientierte Ansätze, zu letzteren kostenanalytische, investitionsorientierte und kennzahlorientierte.

Die für das Projekt Lernscouts relevanten Ansätze werden im Folgenden kurz vorgestellt.

Kapitel 2.1.3.1, Ebenenorientierter Ansatz:

Ein häufig zitierter und angewandter Ansatz ist das von Kirkpatrick veröffentlichte Vier-Ebenenmodell. Dabei werden die vier Ebenen reaction, learning, behaviour und results aufgefächert (deutsch: Reaktionsebene, Lernebene, Handlungsebene und Erfolgsebene).

Die Reaktionsebene untersucht den Zufriedenheitserfolg. Geht man davon aus, dass ‘gesteigerte Lermotivation (…) sich auch positiv auf das Interesse am Lerninhalt auswirken’ kann, ist eine positive Auskunft zur Zufriedenheit eine gute Vorraussetzung für nachhaltiges Lernen.

In der Lernebene wird der Lernerfolg untersucht: Welche Sachverhalte, Anwendungen, Zusammenhänge etc. wurden erlernt.

Um den Transfererfolg geht es in der dritten Ebene, der Handlungsebene. Dabei wird beobachtet, ob, wie und was von dem Gelernten auch wirklich (im Verhalten) umgesetzt wird.

In der vierten Ebene, Erfolgsebene, werden schließlich die Ergebnisse z.B. im Niederschlag von Geschäftserfolg und/oder Handlungsfähigkeit betrachtet.

Kapitel 2.1.3.2, Handlungsorientierter Ansatz:

Bei diesem Ansatz werden alle Beteiligten in den Evaluationsprozess miteinbezogen. Evaluation wird hier als ‘…sozialer Interaktions-, Kommunikations- und Beratungsprozess…’ verstanden, dessen ‘Folgen und Wirkungen (…) für die Verbesserung der Akzeptanz des Ablaufs, der Inhalte, der Ergebnisse sowie des Transfers genutzt’ werden können.

Eine ‚Interaktion’ in diesem Sinne entwirft Teichgräber mit seiner handlungsorientieren Evaluation. Darin fordert er z.B. eine stärkere Einbindung der ReferentInnen, die Anpassung von Zielen, Inhalten, Methoden etc. an die Bedürfnisse der Teilnehmenden, aktive Unterstützung der Lernenden, aber auch Transferhilfe und Verbesserung der Kommunikation innerhalb von Lerngruppen bzw. zwischen Lernenden und Dozierenden.

Durch die handlungsorientierte Methode können vor allem Verbesserungen in der Praxis direkt umgesetzt werden. Der belebende Effekt wirkt sich auf Theorie und Praxis aus.