Usability-Test versus heuristische Evaluation
Vergleich zweier Methoden am Beispiel einer Fallstudie
- Art: Diplomarbeit
- Autor: Karen Lindemann
- Abgabedatum: Dezember 2003
- Umfang: 168 Seiten
- Dateigröße: 1,1 MB
- Note: 1,0
- Institution / Hochschule: Universität Wien Österreich
- ISBN (eBook): 978-3-8324-7901-5
-
ISBN (Paperback) :
978-3-8324-7901-5 P - ISBN (CD) :978-3-8324-7901-5 CD
- Sprache: Deutsch
- Prämierung: Die Diplomarbeit wurde 2004 mit dem Studienpreis "eResult Usability-Contest" im Rahmen des Usability-Kongresses in Göttingen prämiert.
- Arbeit zitieren: Lindemann, Karen Dezember 2003: Usability-Test versus heuristische Evaluation, Hamburg: Diplomica Verlag
- Schlagworte: Usability-Methoden, Review, Gutachten, Experten, Usability
In den Warenkorb
74,00 €
Diplomarbeit von Karen Lindemann
Zusammenfassung:
Aufgrund der zunehmenden Verbreitung des Internets und der Entwicklungen im Bereich des Web-Designs ist die Untersuchung einer Website bezüglich ihrer Usability nicht nur aus wissenschaftlicher Sicht interessant. Hatte früher bereits die reine Präsenz eines Unternehmens im Internet einen hohen Stellenwert, geht es heute vielfach um Umsatz und Geschäft. Vor allem Unternehmen, die einen Großteil ihrer Geschäfte übers Internet abwickeln, sind auf eine problemlose Interaktion von Kunde und Unternehmen unter Verwendung ihrer Website angewiesen. Vielen Website-Betreibern ist zwar bewusst, dass die Untersuchung von Benutzerfreundlichkeit und einfacher Bedienung außerordentlich wichtig ist, jedoch wird aus Zeit- und/oder Kostengründen häufig darauf verzichtet.
Um einen Internet-Auftritt auf Usability zu untersuchen, stehen eine Reihe von Evaluationsmethoden zur Auswahl. Die wesentlichen Verfahren werden zu Beginn der Diplomarbeit in ihren Grundzügen vorgestellt. Eine der bekanntesten und am häufigsten angewandten Methoden ist der Usability-Test, der jedoch in seiner Durchführung sehr aufwendig ist. Eine mögliche Alternative zum Usability-Test könnte die Methode der heuristischen Evaluation sein.
Ziel der vorliegenden Arbeit ist es, diese beiden Methoden am Beispiel einer Fallstudie zu vergleichen. Dabei steht die Fragestellung, ob der Usability-Test durch die heuristische Evaluation ersetzt werden kann, im Mittelpunkt der empirischen Untersuchung. Unter anderem werden folgende Punkte näher betrachtet: Sind die Ergebnisse der heuristischen Evaluation äquivalent zu denen des Usability-Tests? Können Spezialisten, die sich professionell mit dem Phänomen „Usability“ auseinandersetzen, Schwierigkeiten von potentiellen Nutzern antizipieren? Haben die beiden Evaluationsmethoden grundsätzlich unterschiedliche Schwerpunkte?
Beide Methoden vertreten einen unterschiedlichen Ansatz und eine unterschiedliche Vorgehensweise: Beim Usability-Test werden User bei der Benutzung einer Website beobachtet, die aufgetretenen Schwierigkeiten werden als Probleme notiert. Bei der heuristischen Evaluation untersuchen Usability-Experten jeweils separat eine Website unter Verwendung zur Verfügung gestellter Heuristiken. Anschließend werden die Ergebnisse aller Experten um Doppelnennungen bereinigt und zu einer gemeinsamen Problemliste zusammengefasst.
Als Gegenstand der Untersuchung wurde die Website eines Versicherungsunternehmens ausgewählt, da beim Thema Versicherung alle an der Untersuchung Beteiligten über etwa den gleichen Informationsstand verfügten. Außerdem war der Autorin bekannt, dass der Internetauftritt erst kürzlich überarbeitet wurde und eine grundsätzliche Änderung der Website während der Testphase nicht zu erwarten war.
Für den Vergleich wurde die Website zum einen von drei professionellen Usability-Experten mit Hilfe der heuristischen Evaluation untersucht, zum anderen wurde dieselbe Website von der Autorin mit sechs potentiellen Usern in einem Usability-Labor getestet. Beim Usability-Test wurden den Usern Aufgaben zur Bearbeitung vorgelegt, die sie mit Hilfe der zu untersuchenden Website zu bewältigen hatten. Während des Lösens der Aufgaben wurden sie außerdem zum „lauten Denken“ aufgefordert. Die Testsituation wurde per Video aufgezeichnet. Bildschirmansicht, Mausbewegungen und Tastatureingaben wurden mit einer speziell dafür vorgesehenen Software protokolliert. Das so gewonnene Datenmaterial erlaubte der Autorin, die beobachteten Probleme aller Versuchspersonen genau zu analysieren und in einer Liste zusammenzufassen. Danach wurde die Problemliste des Usability-Tests der aggregierten Problemliste der Experten gegenübergestellt.
Die gefundenen Probleme wurden nach Anzahl, Kategorie und Schweregrad ausgewertet. Die beim Usability-Test gefundenen Probleme wurden für den Vergleich der Methoden als Basis gewählt, da sie im Gegensatz zu den Ergebnissen der Experten sehr homogen ausgefallen sind. Eine detaillierte Auswertung sowie eine Besprechung der Ergebnisse erfolgt in ausführlicher Form im Ergebnisteil der Diplomarbeit und soll an dieser Stelle nicht vorweggenommen werden.
Inhaltsverzeichnis:
| 0. | Vorwort | 5 |
| 1. | Einführung | 6 |
| 2. | Theoretischer Hintergrund | 9 |
| 2.1 | Die Wissenschaft von der Kommunikation zwischen Mensch und Computer | 9 |
| 2.1.1 | Benutzerschnittstelle | 11 |
| 2.1.2 | User Centered Design | 12 |
| 2.1.3 | Entwicklung und Verbreitung des World Wide Web | 14 |
| 2.1.4 | Unterschied zwischen Softwareanwendung und WWW-Applikation | 16 |
| 2.2 | Usability | 19 |
| 2.2.1 | Usability-Engineering | 23 |
| 2.2.2 | Usability-Problem | 24 |
| 2.3 | Methoden der Bewertung einer Website | 25 |
| 2.4 | Usability Testing | 27 |
| 2.4.1 | Usability-Test | 28 |
| 2.4.2 | Fokusgruppen | 31 |
| 2.4.3 | Befragung | 32 |
| 2.4.4 | Remote Testing | 32 |
| 2.4.5 | Klassische Blickmessung | 34 |
| 2.4.6 | Eye-Tracking per Maus | 35 |
| 2.4.7 | Logfile-Analyse | 36 |
| 2.5 | Usability Inspection | 37 |
| 2.5.1 | Heuristische Evaluation | 38 |
| 2.5.2 | Experten-Review | 42 |
| 2.5.3 | Cognitive Walkthrough | 43 |
| 2.5.4 | Pluralistic Walkthrough | 44 |
| 2.5.5 | Guidelines und Checklisten | 44 |
| 2.6 | Vergleich der unterschiedlichen Evaluationsmethoden | 45 |
| 2.7 | Fragestellung | 52 |
| 3. | Durchführung der empirischen Untersuchung | 55 |
| 3.1 | Untersuchungsgegenstand | 55 |
| 3.2 | Durchführung des Usability-Tests | 57 |
| 3.2.1 | Planung eines Usability-Tests | 57 |
| 3.2.2 | Anzahl der Testpersonen | 57 |
| 3.2.3 | Auswahl der Testpersonen | 59 |
| 3.2.4 | Rekrutierung und Entlohnung der Testpersonen | 61 |
| 3.2.5 | Usability-Labor und technische Ausstattung | 62 |
| 3.2.6 | Funktion des Testleiters | 64 |
| 3.2.7 | Die Methode des lauten Denkens | 67 |
| 3.2.8 | Entwicklung von Aufgaben für den Usability-Test | 68 |
| 3.2.9 | Erstellung eines Testablaufs für wwwnuernbergerde | 69 |
| 3.2.10 | Ausarbeitung eines Leitfadens für die Testung von wwwnuernbergerde | 72 |
| 3.2.11 | Testdurchführung und Systemvoraussetzungen des technisches Equipments | 77 |
| 3.2.12 | Testbeobachtung | 79 |
| 3.2.13 | Bestimmung des Schweregrads eines Usability-Problems | 80 |
| 3.2.14 | Auswertung eines Usability-Tests | 81 |
| 3.3 | Vorgehensweise bei der heuristischen Evaluation | 87 |
| 3.3.1 | Auswahl der Experten | 88 |
| 3.3.2 | Briefing für die heuristische Evaluation | 89 |
| 3.3.3 | Vorgehensweise der Experten sowie technische Ausstattung | 92 |
| 4. | Darstellung der Ergebnisse und Interpretation | 94 |
| 4.1 | Ergebnisse der heuristischen Evaluation | 94 |
| 4.1.1 | Anzahl der Problemnennungen pro Experte | 94 |
| 4.1.2 | Untersuchung der Problemschwere | 96 |
| 4.1.3 | Betrachtung der Problemkategorien | 99 |
| 4.1.4 | Untersuchung der Expertengutachten hinsichtlich der Problemüberschneidungen | 102 |
| 4.1.5 | Betrachtung des Anteils der Experten am Gesamtergebnis | 106 |
| 4.2 | Ergebnisse des Usability-Tests | 107 |
| 4.2.1 | Betrachtung der durch den Usability-Test identifizierten Probleme | 107 |
| 4.2.2 | Betrachtung des Anteils an der Problemanzahl pro Versuchsperson | 109 |
| 4.2.3 | Beurteilung der Website durch die Versuchspersonen | 113 |
| 4.3 | Vergleich der Ergebnisse zwischen Usability-Test und heuristischer Evaluation mit Hinblick auf die Fragestellungen | 114 |
| 4.3.1 | Vergleich der Methoden bezüglich der Anzahl und der Kategorien der Probleme | 115 |
| 4.3.2 | Vergleich der Methoden bezüglich des Schweregrads der identifizierten Probleme | 116 |
| 4.3.3 | Betrachtung der Problemüberschneidungen zwischen beiden Methoden | 117 |
| 4.3.4 | Nur von einer der beiden Methoden gefundene Probleme | 122 |
| 4.3.5 | Untersuchung der Probleme des Schweregrads 4 | 124 |
| 4.4 | Interpretation der Ergebnisse hinsichtlich der Fragestellung | 131 |
| 5. | Diskussion und Ausblick | 134 |
| 6. | Zusammenfassung | 137 |
| 7. | Literaturverzeichnis | 140 |
| 8. | Abbildungen und Tabellen | 144 |
| 9. | Anhang | 148 |
70 „Nicht-Kenntnis“ des Untersuchungsobjektes sollte eine unvoreingenommene Herangehensweise gewährleistet werden. Denn hätte die Versuchsleiterin die Site vorher gekannt, so bestände die Gefahr, dass nur systemimmanente Informationen erhoben werden. Doch in der vorliegenden Untersuchung sollte der userzentrierte Ansatz, der in der Literatur nur im Zusammenhang mit der Entwicklung von Web-Applikationen genannt wird, auch in der Praxis der Website-Evaluation konsequent zum Einsatz kommen. Zur Überprüfung der von der Versuchsleiterin aufgestellten Annahmen wurden die Testpersonen explizit über ihre Erwartungen in einem Pre-Interview befragt. Es stellte sich heraus, dass die Erwartungen größtenteils mit denen der Versuchsleiterin übereinstimmten. Die Aufgaben sollten wichtige Bereiche einer Versicherungs-Website abdecken: • • • • • • Suche und Kontaktaufnahme zu einem Berater vor Ort Versicherungsumfang einer Vollkaskoversicherung Informationen zur Riester-Rente und Hochrechnung der späteren Rente Berechnung der Rentenlücke Absicherung eines Selbstständigen durch eine Berufsunfähigkeitsversicherung Leistungen der stationären Zusatzversicherung [...]
69 Das bedeutet, dass man zum Beispiel beim Test einer E-Commerce-Site die Probanden auffordert, ein bestimmtes Produkt zu suchen und anschließend den kompletten Bestellvorgang durchzuführen. Dabei sollte man die Aufgabe in eine Rahmenhandlung einbetten, die einer möglichen Alltagssituation entspricht. Anschließend wird die Aufgabe formuliert, wobei jedoch nur das Ziel aufgezeigt wird – den Lösungsweg müssen die Versuchspersonen selbstständig finden. Diese Art der Aufgabenstellung wird Szenario genannt und soll dem Test seine Künstlichkeit nehmen. Ähnlich wie in einem Rollenspiel, sollen die Versuchspersonen angeregt werden, sich in die beschriebenen Situationen hineinzuversetzen und entsprechend zu agieren. Die nachfolgenden zwei Beispiele veranschaulichen, wie Szenarien in der Praxis aussehen können. Sie sind einem von Molich (2001) veröffentlichten Usability-Test-Report der Site www.Towerrecords.com entnommen: On June your nephew turns 5. He loves Pokémon and can spend hours playing with it, but so far he only has cards. You want to give him a videotape. Find and order a gift you can bring for your nephew. You have DKK 200. You have now received the item for you [sic] nephew, but it turns out that there is a nasty crack in the video cover. The cover of the Pokémon movie is very important for your nephew. (p. 16) Der Szenarien sollten nach didaktischen Gesichtspunkten zusammengestellt sein. Am Anfang ist es ratsam, mit einfachen Aufgaben zu beginnen. Im Mittelteil können komplexere folgen, und am Schluss wird der Test wiederum mit einer einfachen Aufgabe beendet (Schweibenz & Thissen, 2003). Auf diese Weise wird der Versuchsperson anfangs ein positives Gefühl vermittelt. Gleichzeitig wird das Selbstvertrauen gestärkt, damit die Testperson zuversichtlich in der Lösung der nächsten Aufgaben ist. Die letzte Aufgabe übernimmt eine ähnliche Funktion wie die erste: Es besteht die Intention, der Testperson zu einem Erfolgserlebnis zu verhelfen, sodass diese mit einer positiven Einstellung das UsabilityLabor verlässt. [...]
Da in einem Usability-Test, vor allem bei umfangreichen Web-Sites, nur ein Teil der möglichen Aufgaben getestet werden kann, muss bei der Auswahl der Aufgaben sorgfältig vorgegangen werden. Es sollten zum einen Prozesse getestet werden, die für das die Site betreibende Unternehmen von entscheidender Wichtigkeit sind, zum Beispiel Bestell- oder Anmeldeprozesse. Zum anderen sollten Elemente untersucht werden, die aus der Sicht der Nutzer von besonderem Interesse sind. Die Aufgaben, die von den Versuchspersonen in einem Test auszuführen sind, sollten möglichst realitätsnah sein: The tasks that you have users do in the test must be ones that they will do with the product on their jobs or in their homes. This means that you have to understand users’ jobs and the tasks for which this product is relevant. (Dumas & Redish, 1993, p. 23) [...]
In den Warenkorb
74,00 €
Link zur Arbeit:
http://www.diplom.de/ean/9783832479015
Arbeit zitieren:
Lindemann, Karen Dezember 2003: Usability-Test versus heuristische Evaluation, Hamburg: Diplomica Verlag
Schlagworte:
Usability-Methoden, Review, Gutachten, Experten, Usability
Entdecken Sie mehr zum Thema
