Heuristische Evaluation

Definition

Bei der heuristischen Evaluation handelt es sich um eine systematische Usability-Inspektionsmethode um Usability-Probleme in einem User-Interface Design zu finden. Zur heuristischen Evaluation gehört immer eine kleine Gruppe von (Usability-)Experten die die Gebrauchsfähigkeit bzw. Konformität des Interfaces begutachtet und anhand von allgemeinen und einfachen Kriterien - den Heuristiken - beurteilt.

Evaluatoren

Da ein Evaluator nur rund 35% der Usability-Probleme eine Interfaces findet ist es sinnvoll mit mehreren Evaluatoren zu arbeiten. Nielsen und Molich schlagen in ihren Arbeiten für eine Evaluation drei bis fünf Evaluatoren vor, da kaum noch zusätzliche Informationen durch eine größere Zahl von Evaluatoren gewonnen wird. Bei der Auswahl der Evaluatoren sollte berücksichtig werden, dass sich die Auswahl verschiedener Evaluatoren positiv auf das Finden von Problemen auswirkt,was auch Studienergebnisse von Nielsen und Molich belegen. So sollten unter den Evaluatoren zwar hauptsächlich Experten sein die sich mit Usability beschäftigen, aber wenn es möglich ist auch ein End-User bzw. ein Experte der sich mit dem Anwendungsgebiet für das das System gedacht ist auskennt um eventuelle, spezielle Usability-Probleme zu finden.

Die exakte Zahl der Evaluatoren die tatsächlich für eine heuristische Evaluation herangezogen werden hängt allerdings auch sehr stark von der Kosten-Nutzen-Analyse ab, die für jedes System anderes ausfällt und somit neu berechnet wird. Sie errechnet sich aus Fixkosten und variablen Kosten. Die Fixkosten ergeben sich aus dem Preis der benötigten Materialien, der Planungszeit und dem Schreiben des Reportes. Sie betragen meist zwischen $3,700 und $4,800. Dazu kommen die variablen Kosten, wie der Lohn pro Evaluator, die Analyse der einzelnen Reporte, die Kosten der Hilfsmittel u.a. Diese Kosten bewegen sich zwischen $410 und $900 pro Evaluator

Heuristiken

Die Heuristiken dienen bzw. helfen den Evaluatoren bei der Begutachtung und Beurteilung des Interfaces. Sie sollen ihnen helfen Usability-Probleme zu finden, sie aber nicht einschränken. Darum kann jeder Evaluator neben allgemeinen Heuristiken die für alle Dialogelemente gelten jedes zusätzliche Usability-Prinzip oder Resultat das er kennt in Betracht ziehen, wenn es für ein bestimmtes Dialogelement sachdienlich ist.Darüber hinaus ist es möglich bestimmte kategoriespezifische Heuristiken zu erstellen die zusätzlich zu den Allgemeinen bei bestimmten Klassen von Produkten angewendet werden.

Als Beispiel für allgemeine Heuristiken diente die folgende 10 Punkte Liste die ursprünglich 1990 von Nielsen und Molich zusammen als Grundprinzipien zur Gestaltung von User-Intefaces entwickelt , aber 1994 nochmals von Nielsen, nach mehreren Studien, verfeinert wurde.

Die Heuristiken oder Leitfäden dienen bzw. helfen den Evaluatoren, wie in der Einleitung erwähnt, bei der Begutachtung und Beurteilung des Interfaces. Sie sollen ihnen helfen Usability-Probleme zu finden, sie aber nicht einschränken. Darum kann jeder Evaluator neben allgemeinen Heuristiken die für alle Dialogelemente gelten jedes zusätzliche Usability-Prinzip oder Resultat das er kennt in Betracht ziehen, wenn es für ein bestimmtes Dialogelement sachdienlich ist. Darüber hinaus ist es möglich bestimmte kategoriespezifische Heuristiken zu erstellen die zusätzlich zu den Allgemeinen bei bestimmten Klassen von Produkten angewendet werden [1]. Als Beispiel für allgemeine Heuristiken eine 10 Punkte Liste die ursprünglich 1990 von Nielsen und Molich zusammen als Grundprinzipien zur Gestaltung von User-Intefaces entwickelt, aber 1994 nochmals von Nielsen nach mehreren Studien verfeinert wurde.

• Sichtbarkeit des Systemstatus - Das System sollte dem User mit angebrachten Infos fortwährende mitteilen was geschieht

• Anpassung zwischen System und reeller Welt - Das System sollte in Wort und Phrase die Sprache der Anwender sprechen und nicht zu systemorientiert sein

• Benutzerkontrolle und –freiheit - Da User öfter mal Fehler machen sollte das System hierfür „Emergency Exits“ haben, sowie Undo- und Redo-Funktionen

• Konsistenz und Standards - Das System sollte Konsistent sein und bestimmten Standards folgen, damit sich der User immer zurechtfindet

• Fehler vermeiden - Besser als jede gute Fehlermeldung ist die Vermeidung von Fehlern

• Wiedererkennen statt sich erinnern - Die Bedienung sollte soweit es geht selbsterklärend sein ohne das sich der User groß erinnern muss. Auch sollte er sich nicht Informationen von einem Dialog für einen anderen merken müssen.

• Flexibilität und Effizienz - Für erfahrene User sollte es Abkürzungen geben die das Arbeiten mit dem System beschleunigen. Die „Shortcuts“ sollten allerdings Anfänger nicht verwirren. User sollten sich auch von ihnen häufig verwendete Funktionen speziell zurechtlegen können.

• Ästhetik und minimalistisches Design - Dialoge sollten notwendige Informationen enthalten. Jede zusätzliche Information lenkt nur von den Fakten ab und hält den Benutzer auf.

• Hilfe beim Erkennen, Diagnostizieren und Beheben von Fehlern - Fehlermeldungen sollten in verständlicher Sprache sein, das Problem genau beschreiben und Lösung vorschlagen

• Hilfe und Dokumentation - Selbst wenn der User für die Nutzung des System keinerlei Unterstützung bedarf, sollte es doch, gerade bei komplexen Interfaces, gute Dokumentation geben die in die Struktur integriert sind. Eine Hilfe an entsprechender Stelle sollte sowohl kontextabhängig als auch verständlich verfasst sein und konstruktive Lösungsansätze bieten.

Durchführung

Bei der Evaluation selbst geht jeder Experte das Interface mehrmals durch und begutachtet die verschiedenen Dialogelemente und vergleicht diese dabei mit allgemeinen und/oder speziellen Heuristiken bzw. Usability-Prinzipien. Die Evaluatoren entscheiden selbst wie sie das Interface durchgehen, meistens zweimal. Beim ersten Durchlauf um ein Gefühl für das Interface und den allgemeinen Anwendungsbereich des Systems zu bekommen. Beim Zweiten achten sie dann auf spezielle Interface-Elemente und wie diese ins Gesamtbild passen.

Erst nachdem alle Evaluationen abgeschlossen sind dürfen sich die Experten untereinander austauschen und ihre Ergebnisse zusammenführen. Dieses Verfahren ist Notwendig um sicherzustellen, dass die Evaluationen der einzelnen Personen unabhängig und vorurteilsfrei sind. Eine Evaluation eines Experten sollte durchschnittliche 1 bis 2 Stunden dauern. Sollte es durch die Komplexität des Produkts notwendig sein eine längere Evaluation abzuhalten, so ist es sinnvoll diese in mehrere kleinere aufzuspalten, welche sich dann jeweils nur mit einem bestimmten Aspekt beschäftigen.

Die Erfassung der Evaluationen kann auf verschiedene Weiser geschehen. Zum einen als geschriebener Bericht des Evaluatoren selbst, was den Aufwand für den Evaluator selbst erhöht da er sich nicht ausschließlich auf das Interface konzentrieren kann, dafür erhält man aber einen formalen Bericht. Zum anderen eine Erfassung durch einen Beobachter, dem der Evaluator während er das Interface begutachtet seine Ergebnisse sagt und dieser sie schriftlich festhält. Hierbei sollten die Evaluatoren dem Beobachter allerdings alle von ihnen gefundenen Verstöße gegen die Heuristiken einzeln mitteilen, was in der Praxis nicht immer so problemlos klappt, da sie mehr mit dem Finden von Fehlern als der Mitteilung dieser beschäftigt sind. Der Beobachter darf darüber hinaus die Ergebnisse und Kommentare nur erfassen, sie aber nicht selber bewerten wie beim zum User-Testing. Trotzdem bringt diese Form der Erfassung viele Vorteile mit sich. Sie reduziert zum einen die Arbeitslast für den Evaluator, zum anderen braucht der Beobachter nur ein Set von Notizen zu bearbeiten, das er dazu noch selbst geschrieben hat. Ein Ergebnis der gesamten Evaluation steht dadurch auch schneller zu Verfügung.

Eine Evaluation mit Beobachter hat auch noch den Vorteil, dass der Beobachter Fragen während der Evaluation beantworten kann und auch soll, aber nur solche die das Anwendungsgebiet des Interfaces betreffen. Dies hat vor allem Vorteile für Evaluatoren die keine Experten auf diesem Gebiet sind. Zum anderen kann der Beobachter auch Hinweise zum Gebrauch des Interfaces geben, falls es zu Problemen bei der Nutzung kommt. Dadurch wird auch teure und kostbare Evaluationszeit gespart. Allerdings muss noch erwähnt werden, dass der Beobachter den Evaluatoren von sich selbst aus erst Hilfe geben darf, wenn sie in richtigen Schwierigkeiten sind und sie sich zu dem aufgetretenen Usability-Problem geäußert haben. Um dies alles zu Garantieren muss der für die Evaluation gewählte Beobachten eine Experte auf diesem Gebiet sein und sich natürlich auch mit dem Interface sehr gut auskennen.

Ergebnis

Das Ergebnis einer Heuristischen Evaluation ist eine Liste der gefundenen Usability-Probleme. Da diese Liste die einzelnen Meinungen der Evaluatoren wieder spiegelt, müssen diese, in Verbindung mit den Heuristiken oder anderen Usability-Ergebnissen, erklären warum sie etwas nicht mochten oder was ihnen nicht gefiel. Allerdings zeigt diese Methode keinen gezielten Ansatz zur Lösung der gefundenen Probleme auf

Erweiterung

Als Erweiterung der einfachen Liste von Usability-Problemen eines Interfaces, die man als Ergebnis aus der Heuristischen Evaluation erhält gibt es die Möglichkeit die schwere der einzelnen Probleme zu gewichten, das so genannte Severity Ranking.

Quellen

• Nielsen, J. (1993): Usability Engineering, London, Academc Press Inc.
• Nielsen, J.; Molich, R. (1994): Usability Inspection Methods, New York, John Wiley & Sons Inc.
• Ivory, Melody Y.; Hearst, Marti Arti A. (2001): The State of the Art in Automating Usability Evaluation of User Interfaces. In ACM Computing Surveys, Vol. 33 4/ 2001, S.470 - 516

Links

• Nielsen, J.: Heuristic Evaluation
• Über den Daumen: Heuristische Evaluation