Zusammenfassung

Der Beitrag beschreibt ein mehrstufiges Verfahren der Usability Evaluation für das Web. Dabei wird eine Evaluation durch Experten mit einem Produkttest mit Benutzern im Usability-Labor kombiniert. Diese Methoden lassen sich in einem Usability-Engineering-Zyklus kombinieren. 

Usability Evaluation für das Web

Die Methoden zur Evaluation von Usability lassen sich grundsätzlich in zwei Klassen einteilen: 

• in Verfahren, bei denen Experten die usability-relevanten Aspekte überprüfen (expertenorientierte oder analytische Methoden) und 
• in Verfahren, bei denen anhand von Befragungen und/oder in Produkttests mit potentiellen Endnutzern die Usability überprüft wird (benutzerorientierte oder empirische Methoden). 

Eine methodisch abgesicherte Vorgehensweise ist die Kombination der heuristischen Evaluation durch Experten anhand von Heuristiken mit dem traditionellen Usability-Testing mit Endnutzern in einem Usability Labor (Dumas & Redish 1994: 82; Nielsen 1993: 224f). Zusätzlich werden von den Testpersonen durch jeweils einen Fragebogen vor und nach dem Test subjektive Messgrössen (wie z. B. Vertrautheit mit dem Medium, Zufriedenheit, optischer Eindruck etc.) erfasst. Die Untersuchungskonzeption ist demnach mehrmethodisch und mehrstufig.

In der ersten Phasen werden Heuristiken von Gutachtern evaluationsorientiert angewendet. Dabei werden die Heuristiken als Checklisten mit der zu untersuchenden Website verglichen. Wir verwenden die Heuristiken für Webkommunikation, die im Rahmen des International Summer Workshop "Exploring a Communication Model for Web Design" in Seattle, Washington, entwickelt wurden (Schweibenz 2001). Diese Heuristiken sind sehr umfassend und auf alle Arten von informationsorientierten Websites anwendbar. Basierend auf den Erkenntnissen der Forschungsgebiete Text- und Bildverständlichkeit, Hypertextnavigation, Webdesign und Usability-Testing befassen sie sich mit den Themengebieten Informationsdarstellung, Navigation und Rollenverhältnis Autor - Leser. In der Regel analysieren vier Experten, die als Gutachter fungieren, zunächst individuell mit einer der Heuristiken die Website im Hinblick auf die angezielte(n) Nutzergruppe(n) und dokumentieren die jeweiligen Ergebnisse. Anschließend werden im Rahmen einer Gruppensitzung die Ergebnisse der vier Experten zusammengeführt und diskutiert. Als Ergebnis wird ein Ranking der analysierten Usability-Mängel erstellt.

In der zweiten Phase werden auf der Basis dieser Mängelliste von den Versuchsleitern die Testaufgaben und die Fragebögen für den Produkttest mit Benutzern entwickelt. Die Testaufgaben müssen prozessorientiert sein, das heißt, den Handlungsabläufen der Endbenutzer entsprechen, die mit dem Webangebot intendiert werden. Das Usability-Testing erfolgt dann in der Kombination mit der Methode des Lauten Denkens. Dabei werden die Versuchsteilnehmer angehalten, alles, was sie während der Erledigung der Testaufgaben denken und tun, laut auszusprechen. Indem die Tester ihre Gedanken und Handlungen verbalisieren, erlauben sie es Einsicht zu nehmen, wie sie mit dem Computer bzw. der Website interagieren, wo Verständnisprobleme auftreten und welcher Art diese Probleme sind. So entstehen Daten mit hoher Validität, denn diese Daten zeigen nicht nur, was die Benutzer tun, sondern auch, warum sie es tun, und - das ist sehr wesentlich - während sie es tun, also synchron zur Aktion. Die Produkttests mit Benutzern werden im Usability Labor durchgeführt. Die folgende Abbildung zeigt eine Skizze des Usability Labors, wie wir es im Rahmen unserer Projekte einsetzen.
 

Während des Produkttest werden von je einer Videokamera Bild und Ton von der Testperson und dem Bildschirminhalt geliefert, zusammengeführt und aufgezeichnet. Die Aktionen auf dem Bildschirm werden zusätzlich mit einer digitalen Screencam, einer Software zur Erfassungen der digitalen Bewegungen auf dem Bildschirm, aufgezeichnet. 
 

Die gewonnen Versuchsdaten werden anschließend verschriftlicht (transkribiert), wobei die einzelnen Testverläufe rechnergestützt ausgewertet werden. Dazu werden die Daten manuell in ein zuvor erstelltes Transkriptionsformular übertragen. Die gefundenen Probleme werden in Problemkategorien eingeteilt, die nach den Wünschen der Auftraggeber sortiert und gewichtet werden. Parallel dazu werden Fragebögen ausgewertet, in denen die subjektiven Erfahrungen und Meinungen der Testpersonen erhoben wurden. Die Schlussauswertung besteht in einer Zusammenführung aller erhobenen Daten und in der Erstellung eines Pflichtenheftes für ein Redesign. Die folgende Abbildung zeigt den Ablauf des kombinierten und mehrstufigen Evaluationsverfahrens. 
 

Zur Verringerung des hohen Aufwands bei Vorbereitung, Durchführung und Auswertung kann auch eine vereinfachte Variante des Produkttests (Discount Usability Testing) mit lautem Denken verwendet werden. Dabei wird auf die Aufzeichnung mit Video und die Transkription der Videoaufzeichnungen verzichtet, was den Aufwand merklich reduziert. Statt dessen machen sich Versuchsleiter und Versuchsbeobachter an kritischen Stellen Notizen, die dann ausgewertet werden. Die Wahl des Verfahrens steht in Abhängigkeit von dem Umfang des Testgegenstandes und von den Zielen, die mit dem Test erreicht werden sollen. 

Auftraggeber von Untersuchungen tendieren häufig dazu, den Benutzertest mit den potentiellen Endbenutzern als zu aufwändig abzulehnen und geben sich lieber mit Meinungsumfragen zufrieden. Im Rahmen der Sozialforschung ist jedoch hinlänglich bekannt, dass Meinungen und Verhalten in der sozialen Wirklichkeit oft sehr stark differieren. So zeigten sich im Rahmen unserer Untersuchungen in einigen Fällen eklatante Unterschiede zwischen den Ergebnissen des Testverlaufs und den Meinungen der Testpersonen, die in den Fragebögen geäußert wurden. Es ist also nicht auszuschliessen, dass Schlussfolgerungen und Entscheidungen hinsichtlich eines Redesigns, die aus den erhobenen Meinungen abgeleitet werden, wenig verlässlich sind bzw. in die falsche Richtung weisen. Aus diesem Grund sollte auf Produkttests mit Benutzern nicht verzichtet werden und zumindest in der einfachen Variante (Discount Usability Testing) zur Anwendung kommen. 
 

finden Sie unter der Webadresse des Arbeitsbereichs Usability der Fachrichtung Informationswissenschaft der Universität des Saarlandes, URL http://usability.is.uni-sb.de/

Dumas, Joseph S./Redish, Janice C. (1994): A Practical Guide To Usability Testing. 2nd edition. Norwood, NJ: Ablex Publishing.

Eichinger, Armin (1999): Usability. Internet 

Nielsen, Jakob (1993): Usability Engineering. Boston, MA: Academic Press.

Schweibenz, Werner/Thissen, Frank (im Druck): Qualität im Web. Benutzerfreundliche Webseiten durch Usability Evaluation. Erscheint voraussichtlich im Dezember 2002 im Springer Verlag in der Reihe X.media.press. ISBN: 3-540-41371-5

Schweibenz, Werner (2001, Hrsg.) :Heuristiken für Webkommunikation - Deutsche Übersetzung der Heuristics for Web Communication. Herausgegeben in Kooperation mit der Society for Technical Communication und der tekom. Internet,  Link Service folgen.