Aufgabe 14.3

Evaluation

Ein Museum hat ein multimediales Informationssystem erstellen lassen, mit dem die Besucher mit Hilfe eines Berührungsbildschirms zusätzliche Informationen zu einem Teil der Ausstellung abrufen können. Um eine Entscheidung über die Beschaffung weiterer solcher Kiosksysteme treffen zu können, benötigt die Museumsleitung eine Evaluation des vorhandenen Systems. Diese Evaluation soll möglichst kostengünstig erfolgen.

• Welche Fragen sollte aus Sicht der Museumsleitung eine solche Evaluation beantworten?
• Welche Qualitätsfaktoren stehen bei einer solchen Evaluation im Vordergrund?
• Welche Evaluationsmethoden lassen sich mit vertretbarem Aufwand einsetzen?
• Welche Fragen, die nicht direkt die Gebrauchstauglichkeit der Anwendung betreffen, für den Betreiber einer solchen Anwendung aber durchaus interessant sind, könnten bei einer Evaluation mit beantwortet werden?
• Gibt es allgemeine, nicht nur diese spezielle Anwendung betreffende ergonomische Fragen, die bei einer Evaluation mit untersucht werden könnten?

Lösung

Für die Museumsleitung ist eine Abwägung zwischen den Kosten eines solchen Systems und dem Nutzen für das Museum wichtig. Der Nutzen liegt dabei hauptsächlich in einer Steigerung der Attraktivität des Museums für die Besucher. Insbesondere aus Sicht der Museumspädagogik ist darüber hinaus zu fragen, ob bestimmte Inhalte mit Hilfe der Anwendung erfolgreich vermittelt werden.

Als wesentlicher Qualitätsfaktor ist also aus der Sicht des Museums die Zufriedenheit der Benutzer zu untersuchen. Daneben spielt die Effektivität bei der Vermittlung von Inhalten eine Rolle.

Als Evaluationsmethode bietet sich hier vor allem die Befragung an. Damit kann sowohl die subjektive Einschätzung des Systems in Bezug auf gestalterische und inhaltliche Attraktivität ermittelt werden als auch objektiv festgestellt werden, ob die Besucher bestimmte Inhalte durch das System kennen gelernt haben. Letzteres ist allerdings insofern schwierig, als jeder Besucher unterschiedliche Inhalte abgerufen haben kann. Die Befragung sollte standardisiert mit Hilfe eines Fragebogens durchgeführt werden, um den Personalaufwand niedrig zu halten. Um Gefälligkeitsurteile und Übertreibungen bei der subjektiven Einschätzung relativieren zu können, ist eine Ergänzung durch objektive Methoden wie Logfiles und Beobachtungen sinnvoll. Dabei benötigt die Aufzeichnung und Auswertung von Logfiles einen geringeren Personalaufwand.

Bei Einsatz von Logfiles können auch Aspekte untersucht werden, die keinen unmittelbaren Bezug zur ergonomischen Gestaltung haben, wie etwa die Frage, welche Inhalte häufiger und welche seltener abgerufen werden, wie lange bei bestimmten Darstellungen verweilt wird und so fort. Insbesondere lässt sich damit ermitteln, ob bestimmte Texte überhaupt vollständig gelesen werden.

Wird eine Aufzeichnung von Logfiles über einen längeren Zeitraum durchgeführt, lassen sich mit geringem Aufwand auch allgemeine ergonomische Fragestellungen klären, beispielsweise die Frage, ob die Anordnung in einem Menü Einfluss auf die Häufigkeit des Aufrufs hat. Besitzt etwa ein Kiosksystem einen Eingangsbildschirm, aus dem in drei verschiedene Kapitel verzweigt werden kann, so können die drei Optionen im Laufe der Zeit in verschiedenen Reihenfolgen angeboten werden. Durch Auswertung der Logfiles lässt sich dann ermitteln, ob eine Änderung der Reihenfolge auch eine Änderung der Aufrufhäufigkeit zur Folge hat.