SE Methoden der Usability Evaluation

Informationen

am 2005-01-17 wurde von Henryk Plötz und mir ein Referat zum Thema
szenariobezogene Logfile-Analyse im Seminar Methoden der Usability Evaluation gehalten.

Material

Zu dem Vortrag existieren Folien, die Ausarbeitung, sowie die von uns gesammelten Logfiles.
Des weiteren gibt es unser Simulationssimulation-Programm inkl. Graphengenerationsskripten.

Die gepatchte Fernbedienung protokolliert verwertbare Timestamps.

Anmerkungen

Die Logfiles und Programme wurden mittels 'tar' und 'bzip2' gepackt.
Das Simulationssimulation-Programm 'domlog.py' ist mit Python 2.3 interpretierbar. Die Skripte zur Generierung der Graphen sind in Octave geschrieben (und sollten auch unter MatLab laufen).

Mängelliste an der Fernbedienungssimulationssoftware

Mängel

Mängel, ungefähr in Reihenfolge der Schwere:

1. Timestamp im Logfile unbrauchbar. Der Formatstring sollte von hh:mm:zzz auf hh:mm:ss.zzz geändert werden. Man kann das Binary patchen: Bei Offset 0x74AC4 das "hh:mm:zzz" durch "hh:mm:ss " ersetzen, bzw. besser noch "hhmmsszzz" (muss man halt dann beim Auslesen wieder umwandeln).
   Wer sich nich' die Finger schmutzig machen will, nimmt unsere gepatchte Fernbedienung.
2. Beim Schreiben des XML-Files darauf achten dass das File well-formed XML bleibt, d.h. besonders: Umlaute entweder UTF-8 codieren oder eine XML-Deklaration mit Angabe des Zeichensatzes voranstellen. (Umlaute treten zum Beispiel im März auf.)
3. Wenn der Benutzer gleich am Anfang Kanäle runterschaltet kommt er offenbar auf negative Kanalnummern, weil die Kanalnummer mit 0 initialisiert wird und der Wrap-around nicht richtig programmiert ist.
4. Wenn man ein Timerprogramm editiert werden die vorher eingestellten Daten auf Standardwerte zurückgesetzt, ist das beim Original auch so?
5. Die Liste der Programmnamen beim Editieren von Timerprogrammen ist nicht die gleiche Liste wie sie in der Sendertabelle eingestellt wird.
6. Es werden teilweise Events für Knöpfe die nur bei geschlossener Klappe erreichbar sind in das Logfile geschrieben, obwohl die Klappe offen ist. Beispiel: Klappe öffnen und den blauen Knopf drücken zeichnet ein Event für B_StopMinus auf.
7. Beim Schreiben des Date-Elements ein sinnvoll parsebares Format verwenden. Am besten ISO: "2005-01-12 22:07:42". Auf jeden Fall nicht dieses Mischmasch wie jetzt ("Jänner 12, 2005" wie das beim Benutzer eingestellte Datumsformat, aber "10:07 PM" in 12h-Format unabhängig von der Einstellung des Benutzers).
8. Wenn das Item-Element nicht gebraucht wird, braucht man es ja nicht reinschreiben (mit lauter xxx gefüllt).
9. Welchen Sinn haben das Meaning- und das Level-Element?

Wünsche

• Mehr vom internen Zustand in das Logfile. Mindestens reinschreiben wann ATS Euro Plus ausgeführt wurde, sowie bei jeder Änderung des Timerprogramms bzw. der Senderliste die Veränderung. Vorzugsweise auch noch wenn im Menü navigiert wird den neu ausgewählten Menüpunkt.
• Wenn ein Knopfdruck keine Veränderung bewirkt sollte das im Logfile vermerkt werden, am besten noch mit dem Grund: Also entweder weil die Simulation an der Stelle nicht vollständig ist, oder weil der Videorekorder im aktuellen Zustand nicht auf den Knopf reagiert (das könnte auf Usability-Defizite hinweisen).