Title
Contents
Im Rahmen der Produktion des soFid 1996/1 fanden im IZ an den Standorten Bonn und Berlin ab Anfang März 1996 Anwender-Tests statt. Zur Vorbereitung und Auswahl der Versuchpersonen (VP) erhielten alle soFid-Bearbeiter im IZ per email die Nachricht, daß der COGET-Prototyp für die Herstellung eingesetzt werden kann, die Installation der Software durch die Abteilung FuE erfolgt und die konkrete Betreuung in der Testphase gewährleistet ist. Wegen des erwarteten hohen Betreuungsaufwandes sollte in der ersten Testphase lediglich eine kleinere Anzahl von Benutzern ausgewählt werden, die dann weitestgehend nacheinander ihre soFid's erstellen. Weitere Testphasen mit mehreren Versuchspersonen wurden angekündigt.
Auf diesen Aufruf meldeten sich 9 der 19 soFid-Bearbeiter als potentielle Testpersonen. Diese unerwartet hohe Resonanz ist u.E. eine positive Reaktion auf die frühzeitige Benutzerpartizipation. Da COGET eine Hardware-Ausstattung voraussetzt, die zum Testzeitpunkt am IZ noch nicht an jedem Arbeitsplatz zur Verfügung stand, erfolgte die Auswahl der Versuchpersonen anhand der vorhandenen Hardware-Ausstattung an den einzelnen Arbeitsplätzen (mindestens 8 MB RAM, Grafikkarte sowie 40 MB freien Speicherplatz auf Laufwerk C, die benötigten 17"-Monitore sollten durch zeitweisen Austausch im IZ bereitgestellt werden). Individuelle Arbeitsplanungen (Urlaub, Dienstreisen, Teilzeitbeschäftigung) wurden bei der Ablaufplanung berücksichtigt.
Vier Personen am Standort Bonn und eine Person am Standort Berlin wurden im Ergebnis dessen als Testpersonen ausgewählt. Zwei Testpersonen verfügten über Windows-Grundkenntnisse (erworben in inhouse-Schulungen des IZ), drei über Kenntnisse auf mittlerem bis höherem Niveau.
Der Entwicklungsstand des Prototypen erforderte bei diesem Einsatz folgendes Verfahren (bei Installation und Verwendung):
1. FuE
|
Installation
des Prototypen als ausführbares Programm auf den PCs der Probanden
|
| 2.
FuE
|
Individuelle
Vorbereitung der jeweiligen Kapitelgliederung des soFids
|
| 3.
Redakteur
|
Individuelle
aDIS-Recherchen in FORIS und SOLIS wie die Jahre zuvor und Speichern der
Rechercheergebnisse als Token-Dateien
|
| 4.
FuE
|
Datenkonvertierung
dieser Token-Dateien in prototyp-spezifische Tabellen und deren Installation
separat für jede Testperson
|
| 5.
Redakteur
|
Zuordnung
der DE zu den Kapiteln = Einsatz des Prototypen
|
| 6.
FuE
|
Übergabe
der erzeugten Argumente-Datei zur Weiterverarbeitung an EDV
|
Damit konnte der Prototyp in einem wesentlichen Teil der soFid-Bearbeitung, nämlich der inhaltlichen Erschließung und Zuordnung, getestet werden.
Insbesondere die Installation des ausführbaren soFid-Programms erwies sich auf Grund der unterschiedlichen technischen Ausstattung und Konfigurationen an den Arbeitsplätzen als extrem zeitaufwendig.
Die Versuchspersonen erhielten für die Auswertung des Tests einen ausführlichen Fragebogen mit Protokollteil (siehe Anhang), in dem alle Unzulänglichkeiten, Programm- und Bedienfehler sowie der detaillierte zeitliche Ablauf der Bearbeitung festgehalten werden sollten.
Dieser erste Anwendertest ergab, daß die Bearbeitungsgeschwindigkeit in keinem nachweisbaren Zusammenhang zu EDV-Vorkenntnissen, soFid-Umfang sowie der Tiefe der soFid-Gliederung steht. Sie ist vermutlich eher von der Klarheit der Gliederung, d. h. von der Unterscheidbarkeit der einzelnen Kapitelinhalte abhängig. Wenn eine endgültige Entscheidung über die Kapitelzuordnung bereits in der ersten Stufe gefällt werden kann ("Papierkorb" oder ein "eindeutiges Kapitel"), wird dies weniger Zeit in Anspruch nehmen als bei einer weiteren Entscheidungsstufe, wo im Falle einer Zuordnung die Wahl zwischen mehreren in Frage kommenden Kapiteln fallen muß. Individueller Arbeitsstil sowie Erfahrungen spielen hier sicher eine ebensolche Rolle wie das Thema des soFids. Eine definierte soziologische Teildisziplin läßt sich klarer gliedern und einfacher bearbeiten als die sogenannten Querschnittsbereiche oder thematische soFid-Zuschnitte über mehrere Disziplinen (VP 4). Hinzu kommt, daß über einen möglichen Zeitgewinn oder das Maß zusätzlicher Arbeit im Vergleich zur soFid-Herstellung in althergebrachter Weise kaum statistische Vergleiche erstellt werden können. Gründe dafür sind fehlende Daten und der ständig wechselnde Umfang der Rechercheausgangsmengen (bis zu +/- 40%). Aus diesem Grunde ist der individuelle Eindruck der Versuchspersonen über ihre Arbeitsgeschwindigkeit entscheidendes Bewertungskriterium. Hierzu äußerten sich alle Versuchspersonen positiv:
* Zeitersparnis von 50% (VP 2)
* größere Schnelligkeit gegenüber der Bearbeitung von Print (VP 4)
* Der Zeitbedarf variiert auch bei herkömmlicher Bearbeitungstechnik zwischen 3,5 und 11 Stunden. (VP 5)
Ausgangs-menge (DE)
|
benötigte
Zeit in Stunden
|
DE/Stunde(gerundet)
| |
| VP
1
|
879
|
21,0
|
40
|
| VP
2
|
365
|
3,0
|
120
|
| VP
3
|
1400
|
14,0
|
100
|
| VP
4
|
311
|
5,5
|
60
|
| VP
5
|
646
|
14,75
|
40
|
Datenfehler sind durch keine Versuchsperson festgestellt worden. Leere Felder bei einigen DE (bspw. Abstract) erwiesen sich bei Nachkontrolle in aDIS als tatsächlich leer (VP 3).
* Eine Möglichkeit der Anzeige von Sammelwerken fehlt derzeit. Diese wäre eine sehr sinnvolle Ergänzung (VP 1, 3 und 5). Folgende Funktionalität wäre optimal: Bei jeder DE wird im Feld "Dokumentart" angezeigt, ob es ein Sammelwerk oder ein Sammelwerksbeitrag ist. Wenn dies der Fall ist, sollte sich ein "Sammelwerksfenster" öffnen lassen, das alle Beiträge des Sammelwerkes als Teilmenge der geladenen Recherche inkl. deren Kapitel- bzw. Papierkorbzuordnung anzeigt. In einem späteren Entwicklungsstadium (bei Direktanbindung an die aDIS-Datenbestände) sollten alle in der Datenbank vorhandenen und nicht recherchierten Beiträge des Sammelwerkes anzeigbar sein. Aus diesem Fenster heraus müßte eine Zuordnung zu Kapiteln und Papierkorb möglich sein
* Nach erfolgter Zuordnung zu einem Kapitel oder Papierkorb fehlt eine "Undo-Möglichkeit" für die letzten Arbeitsschritte (VP 3 und 5). Einmal zugeordnete DE könnten auf diese Weise nochmal gefunden werden, ohne alle Kapitel durchzusuchen.
* Die Druckfunktion ist noch nicht implementiert.
* Eine Aktualisierung der Vollanzeige nach Kapitelzuordnung erfolgt derzeit nur nach Benutzung des "Papierkorbs" (VP 2 und 3).
* Das Editieren oder Verfassen des Vorwortes für den jeweiligen soFid sollten integriert werden (VP 5).
* Druckmöglichkeiten für die Statistik und die graphischen Darstellungen fehlen noch (VP 5).
* Ein Absturz beim Klick auf ein Kapitel wurde registriert. Die Datenbank konnte nur mit Unterstützung von FuE wieder hergestellt werden, jedoch ohne grün unterlegte Kapitelzeilen (VP 4).
* Die "Drag and Drop-Hand" verflüchtigt sich nach erstmaliger Benutzung des Papierkorbes und formt sich zu einer Art Rahmen (VP 2 und 3).
* Nach erfolgreicher Zuordnung der letzten DE leert sich das Fenster Vollanzeige nicht (VP 3).
* Beim erneuten Start des soFid-Programms nach erfolgter, vollständiger Zuordnung aller Dokumente, d.h. das Fenster "Nicht zugeordnete Dokumente" ist beim Laden leer, wird im Fenster "Vollanzeige" erst nach Klick auf eine beliebige DE etwas angezeigt (VP 3).
* Die Drag and Drop-Funktion in die erste Zeile des Kapitelfensters geht nicht
(VP 3) bzw. funktionierte teilweise nicht beim ersten Versuch
(VP 5).
* Es wurden folgende Anzahl von kompletten Softwareabstürzen
protokolliert: einer bei VP 4, drei bei VP 3, einer bei VP 2, keiner bei den VP
1
und 5.
Allgemeine, häufig wiederkehrende Bedienungsfehler wurden durch die Versuchspersonen nicht vermerkt. Es sind jedoch eine Reihe von Mängeln benannt worden, die auf Grund von fehlenden Funktionalitäten im Prototypen zu ergonomisch suboptimalen Bearbeitungsstrategien geführt haben.
* "SOFID-Bearbeitung am PC führt zu stärkerer Konzentration auf Infos des Titels; Informationen der anderen Kategorien treten im Vergleich zur Print-Bearbeitung eher in den Hintergrund" (VP 4, ähnlich VP 3). Bei der derzeitigen Oberflächengestaltung konzentriert sich die Versuchsperson bewußter als beim Papierausdruck auf Titel und Abstract. Es ist jedoch zu vermuten, daß auch beim Abarbeiten des Papierausdrucks die Informationen selektiv und in der Reihenfolge ihres Erscheinens wahrgenommen werden: 1. Autoren, 2. Titel, 3. Abstract usw. Die vor, zwischen und nach diesen Informationen sich befindenden eher technischen oder bibliografischen Informationen (ISN, Status, bibliografische Angaben, Veröffentlichungen, Deskriptoren, Methoden etc.) werden erst im Zweifelsfall (außer bei Sammelwerken) zur Entscheidungsfindung herangezogen. Da bei Bildschirmarbeit das Scrollen in den Feldern bewußt ausgelöst werden muß und nicht nur unbewußte Blickänderung ist, könnte der Eindruck einer aus der Sicht der Versuchspersonen unzumutbaren Verringerung der Entscheidungsbasis auf wenige Informationsbereiche der DE entstanden sein
* Lediglich eine VP gab an, die vorläufige Zuordnung kaum benutzt zu haben (VP 3). Da diese Funktionalität für alle Versuchspersonen in den Pretests von großer Bedeutung war, ist zu vermuten, daß dies dem persönlichen Arbeitsstil geschuldet ist.
* Das Ordnungsprinzip in den Kapitelfenstern und im Papierkorb sollte nach Meinung von drei Probanden (Probanden 1, 3 und 4) geändert werden. Die zuletzt zugeordnete DE sollte in dem entsprechenden Kapitelfenster bzw. im Papierkorb als erste oder letzte erscheinen. Begründet wurde der Wunsch mit der Tatsache, daß es zuweilen nötig ist, sich die zuletzt zugeordneten DE eines Kapitels bzw. des Papierkorbs anzusehen. Diese sind bei einer Sortierung nach ISN und beim Wechsel von Kapiteln nicht notwendig an erster oder letzter Stelle der Listen. Proband 5 schlug eine, möglicherweise optional wählbare, alphabetische Sortierung der DE in den Fenstern vor, die auch die Dublettenkontrolle erleichtern würde.
* Als ernsten Hinweis auf die unzureichende Hardware-Ausstattung und deren Konfiguration sind die Aussagen zweier Versuchspersonen über Ermüdungserscheinungen wegen flimmernder Bildschirme (VP 1 und 2) zu sehen.
Zu den Kapitelfenstern:
* Um die Zuordnung zu beschleunigen und sie bei schwierigen Entscheidungsprozessen nicht schon in der ersten Runde aufzuhalten, sollte ein zusätzliches Kapitel "Fragliche DE" eingeführt werden (VP 4). Hier könnten alle DE, die für den soFid möglicherweise relevant sind, kapitelübergreifend zwischengelagert werden. Am Ende der ersten Zuordnungsrunde können die DE dieses Kapitels erneut einer Prüfung unterzogen werden, in deren Ergebnis dann zugeordnet oder verworfen wird. Die übrigen Kapitel weisen in diesem Stadium bereits eine inhaltliche Struktur und Menge von DE auf, die diese Entscheidung dann erleichtern. Damit entfiele allerdings das vorläufige Zuordnen zu einem Kapitel.
* Das Kapitelfenster wird beim Öffnen standardmäßig so breit angezeigt, daß die Zahlen für die Kapitelumfänge zunächst nicht zu sehen sind. VP 4 regt an, dieses Fenster schon beim Programmstart so anzuzeigen, daß diese Zahlen zu sehen sind. Dadurch würde eine gleichmäßigere Zuordnung zu den Kapiteln bzw. eine "Bevorzugung" schwach besetzter Kapitel von Beginn an erleichtert. Eine zweite "Ausgleichsrunde" könnte entfallen.
Zum Vollanzeige-Fenster:
* Das Titelfeld sollte mehr Platz einnehmen, damit ohne klick+scroll der vollständige Titel gelesen werden kann (VPn 1, 2, 4 und 5). Da die Titelinformationen in jedem Fall gelesen werden, kann hier in vielen Fällen Bedienungsaufwand reduziert werden.
* Das Feld "Untertitel" war in den meisten Fällen leer. Aus diesem Grunde
kann der Platz zugunsten des Titelfeldes eingespart werden oder die Untertitel,
wenn vorhanden, an den Titel im Titelfeld angehängt werden
(VP 3).
* Das Abstract-Feld liefert die meisten inhaltlichen Informationen und ist entscheidende Basis für die inhaltliche Zuordnung der DE. Deshalb sollte es soviel Raum wie möglich bekommen, um scrollen zu ersparen (VP 4). Zugunsten des Vollanzeige-Fensters können auch die Fenster der oberen Reihe in der Standardeinstellung im Platz reduziert werden.
* Da bei einigen DE der Partnerinstitutionen keine deutschsprachigen Abstracts erstellt werden, sollte bei leerem deutschen Abstract ersatzweise das englische oder französische erscheinen. Bei FORIS-DE ohne Abstract könnten in diesem Feld stattdessen die Projekt-Veröffentlichungen erscheinen (VPn 3, 4 und 5).
* Die Dropdown-Listbox im Fenster "Vollanzeige" sollte ohne scrollen vollständig lesbar sein, d. h. sie müßte sich in ihrer Länge an die individuelle Gliederung anpassen. Standardmäßig sollte <nicht zugeordnet> als erstes Element, <Papierkorb> als zweites Element angezeigt werden. Eine Änderung der Plazierung an den rechten Rand des Fensters wäre besser, da so im aufgeklappten Zustand das Abstract noch gelesen werden kann (VP 3).
* Im Feld "Quelle" sollte nicht nur der Dokumententyp sondern auch die tatsächliche Quelle angezeigt werden, bspw. der Zeitschriftentitel (VP 2).
* Das Klassifikationsfeld sollte etwas größer gestaltet werden (VP 2).
Insgesamt kamen alle Versuchspersonen mit dem Prototypen in seinem Entwicklungsstand gut zurecht. Hilfe oder Erklärungen zur Art und Weise der Bedienung waren nach einer kurzen Einweisung nicht mehr nötig.
Kommentare der Versuchspersonen:
* "gut, angenehmes Arbeiten; ...; aber auch schnellere Ermüdung, da sowohl formal exaktes Arbeiten als auch große inhaltliche Konzentration nötig" (VP 4)
* "... ist die Zuordnung der Dokumente endgültiger, Korrekturen finden kaum statt. Man hat keine Lust alle Kapitel und den Papierkorb noch einmal am Bildschirm anzusehen wg. Maus-Arbeit, Hin-und-Springen für jede DE, ..." (VP 2)
* "würde gern mit dieser Technologie auch künftig den Sofid
erstellen"
(VP 1)
* "Zu denVorteilen der Oberfläche zählen insbesondere
* die Flexibilität im Umgang mit den DE
* die aktuelle Darbietung des Standes der Arbeiten (auch statistisch)
* die Sicherung des erreichten Standes
* der `aufgeräumte' Arbeitsplatz" (VP 5)
Der Testeinsatz des COGET-Prototypen ist insgesamt erfolgreich verlaufen. Nach der Behebung von technischen Problemen an einigen Arbeitsplätzen kamen alle Versuchspersonen mit der Oberfläche in ihrer jetzigen Form gut zurecht. Die Art der aus den Protokollen und persönlichen Gesprächen gewonnenen Kritik ist durchweg konstruktiv und weist lediglich auf Schwachstellen und fehlende bzw. gewünschte Funktionalitäten hin. Die generelle Eignung dieses Arbeitsgebiets für eine routinemäßige computergestütze Bearbeitung wird dagegen nicht in Frage gestellt.
Aufgrund der vermehrten Arbeit am Bildschirm und der dabei nötigen starken Konzentration ist für den Routine-Einsatz einer solchen Software jedoch die Verfügbarkeit ergonomischer Bildschirmgeräte und eine ergonomische Arbeitsplatzgestaltung unabdingbar. Dies war im Test nicht an allen Arbeitsplätzen gegeben. Bei drei Versuchspersonen standen für den Test zumindest schon 17"-Monitore zur Verfügung, zwei Versuchspersonen erklärten sich auch zur Arbeit mit den vorhandenen 14"-Monitoren bei der für den Einsatz der Software nötigen höheren Bildschirmauflösung von 800 * 600 Punkten bereit. In allen Fällen erlaubten die installierten Grafikkarten aber keine ergonomischen Bildwechselfrequenzen von 70 Hz oder mehr.
Für eine effiziente inhaltliche Zuordnung der Dokumente müssen möglichst viel Informationen zu diesen selbst auf einen Blick bzw. ohne zwischenzeitlich nötige Interaktionen mit der Software am Bildschirm sichtbar sein. Darüber hinaus muß nach Bedarf sowohl die Gliederung als auch der Kontext eines möglichen Zielkapitels (die dort vorhandenen Dokumente) dargestellt werden können. Aufgrund dieser Rahmenbedingungen ist die verwendete Bildschirmauflösung von 800 * 600 Punkten bei Verwendung eines 17"-Monitors und 70 Hz Bildwechselfrequenz als das Minimum zu betrachten. Dabei muß bei den Monitoren vor allem auch auf die Einhaltung gängiger Strahlungsnormen (MPR-II oder TCO) geachtet werden.
Title
Contents