Das DIPF (Deutsches Institut für Internationale Pädagogische Forschung) und dessen Partner SOFTCON AG haben gemeinsam ein Autorensystem entwickelt. Dieses wurde bereits bei der aktuellen PISA-Studie 2009, deren Ergebnisse am 7. Dezember 2010 veröffentlicht wurden, eingesetzt. Um erstmals die Lesekompetenz für digitale Texte zu prüfen, wurde der ERA (Electronic Reading Assessment) Hypertext Builder konzipiert. Das Autorensystem ermöglicht die Erstellung entsprechender Aufgaben ohne Programmierung. 20 Länder haben sich für die ERA Option in PISA 2009 entschieden. Die Arbeiten wurden vom Bundesministerium für Bildung und Forschung gefördert.
Die Idee, Kompetenzen der Jugendlichen in Bezug auf das Lesen elektronischer Texte zu erfassen, entstand bereits Ende 2006. Es sollte getestet werden, wie Schüler generell mit elektronischen Medien sowie im Speziellen mit Hypertexten wie Webseiten oder Navigationsmitteln (Links) zurechtkommen. Beispiele für Aufgaben waren simulierte Webseiten, E-Mails mit Links auf Webseiten oder die Simulation von elektronischen Dokumenten wie PDF. Die Testperson sollte sich dabei nicht wirklich im Internet bewegen. Die Umgebung wurde durch vorbereitete Webseiten und eine Browser-Funktionalität, die die Navigation (Vor-/Zurück und Startseite) nachbildete, nur simuliert. Die beteiligten Länder konnten einen zusätzlichen Aufgabenblock von etwa 40 Minuten auf freiwilliger Basis mit in die Studie aufnehmen.
„Es war relativ schnell klar, dass der erste Ansatz, die etwa 80 geplanten Aufgaben, so genannte Items, individuell zu programmieren, nicht realisierbar sein würde“, so Michel Dorochevsky, CTO der SOFTCON AG. „Zum einen wegen des hohen zeitlichen Aufwands, zum anderen wegen des hohen Aufwands an Programmier-Ressourcen ? ganz zu schweigen vom Übersetzungsaufwand in über 20 Sprachen.“
Die SOFTCON AG hatte deshalb vorgeschlagen, ein Autorensystem für Psychologen zu entwickeln, das die Erstellung solcher Aufgaben ohne Programmierung ermöglicht: ein spezialisiertes Zeichen- und Multimediawerkzeug, mit dem sich Grafiken, Texte, elektronische Formulare mit Auswahllisten, Check-Boxen, Menüs, Eingabefelder und sonstige Standardelementen via Drag & Drop zu einzelnen Seiten aufbauen ließen. Diese wiederum konnten über Links miteinander verknüpft werden.
„Die Vorteile computerbasierter Tests mit einem Autorensystem haben sich aus der Erfahrung mit ERA ausdrücklich bestätigt: Aufgaben können ohne Beteiligung von Programmierern erstellt werden, dadurch wird eine höhere Skalierbarkeit und Qualität der Aufgaben erreicht“, führt Dr. Heiko Rölke (Projektleiter Technologiebasiertes Assessment), DIPF an. „So können mehr Aufgaben mit einer höheren Aussagekraft für die Studien entwickelt werden. Des Weiteren ist der Übersetzungsprozess weitgehend automatisierbar.“
Zusätzlich lassen sich Ergebnisse automatisch auswerten und für adaptive Tests nutzen. Dabei wird die nächste Aufgabe abhängig vom Kenntnisstand der Testperson ausgewählt. Auch die Auswertung der Benutzerinteraktionen liefert wertvolles Datenmaterial für die gründliche Auswertung. So wurde kürzlich die Arbeit von DIPF und SOFTCON für ERA durch den Konsortialführer ACER (Australian Council for Educational Research) noch einmal ausdrücklich gewürdigt.