| |  Verfügbarkeit |
| Autoren | Zimmermann, Stefan |
|---|
| Institution | Leibniz-Institut für Bildungsverläufe; Nationales Bildungspanel |
|---|
| Titel | Entwicklung einer computerbasierten Schwierigkeitsprädiktion von Leseverstehensaufgaben. |
|---|
| URL | https://www.neps-data.de/Portals/0/Working Papers/WP_LXIV.pdf |
|---|
| Erscheinungsjahr | 2016 |
|---|
| Seitenzahl | 40 S. |
|---|
| Verlag | Bamberg: Leibniz Institute for Educational Trajectories (LIfBi) |
|---|
| Reihe | NEPS working paper. Band 64 |
|---|
| Dokumenttyp | Monographie; Graue Literatur; online |
|---|
| Beigaben | Literaturangaben, Tabellen, Abbildungen, Anhang |
|---|
| Sprache | deutsch |
|---|
| Forschungsschwerpunkt | Bildungspanel (NEPS) |
|---|
| Schlagwörter | Leseverstehen; Lesekompetenz; Testkonstruktion; Schüler; Schuljahr 09 |
|---|
| Abstract | Die Vorhersagbarkeit von Aufgabenschwierigkeiten im Bereich des Leseverstehens hat sowohl praktische Konsequenzen für die Ökonomie der Testkonstruktion als auch theoretische Implikationen. Aus theoretischer Perspektive besteht ein Forschungsdesiderat in der Untersuchung derjenigen kognitiven Prozesse, die beim Lösen von Leseverstehensaufgaben im Multiple-Choice-Format zum Tragen kommen. Zudem werden in der praktischen Testentwicklung beim Schreiben von neuen Testaufgaben Informationen darüber benötigt, was eine Aufgabe schwierig respektive leicht macht, um sukzessive in zukünftigen Studien die Passung zwischen Testschwierigkeit und Personenfähigkeit zu verbessern. Da die Erprobung von Testmaterial in Pilotstudien relativ zeitaufwändig und damit kostenintensiv ist, kann hier eine modellbasierte Abschätzung der Aufgabenschwierigkeiten die Pilotstudien sinnvoll ergänzen. Zu einfache oder zu schwere Aufgaben können somit vorab identifiziert werden und von einer empirischen Pilotierung ausgeschlossen werden oder auf Grund der Erkenntnisse, was eine Aufgabe schwierig macht, umgeschrieben werden. Für eine solche praktische Anwendung ist es entscheidend, dass die Ergebnisse der Schwierigkeitsabschätzungen den Testentwicklern bei Bedarf zur Verfügung gestellt werden. Deshalb wird in der vorliegenden Arbeit auf manuelle Kodierungen von Aufgabenmerkmalen verzichtet und verschiedene automatisierbare Methoden der quantitativen (Computer-) Linguistik eingesetzt (u.a. Part-of-Speech-Tagging und korpusbasierte Worthäufigkeitsanalysen) und im Hinblick auf ihre Eignung zur Prädiktion von Aufgabenschwierigkeiten in der Adoleszenz untersucht. Dazu werden die Aufgabenschwierigkeiten im Rahmen eines Linear Logistischen Testmodells (LLTM) als Linearkombinationen von Aufgabenmerkmalen dargestellt. Die empirischen Ergebnisse einer Hauptstudie in der 9. Klasse zeigen, dass ein zufriedenstellendes Modell zur Vorhersagbarkeit von Aufgabenschwierigkeiten aufgestellt werden kann, das zudem die Konstruktvalidität des NEPS Leseverstehenstests stützt. Da in der Sprachverarbeitung verschiedene Prozesse altersabhängig sind und sich im Erwachsenenalter der Wortschatz verbessert und das verbale Arbeitsgedächtnis sich verschlechtert, wird in einem nächsten Schritt die Übertragbarkeit der Ergebnisse auf das Erwachsenenalter überprüft. Dazu wird die Prädiktion der zuvor ausgewählten Aufgabenmerkmale bei den gleichen Aufgaben in einer Pilotstudie an Erwachsenen untersucht. Empirisch zeigt sich bei den Erwachsenen zwar eine ähnlich große Varianzaufklärung in den Aufgabenschwierigkeiten, die Konfidenzintervalle einzelner Schwierigkeitskomponenten sind jedoch u.a. auf Grundlage der deutlich kleineren Stichprobe erheblich größer. Somit können zwar in diesem Altersbereich leichte und schwierige Aufgaben identifiziert werden; gleichzeitig lassen die Ergebnisse für einzelne Schwierigkeitskomponenten jedoch keinen Vergleich mit der Studie in der Adoleszenz zu, so dass die Generalisierbarkeit auf andere Altersbereiche nicht abschließend geklärt werden kann. (Orig.). |
|---|
| Förderkennzeichen | 01GJ0888 |
|---|
