Academic journal article Journal for Educational Research Online

Scaling of Competence Tests in the National Educational Panel Study - Many Questions, Some Answers, and Further challenges/Skalierung der Kompetenztests Im Nationalen Bildungspanel - Viele Fragen, Einige Antworten Und Weitere Herausforderungen

Academic journal article Journal for Educational Research Online

Scaling of Competence Tests in the National Educational Panel Study - Many Questions, Some Answers, and Further challenges/Skalierung der Kompetenztests Im Nationalen Bildungspanel - Viele Fragen, Einige Antworten Und Weitere Herausforderungen

Article excerpt

Abstract

Competence measurement in (longitudinal) large-scale assessments, such as in the National Educational Panel Study (NEPS), imposes specific demands on the scaling of the competence data. These challenges include scaling issues such as the question on how to deal with different response formats as well as with missing values in the scaling model. They also include design aspects, as for example, the incorporation of adaptive testing and the inclusion of students with special educational needs in the assessment. Especially in longitudinal designs the question of linking of competence scores across different cohorts and measurement occasions arises. With this article we aim at pointing out some of the challenges one has to meet when scaling competence data of (longitudinal) large-scale assessments, at giving an overview of research we have conducted within the NEPS to find solutions to these questions, and at pointing out some directions for future research. While for most of the topics we give an overview of the research that has been conducted in NEPS, we more thoroughly describe the research we have conducted on investigating the assumptions necessary for linking of different cohorts in NEPS. We specifically target the question whether the same competence may be measured coherently across the whole lifespan. The results show that for linking the Grade 9 reading test to the adult reading test, measurement invariance does not hold for all items. The implementation of the research results into the scaling of NEPS competence data is described and the applicability of the research results to other large-scale studies is discussed.

Keywords

Competence tests; Item Response Theory; Scaling; Linking; Lifespan

Skalierung der Kompetenztests im Nationalen Bildungspanel - Viele Fragen, einige Antworten und weitere Herausforderungen

Zusammenfassung

Kompetenzmessung in (längsschnittlichen) groß angelegten Erhebungen wie dem Nationalen Bildungspanel (NEPS) stellen spezielle Anforderungen an die Skalierung der Kompetenztestdaten. Die Herausforderungen beinhalten Skalierungsfragen, wie die Frage nach der Berücksichtigung verschiedener Antwortformate und die Behandlung von fehlenden Werten im Skalierungsmodell. Sie beinhalten aber auch Designaspekte, wie zum Beispiel die Umsetzung von adaptivem Testen und die Inklusion von Schülern mit sonderpädagogischem Förderbedarf in die Kompetenzerhebung. Besonders in längsschnittlichen Designs stellt sich auch die Frage nach der Verlinkung von Kompetenzwerten über verschiedene Kohorten und Messzeitpunkte. Mit diesem Artikel wollen wir einige der Herausforderungen darlegen, denen man sich bei der Skalierung der Kompetenztestdaten stellen muss, einen Überblick über Forschung geben, die wir im Rahmen des NEPS durchgeführt haben, um Antworten auf diese Fragen zu finden, sowie Themen für weitere Forschung auf zeigen. Während wir für den Großteil der Themen einen Überblick über die bisher durchgeführte Forschung geben, beschreiben wir die Forschung zur Untersuchung der Annahmen für eine Verlinkung von Kohorten im NEPS ausführlicher. Im Speziellen untersuchen wir ob dieselbe Kompetenz über die gesamte Lebensspanne kohärent gemessen werden kann. Die Ergebnisse zeigen, dass für die Verlinkung des Lesetests der neunten Klasse mit dem Test der Erwachsenen Messinvarianz nicht für alle Items gilt. Die Implementation der Forschungsergebnisse in die Skalierungspraxis der Kompetenztestdaten im NEPS wird erläutert und die Anwendbarkeit der Forschungsergebnisse für andere groß angelegte Studien wird diskutiert.

Schlagworte

Kompetenztests; Item-Response-Theorie; Skalierung; Verlinkung; Lebensspanne

l. Introduction

A particular strength of the National Educational Panel Study (NEPS) is that it collects detailed competence data in a large, longitudinal, multicohort sequence survey design as well as detailed data on conditions for and consequences of individual educational careers. …

Search by... Author
Show... All Results Primary Sources Peer-reviewed

Oops!

An unknown error has occurred. Please click the button below to reload the page. If the problem persists, please try again in a little while.