Bibliographic Details
| Title: |
Items contextualizados de ciencias en PISA: la conexión entre las demandas cognitivas y las características de contexto de los items. |
| Alternate Title: |
PISA science contextualized items: the link between the cognitive demands and context characteristics of the items. |
| Authors: |
Ruiz-Primo, Maria-Araceli1 aruiz@stanford.edu, Min Li2 minli@uw.edu |
| Source: |
RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa. 2016, Vol. 22 Issue 1, p1-23. 24p. |
| Abstract (English): |
The ubiquitous use of contexts in test items is based on the premise that contextualizing items is an effective strategy to test whether students can apply or transfer their knowledge. In this paper, we continue a research agenda focusing on testing this premise. We present a study of the context characteristics in a sample of 2006 and 2009 PISA science items and how these characteristics as well as student performance may be related to the cognitive demands of the items. The study was guided by two research questions: (1) What are the cognitive demands of the sampled PISA contextualized items and what is the students' performance linked to these items? (2) Are the items' cognitive demands associated with certain characteristics of the contexts of the items that proved to be linked to students' performance? Using 52 released and secured PISA science items, we captured information about three context dimensions of items (i.e., level of abstraction, resources, and nature of the context) and the cognitive demands of the items. A multinomial logistic regression with cognitive demand as the outcome variable, context characteristics as the predictors, and percent of correct responses as the covariant indicated that certain context characteristics are linked to the cognitive demands of items. For example, we found that items in which contexts involve only concrete ideas were associated with items with low cognitive demands; these items are unlikely to require content knowledge to be responded. We also found that the type of resource (e.g., tables, graphs) was associated with the cognitive demands of the items: schematic representations seem to be linked to items tapping procedural knowledge rather than to items tapping declarative or schematic knowledge. We concluded that further research is needed to better understand the influence that context characteristics have on the cognitive processes in which students are asked to engage and in their performance. [ABSTRACT FROM AUTHOR] |
| Abstract (Spanish): |
El uso frecuente de contextos en items de una prueba se basa en la premisa de que agregar contextos a los items es una estrategia eficaz para comprobar si los estudiantes pueden aplicar o transferir sus conocimientos. En este trabajo, seguimos una línea de investigación que se centra en probar esta premisa. Se estudian las características de los contextos en una muestra de items de ciencias de PISA 2006 y 2009 y cómo estas características, así como el desempeño de los estudiantes, pueden estar relacionados con las demandas cognitivas de los items. El estudio se guío por dos preguntas de investigación: (1) ¿Cuáles son las demandas cognitivas de una muestra de items con contexto de la prueba PISA y cuál es el desempeño de los estudiantes en estos items? (2) ¿Están asociadas las demandas cognitivas de los items con ciertas características de los contextos, que previamente han demostrado estar relacionadas con el desempeño de los estudiantes? Se codificaron 52 items liberados y no liberados de PISA en tres dimensiones de los contextos de los items (nivel de abstracción, recursos y naturaleza del contexto) además de las demandas cognitivas de los items. Una regresión logística multinomial, con la demanda cognitiva como variable de resultado, las características contextuales como los predictores, y el porcentaje de respuestas correctas como la covariante, indicó que ciertas características del contexto están vinculados a las demandas cognitivas de los items. Por ejemplo, se encontró que los contextos en los que sólo se presentan ideas concretas están asociadas a items con bajas demandas cognitivas; en estos items es poco probable que se requiera de un conocimiento del contenido para ser respondidos. También se encontró que el tipo de recurso (por ejemplo, tablas, gráficos) se asocia con las demandas cognitivas de los items las representaciones esquemáticas parecen estar vinculadas a items de tipo procedural y no a items de tipo declarativo o esquemático. Se concluye que se necesita más investigación para comprender mejor la influencia que tienen las características de contexto en los procesos cognitivos de los estudiantes y en su desempeño. [ABSTRACT FROM AUTHOR] |
|
Copyright of RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa is the property of RELIEVE - Revista Electonica de Investigacion y Evaluacion Educativa and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.) |
| Database: |
Education Research Complete |
