Assessment of Reading Comprehension of Scientific-Academic Text at the Postgraduate Level Using Cloze Procedure
DOI:
https://doi.org/10.35670/1667-4545.v21.n1.32830Keywords:
reading comprehension, cloze procedure, psychometric properties, postgraduate level, SpanishAbstract
Cloze is a procedure with the potential of parsimoniously assessing the understanding of the scientific-academic text. There are no previous studies regarding the comprehension of Spanish texts at the postgraduate level. The aims of this study were: 1) to identify difficulty levels and discrimination index of the cloze items used in a postgraduate course (Facultad de Filosofía y Letras, Universidad Nacional de Cuyo, Argentina); 2) to analyse whether the distribution of the items ranging from very easy to very hard corresponds to percentages advised by statistical theory; 3) to describe the participants’ functional reading levels and
4) to estimate the incidence of intrinsic factors or aspects of the task in items’ difficulty. Eighty-two cloze tests were collected and statistically analysed. The analysis revealed acceptable psychometric qualities for the instrument and acceptable differential levels of difficulty in content words according to the factors under study.
Downloads
References
Abraham, R., & Chapelle, C. (1992). The meaning of cloze test scores: An item difficulty perspective. The Modern Language Journal, 76(4), 468-479. doi: 10.1111/j.1540-4781.1992.tb05394.x
Álvarez, G. (2011). Principios para un final: Reflexiones en torno a la escritura de la tesis de Maestría. Monográfico de la Maestría en Educación (pp. 43-53). Medellín, Colombia: Universidad Pontificia Bolivariana.
Angeli Dos Santos, A. A., Primi, R., Taxa, F. de O. S., & Vendramini, C. M. M. (2002). O teste de Cloze na avaliação da compreensão em leitura. Psicologia: Reflexão e Crítica, 15(3), 549-560. doi: 10.1590/S0102-79722002000300009
Bachman, L. (1985). Performance on Cloze tests with fixed-ratio and rational deletions. TESOL Quarterly, 19(3), 535-556. doi: 10.2307/3586277
Backhoff-Escudero, E., Larrazolo-Reyna, N., & Rosas-Morales, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2(1), 11-28. Recuperado de https://redie.uabc.mx/redie
Brown, F. G. (1999). Principios de la Medición en Psicología y Educación (8ª ed.). México, DF: Manual Moderno.
Brown, J. D. (1980). Relative merits of four methods for scoring cloze tests. The Modern Language Journal, 64(3), 311-317. doi: 10.1111/j.1540-4781.1980.tb05198.x
Brown, J. D. (1988). Tailored cloze: Improved with classical item analysis techniques. Language Testing, 5(1), 19-31. doi: 10.1177/026553228800500102
Brown, J. D. (1989). Cloze item difficulty. Journal of the Japan Association of Language Teachers, 11(1), 46-67. Recuperado de http://jalt-publications.org/jj
Brown, J. D. (2013). My twenty-five years of cloze testing research: So what? International Journal of Language Studies, 7(1), 1-32. Recuperado de http://www.ijls.net
Cairney, T. H. (2018). Enseñanza de la comprensión lectora (6ª ed.). Madrid, España: Morata.
Calderón-Ibáñez, A., & Quijano-Peñuela, J. (2010). Características de comprensión lectora en estudiantes universitarios. Revista Estudios Socio-Jurídicos, 12(1), 337-364. Recuperado de https://revistas.urosario.edu.co/index.php/sociojuridicos
Carlisle, J., & Rice, M. (2004). Assessment of reading comprehension. En A. Stone, E. Silliman, B. Ehren & K. Apel (Eds.), Handbook of Language and Literacy: Development and disorders (pp. 521-555). New York, NY: Guilford.
Condemarín, M., & Milicic, N. (1988). Test de cloze: Aplicaciones psicopedagógicas. Santiago de Chile, Chile: Andrés Bello.
Cortada de Kohan, N. (2004). Teoría de respuesta al ítem: Supuestos básicos. Revista Evaluar, 4(1), 95-110. Recuperado de https://revistas.unc.edu.ar/index.php/revaluar
Costa, P. (2006). Hábito de leitura e compreensão de textos: Uma análise da realidade de pós-graduados em Administração. (Tesis de
Maestría). Recuperado de https://repositorio.ufsm.br/handle/1/4735
Cubo de Severino, L., & Bosio, I. V. (2011). La tesis como clase textual y su proceso de escritura. En L. Cubo de Severino, H. Puiatti, & N. Lacon (Eds.), Escribir una Tesis. Manual de Estrategias de Producción (pp. 13-36). Córdoba, Argentina: Comunicarte.
Chino-Vilca, B., & Zegarra-Valdivia, J. (2019). Implicancia de las funciones ejecutivas “frías y calientes” en la comprensión lectora, en una muestra de estudiantes universitarios peruanos. Psicología, Conocimiento y Sociedad, 9(1), 59-82. Recuperado de https://revista.psico.edu.uy/index.php/revpsicologia
Datta, S., & Macdonald-Ross, M. (2002). Reading skills and reading habits: A study of new Open University undergraduate reservees.
Open Learning, 17(1), 69-88. doi: 10.1080/02680510120110193
De Oliveira, K. L. (2011). Considerações acerca da compreensão em leitura no ensino superior. Psicologia: Ciência e Profissão, 31(4), 690-701. doi: 10.1590/S1414-98932011000400003
Difabio de Anglat, H. (2008). El test cloze en la evaluación de la comprensión del texto informativo de nivel universitario. Revista de Lingüística Teórica y Aplicada, 46(1), 121-137. Recuperado de http://www2.udec.cl/rla/principal.htm
Esquivel-Gámez, I., Martínez-Olvera, W., Córdoba del Valle, R., & Reyes-Gutiérrez, C. (2016). Memoria operativa y lectura comprensiva: Medición con pruebas de amplitud lectora y tipo cloze en ámbitos pre y universitarios. Apertura. Revista de Innovación Educativa, 8(2), 38-53. Recuperado de http://www.udgvirtual.udg.mx/apertura/index.php/apertura/index
Gellert, A., & Elbro, C. (2013). Cloze tests may be quick, but are they dirty? Development and preliminary validation of a cloze test of reading comprehension. Journal of Psychoeducational Assessment, 31(1), 16-28. doi: 10.1177/0734282912451971
González-Moreyra, R. (1998). Comprensión lectora en estudiantes universitarios iniciales. Persona, 1, 43-65. Recuperado de https://dialnet.unirioja.es/servlet/revista?codigo=12630
Green, B. (2001). Testing reading comprehension of theoretical discourse with cloze. Journal of Research in Reading, 24(1), 82-98. doi: 10.1111/1467-9817.00134
Hernández-Sampieri, R., Fernández-Collado, C., & Baptista-Lucio, P. (2014). Metodología de la Investigación (6ª ed.). México, DF: McGraw-Hill.
IBM Corporation. (2017). IBM SPSS Statistics for Windows (Versión 25.0) [Software de cómputo]. Armonk, NY: IBM.
Jonz, J. (1990). Another turn in the conversation: What does cloze measure? TESOL Quarterly, 24(1), 61-83. doi: 10.2307/3586852
Kleijn, S. (2018). Clozing in on readability: How linguistic features affect and predict text comprehension and on-line processing. Utrecht, Países Bajos: LOT. Recuperado de https://dspace.library.uu.nl/handle/1874/363346
Kleijn, S., Pander-Maat, H., & Sanders, T. (2019). Cloze testing for comprehension assessment: The HyTeC-cloze. Language Testing, 36(4),
-572. doi: 10.1177/0265532219840382
Kline, P. (1998). The new psychometrics: Science, psychology and measurement. Londres, Reino Unido: Routledge.
Kobayashi, M. (2002). Cloze tests revisited: Exploring item characteristics with special attention to scoring methods. The Modern Language Journal, 86(4), 571-586. doi: 10.1111/1540-4781.00162
León-Cascón, J. A. (2004). ¿Por qué las personas no comprenden lo que leen? Psicología Educativa, 10(2), 101-116. Recuperado de https://journals.copmadrid.org/psed
Lozano-Fernández, L. M., & de la Fuente-Solana, E. I. (2015). Diseño y validación de cuestionarios. En E. Pantoja-Vallejo (Coord.), Manual básico para la realización de tesinas, tesis y trabajos de investigación (2ª ed., pp. 247-272). Madrid, España: EOS.
Márquez, C., Ibáñez, P., & Pérez, C. (2011). Concordancia entre aplicaciones de textos informativos y científicos elaborados mediante la técnica Cloze en alumnos universitarios de carreras del área de la Salud. Revista de Educación en Ciencias de la Salud, 8(2), 133-138. Recuperado de http://www2.udec.cl/ofem/recs
Oller, J. W., & Jonz, J. (Eds.). (1994). Cloze and coherence. Lewisburg, PA: Bucknell University Press.
O’Toole, J. M., & King, R. A. R. (2010). A matter of significance: Can sampling error invalidate cloze estimates of text readability? Language Assessment Quarterly, 7(4), 303-316. doi: 10.1080/15434303.2010.515699
O’Toole, J. M., & King, R. A. R. (2011). The deceptive mean: Conceptual scoring of cloze entries differentially advantages more able readers. Language Testing, 28(1), 127-144. doi: 10.1177/0265532210375687
Parodi, G. (2001). Comprensión y producción lingüística: Una nueva mirada al procesamiento del discurso escrito. Versión. Estudios de Comunicación y Política, 11, 59-97. Recuperado de http://version.xoc.uam.mx/index.php
Peña-Calvo, A. (1997). El Cloze como técnica para enseñar estrategias de comprensión lectora en una lengua extranjera (inglés). En Departamento de Filología Inglesa, Universidad de Murcia (Ed.), Estudios de lingüística aplicada y literatura: Homenaje póstumo al profesor Juan Conesa Sánchez (pp. 203-215). Murcia, España: Universidad de Murcia, Servicio de Publicaciones.
Real Academia Española. (2010). Nueva gramática de la lengua española. Manual. Madrid, España: Espasa.
Real Academia Española. (2019). Corpus de Referencia del Español Actual -CREA- [Base de datos]. Recuperado de http://corpus.rae.es
Sadeghi, K. (2008). Measuring reading comprehension: The judgmental validity of cloze procedure. Iranian Journal of Applied Linguistics, 11(2), 115-132. Recuperado de https://ijal.khu.ac.ir/index.php?slc_lang=en&sid=1
Shahnazari-Dorcheh, M., Roshan, S., & Hesabi, A. (2012). What is the optimum length of a cloze test? International Journal of English Linguistics, 2(5), 142-153. doi: 10.5539/ijel.v2n5p142
Tabullo, A. J., Shalom, D., Sevilla, Y., Gattei, C. A., París, L., & Wainselboim, A. (2020). Reading comprehension and predictability effects on sentence processing: An event-related potential study. Mind, Brain, and Education, 14(1), 32-50. doi: 10.1111/mbe.12205
Taylor, W. L. (1953). “Cloze procedure”: A new tool for measuring readability. Journalism and Mass Communication Quarterly, 30(4), 415-433. doi: 10.1177/107769905303000401
Trace, J. (2020). Clozing the gap: How far do cloze items measure? Language Testing, 37(2), 235-253. doi: 10.1177/0265532219888617
Trace, J., Brown, J. D., Janssen, G., & Kozhevnikova, L. (2017). Determining cloze item difficulty from item and passage characteristics across different learner backgrounds. Language Testing, 34(2), 151-174. doi: 10.1177/0265532215623581
Watanabe, Y., & Koyama, D. (2008). A meta-analysis of second language cloze testing research. Second Language Studies, 26(2), 103-133. Recuperado de https://scholarspace.manoa.hawaii.edu/handle/10125/40694?mode=full
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2021 Hilda Difabio de Anglat, Guadalupe Álvarez
This work is licensed under a Creative Commons Attribution 4.0 International License.
Revista Evaluar aplica la Licencia Internacional de Atribuciones Comunes Creativas (Creative Commons Attribution License, CCAL). Bajo esta licencia, los autores retienen la propiedad de copyright de los artículos pero permiten que, sin que medie permiso de autor o editor, cualquier persona descargue y distribuya los artículos publicados en Evaluar. La única condición es que siempre y en todos los casos se cite a los autores y a la fuente original de publicación (i.e. Evaluar). El envío de artículos a Evaluar y la lectura de los mismos es totalmente gratuito.
_(3).jpg)
.jpg)
