Argumento de validez para la evaluación del aprendizaje en entornos inmersivos en la docencia universitaria
DOI:
https://doi.org/10.65415/7dxjev41Palabras clave:
validez, evaluación del aprendizaje, realidad virtual, entornos inmersivos, educación superior.Resumen
Las universidades incorporan de forma creciente la realidad virtual, la realidad aumentada, la realidad mixta y los mundos virtuales tridimensionales para que el estudiantado demuestre competencias en escenarios cercanos a la práctica profesional. Esta expansión ha sido más rápida que la reflexión sobre la validez de las calificaciones obtenidas en esos entornos: cuando el desempeño está mediado por una interfaz, un avatar y unas condiciones técnicas variables, cambian las fuentes de error y las inferencias que sostienen la decisión docente. El objetivo de este artículo fue proponer un argumento de validez para la evaluación del aprendizaje en entornos inmersivos en la docencia universitaria, fundamentado en el enfoque argumentativo de Kane y en la teoría unificada de Messick. Se realizó una revisión teórica crítica de 41 fuentes cuya existencia y metadatos se verificaron en la fuente editorial, organizadas en siete categorías: teoría de la validez y estándares, validación en simulación, diseño y modelos de medición, evaluación auténtica, aprendizaje inmersivo, factores del medio, y ética, equidad y normativa. El estudio no recogió datos de campo. El resultado es un argumento interpretativo y de uso con cuatro inferencias (puntuación, generalización, extrapolación y decisión), cada una con sus supuestos, las amenazas propias del medio inmersivo y las evidencias necesarias para respaldarla. Se identificaron como amenazas principales la varianza irrelevante al constructo derivada de la familiaridad tecnológica, del malestar por simulador y de la carga cognitiva extrínseca; la variabilidad entre escenarios y ocasiones; los sesgos del evaluador ante desempeños mediados por avatares; y las desigualdades de acceso. Se propone un plan de validación en cuatro fases aplicable por equipos docentes. Se concluye que la autenticidad del escenario no garantiza la validez de la calificación y que esta debe argumentarse y comprobarse antes de usar las puntuaciones para decisiones de alto impacto.
Descargas
Referencias
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
Asamblea Nacional del Ecuador. (2021). Ley Orgánica de Protección de Datos Personales. Registro Oficial Quinto Suplemento n.º 459, 26 de mayo de 2021.
Bailenson, J. N. (2021). Nonverbal overload: A theoretical argument for the causes of Zoom fatigue. Technology, Mind, and Behavior, 2(1). https://doi.org/10.1037/tmb0000030
Brennan, R. L. (2001). Generalizability theory. Springer. https://doi.org/10.1007/978-1-4757-3456-0
CAST. (2018). Universal Design for Learning guidelines version 2.2. http://udlguidelines.cast.org
Chernikova, O., Heitzmann, N., Stadler, M., Holzberger, D., Seidel, T., & Fischer, F. (2020). Simulation-based learning in higher education: A meta-analysis. Review of Educational Research, 90(4), 499–541. https://doi.org/10.3102/0034654320933544
Consejo de Educación Superior. (2022). Reglamento de Régimen Académico. CES.
Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: A practical guide to Kane’s framework. Medical Education, 49(6), 560–575. https://doi.org/10.1111/medu.12678
Cook, D. A., & Hatala, R. (2016). Validation of educational assessments: A primer for simulation and beyond. Advances in Simulation, 1, Artículo 31. https://doi.org/10.1186/s41077-016-0033-y
Downing, S. M. (2003). Validity: On the meaningful interpretation of assessment data. Medical Education, 37(9), 830–837. https://doi.org/10.1046/j.1365-2923.2003.01594.x
Downing, S. M., & Haladyna, T. M. (2004). Validity threats: Overcoming interference with proposed interpretations of assessment data. Medical Education, 38(3), 327–333. https://doi.org/10.1046/j.1365-2923.2004.01777.x
Garzón, J., & Acevedo, J. (2019). Meta-analysis of the impact of augmented reality on students’ learning gains. Educational Research Review, 27, 244–260. https://doi.org/10.1016/j.edurev.2019.04.001
Gulikers, J. T. M., Bastiaens, T. J., & Kirschner, P. A. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52(3), 67–86. https://doi.org/10.1007/BF02504676
Hamilton, D., McKechnie, J., Edgerton, E., & Wilson, C. (2021). Immersive virtual reality as a pedagogical tool in education: A systematic literature review of quantitative learning outcomes and experimental design. Journal of Computers in Education, 8(1), 1–32. https://doi.org/10.1007/s40692-020-00169-2
Jensen, L., & Konradsen, F. (2018). A review of the use of virtual reality head-mounted displays in education and training. Education and Information Technologies, 23(4), 1515–1529. https://doi.org/10.1007/s10639-017-9676-0
Kane, M. T. (2006). Validation. En R. L. Brennan (Ed.), Educational measurement (4.ª ed., pp. 17–64). American Council on Education; Praeger.
Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. https://doi.org/10.1111/jedm.12000
Kane, M., Crooks, T., & Cohen, A. (1999). Validating measures of performance. Educational Measurement: Issues and Practice, 18(2), 5–17. https://doi.org/10.1111/j.1745-3992.1999.tb00010.x
Kennedy, R. S., Lane, N. E., Berbaum, K. S., & Lilienthal, M. G. (1993). Simulator Sickness Questionnaire: An enhanced method for quantifying simulator sickness. The International Journal of Aviation Psychology, 3(3), 203–220. https://doi.org/10.1207/s15327108ijap0303_3
Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press.
Linn, R. L., Baker, E. L., & Dunbar, S. B. (1991). Complex, performance-based assessment: Expectations and validation criteria. Educational Researcher, 20(8), 15–21. https://doi.org/10.3102/0013189X020008015
Makransky, G., & Petersen, G. B. (2021). The Cognitive Affective Model of Immersive Learning (CAMIL): A theoretical research-based model of learning in immersive virtual reality. Educational Psychology Review, 33, 937–958. https://doi.org/10.1007/s10648-020-09586-2
Makransky, G., Terkildsen, T. S., & Mayer, R. E. (2019). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learning and Instruction, 60, 225–236. https://doi.org/10.1016/j.learninstruc.2017.12.007
Merchant, Z., Goetz, E. T., Cifuentes, L., Keeney-Kennicutt, W., & Davis, T. J. (2014). Effectiveness of virtual reality-based instruction on students’ learning outcomes in K-12 and higher education: A meta-analysis. Computers & Education, 70, 29–40. https://doi.org/10.1016/j.compedu.2013.07.033
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066X.50.9.741
Milgram, P., & Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE Transactions on Information and Systems, E77-D(12), 1321–1329.
Mislevy, R. J., Almond, R. G., & Lukas, J. F. (2003). A brief introduction to evidence-centered design (ETS Research Report RR-03-16). Educational Testing Service. https://doi.org/10.1002/j.2333-8504.2003.tb01908.x
Moss, P. A. (1994). Can there be validity without reliability? Educational Researcher, 23(2), 5–12. https://doi.org/10.3102/0013189X023002005
Mystakidis, S. (2022). Metaverse. Encyclopedia, 2(1), 486–497. https://doi.org/10.3390/encyclopedia2010031
O’Brolcháin, F., Jacquemard, T., Monaghan, D., O’Connor, N., Novitzky, P., & Gordijn, B. (2016). The convergence of virtual reality and social networks: Threats to privacy and autonomy. Science and Engineering Ethics, 22(1), 1–29. https://doi.org/10.1007/s11948-014-9621-1
Radianti, J., Majchrzak, T. A., Fromm, J., & Wohlgenannt, I. (2020). A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education, 147, Artículo 103778. https://doi.org/10.1016/j.compedu.2019.103778
Raes, A., Detienne, L., Windey, I., & Depaepe, F. (2020). A systematic literature review on synchronous hybrid learning: Gaps identified. Learning Environments Research, 23, 269–290. https://doi.org/10.1007/s10984-019-09303-z
Sadler, D. R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119–144. https://doi.org/10.1007/BF00117714
Shute, V. J. (2011). Stealth assessment in computer-based games to support learning. En S. Tobias & J. D. Fletcher (Eds.), Computer games and instruction (pp. 503–524). Information Age Publishing.
Slater, M., Gonzalez-Liencres, C., Haggard, P., Vinkers, C., Gregory-Clarke, R., Jelley, S., Watson, Z., Breen, G., Schwarz, R., Steptoe, W., Szostak, D., Halan, S., Fox, D., & Silver, J. (2020). The ethics of realism in virtual and augmented reality. Frontiers in Virtual Reality, 1, Artículo 1. https://doi.org/10.3389/frvir.2020.00001
Slater, M., & Sanchez-Vives, M. V. (2016). Enhancing our lives with immersive virtual reality. Frontiers in Robotics and AI, 3, Artículo 74. https://doi.org/10.3389/frobt.2016.00074
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285. https://doi.org/10.1207/s15516709cog1202_4
Villarroel, V., Bloxham, S., Bruna, D., Bruna, C., & Herrera-Seda, C. (2018). Authentic assessment: Creating a blueprint for course design. Assessment & Evaluation in Higher Education, 43(5), 840–854. https://doi.org/10.1080/02602938.2017.1412396
Witmer, B. G., & Singer, M. J. (1998). Measuring presence in virtual environments: A presence questionnaire. Presence: Teleoperators and Virtual Environments, 7(3), 225–240. https://doi.org/10.1162/105474698565686
Wu, B., Yu, X., & Gu, X. (2020). Effectiveness of immersive virtual reality using head-mounted displays on learning performance: A meta-analysis. British Journal of Educational Technology, 51(6), 1991–2005. https://doi.org/10.1111/bjet.13023
Yee, N., & Bailenson, J. (2007). The Proteus effect: The effect of transformed self-representation on behavior. Human Communication Research, 33(3), 271–290. https://doi.org/10.1111/j.1468-2958.2007.00299.x
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Elisa Flor Guamán Troya, Michelle Giovanna Ortiz Ripalda, Andrea Lissette Vargas Arias
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
