| Summary: | The use of objective tests in Technology Enhanced Learning (TEL) is
based on the application of computers to support automatic assessment.
Current research in this domain is mainly focused on the design of new
question-items, being IMS Question and Test Interoperability (QTI) the
recognized de-facto standard. This thesis claims that the domain can be
extended with the design of advanced test-scenarios that integrate new
interactive contexts for the visualization of question-items and tests, and
that consider different types of devices and technologies that enable
diverse activity settings. In this context, the dissertation proposes to term
the domain as Computing-Based Testing (CBT) instead of Computer-
Based Testing because it captures better the new technological support
possibilities for testing. Advanced CBT scenarios can increase teachers’
choices in the design of more appropriate tests for their subject areas,
enabling the assessment of higher-order skills.
With the aim of modelling an advanced CBT domain that extends the
current possibilities of QTI and related work, this thesis provides a set of
contributions around three objectives. The first objective deals with
proposing a Conceptual Model for the CBT domain considering three
main dimensions: the Question-item, the Test and the Activity. To tackle
this objective, the thesis presents, on the one hand, a framework to assist
in the categorization and design of advanced CBT scenarios and, on the
other hand, two models that suggest elements for technologically
representing the Test and Question-item dimensions. The models are
platform-independent models (PIM) that extend QTI in order to support
advanced CBT. Besides, the use of patterns is proposed to complement
the modelling of the domain. The second objective seeks to show the
relevance, value and applicability of the CBT Conceptual Model through
exemplary challenging scenarios and case studies in authentic settings. To
this end, the dissertation evaluates the design and implementation of a set
of CBT systems and experiments. All the experiments use the proposed
CBT Conceptual Model for designing an advanced CBT scenario. For
each case the CBT-PIMs serve as the basis for developing a particular
CBT-PSM and system. The evaluation results show that the
implementations foster educational benefits, enable the assessment of
higher-order skills and enhance the students’ motivation. Finally, the third
objective is devoted to propose extension paths for QTI. The collection of
models proposed in the thesis suggests different extension directions for
QTI so as to enable the implementation of advanced questions, tests and
activities. The proposed systems and scenarios also represent reference
implementation and good practices of the proposed extension paths. === El uso de test de corrección automática, en el Aprendizaje Apoyado por
Tecnologías de la Información y las Comunicaciones, se basa en el uso de
ordenadores. Las propuestas actuales se centran en el diseño de nuevas
preguntas, siendo IMS Question and Test Interoperability (QTI) el
estándar de-facto. La tesis propone que este dominio puede ser extendido
con el diseño de escenarios de test avanzados que integren nuevos
contextos de interacción para la visualización de preguntas y tests, y que
consideren la aplicación de diversos dispositivos tecnológicos para
permitir diversos tipos de actividades. En este contexto se propone usar el
término inglés Computing-Based Testing (CBT) para referirse al dominio,
en vez de usar el término Computer-Based Testing, enfatizando el papel
de la tecnología para la evaluación basada en test. Los escenarios CBT
avanzados pueden aumentar la posibilidad de que los profesores puedan
diseñar test más adecuados para sus asignaturas, permitiendo la
evaluación de habilidades de alto nivel.
Con el reto principal de modelar el dominio del CBT extendiendo las
posibilidades actuales de QTI y las aproximaciones actuales, esta tesis
proporciona un conjunto de contribuciones relacionadas con tres
objetivos. El primer objetivo de la tesis es proponer un Modelo
Conceptual definiendo y relacionando tres dimensiones: Pregunta, Test y
Actividad. Por una parte, se propone un marco como guía en la
categorización y diseño de escenarios CBT. Además, se proponen dos
modelos que indican los elementos para la representación tecnológica de
preguntas y test. Estos modelos son independientes de plataforma (PIM)
que extienden QTI formulando los elementos que permiten implementar
escenarios CBT avanzados. Además, se propone el uso de patrones como
complemento en el modelado del dominio. El segundo objetivo trata de
mostrar la relevancia y aplicabilidad de las contribuciones a través de
escenarios y casos de estudio representativos en contextos reales. Para
ello, se evalúa el diseño e implementación de un conjunto de
experimentos y sistemas. En todos los experimentos se utiliza el Modelo
Conceptual para diseñar escenarios CBT avanzados. Para cada caso los
CBT-PIMs sirven como base para desarrollar modelos específicos de
plataforma (CBT-PSMs) y sistemas asociados. La evaluación muestra que
las implementaciones resultantes tienen beneficios educativos positivos,
permitiendo la evaluación de habilidades de alto nivel y mejorando la
motivación de los estudiantes. Finalmente, el tercer objetivo se centra en
proponer vías de extensión para QTI. La colección de modelos propuestos
sugiere diferentes direcciones de extensión de QTI para la
implementación de preguntas, tests y actividades avanzados. Los
escenarios y sistemas llevados a cabo representan implementaciones de
referencia y buenas prácticas para las vías de extensión propuestas.
|
|---|
