Desarrollo de una herramienta de software como soporte a pruebas de egreso de la licenciatura

Development of a Software Tool as Support for Graduation Test

Desenvolvimento de uma ferramenta de software para apoiar testes de saída de graduação

Ricardo A. Barrera-Cámara
Facultad de Ciencias de la Información, Universidad Autónoma del Carmen, México
rbarrera@pampano.unacar.mx

 Ana Canepa- Sáenz
Facultad de Ciencias de la Información, Universidad Autónoma del Carmen, México
acanepa@pampano.unacar.mx

Judith del C. Santiago-Pérez
Facultad de Ciencias de la Información, Universidad Autónoma del Carmen, México
jsantiago@pampano.unacar.mx

Resumen
Como una estrategia de apoyo para el fortalecimiento de los conocimientos previos al examen general de egreso de la licenciatura, y como un medio de entrenamiento para la prueba, se desarrolló una herramienta de autoevaluación por computadora que considera los tipos de reactivos propuestos en la prueba EGEL. Se siguió la metodología orientada a objetos de James Rumbaugh para el desarrollo del software; también, se analizaron trabajos previos que evalúan conocimientos a través de herramientas informáticas, y se realizaron diversas pruebas con usuarios que permiten evaluar la funcionalidad y mejora futura de la herramienta propuesta. Los resultados de la utilización de la herramienta muestran las áreas del EGEL con mayores fortalezas y debilidades.

Palabras claves: autoevaluación, desarrollo, EGEL, evaluación, metodología.

Abstract
As a support strategy for strengthening the knowledge prior to the general graduation exam, and as a means of training for the test, a computer self-assessment tool was developed that considers the types of reagents proposed in the EGEL test. A methodology was followed for the research project and software development; also, previous work evaluating knowledge through computer tools was analyzed, and several previous tests were carried out with users that allow the functionality and future improvement of the proposed tool.

Keywords: self-evaluation, development, EGEL, evaluation, methodology.

Resumo
Como estratégia de suporte para fortalecer o conhecimento antes do exame de saída geral do diploma e, como meio de treinamento para o teste, uma ferramenta de auto-avaliação foi desenvolvida por computador que considera os tipos de reagentes propostos no teste EGEL. A metodologia orientada para o objeto de James Rumbaugh foi seguida para desenvolvimento de software; Além disso, foram analisados os trabalhos anteriores que avaliam o conhecimento através de ferramentas de computador, e vários testes foram realizados com usuários que permitem avaliar a funcionalidade e a melhoria futura da ferramenta proposta. Os resultados do uso da ferramenta mostram as áreas do EGEL com maiores forças e fraquezas.

Palavras-chave: auto-avaliação, desenvolvimento, EGEL, avaliação, metodologia.
Fecha Recepción: Marzo 2017     Fecha Aceptación: Julio 2017

Introducción

El conocimiento adquirido en cualquier curso, capacitación o enseñanza alguna es el resultado de lo que realmente se comprendió y domina; esto se puede ver hoy en día no solo en las escuelas de enseñanza de cualquier nivel, sino también en las empresas que surgen día a día. Los conocimientos y habilidades que se adquieren pueden ser evaluados a través de algún instrumento o herramienta, y con ellos medir el grado que se posee de los mismos. En este sentido, algunas organizaciones o empresas aplican exámenes para evaluar conocimientos, habilidades e incluso aptitudes que se requieren para determinado puesto laboral o bien para evaluar los conocimientos adquiridos al finalizar una formación profesional. Algunas formas de evaluar o autoevaluar los conocimientos es atreves de software de auto entrenamiento o software de evaluación por computadora; estos permiten evaluar o simular una prueba determinada, proporcionando los resultados de la prueba en menos tiempo o la retroalimentación de forma inmediata.

Uno de los medios para evaluar la calidad educativa en las instituciones de educación media y superior son las pruebas nacionales de ingreso o egreso. Estas pruebas están diseñadas por organizaciones con amplio reconocimiento como el caso del Centro Nacional de Evaluación para la Educación Superior (CENEVAL). A nivel licenciatura uno de los instrumentos de reconocimiento nacional es el denominado examen general de egreso de la licenciatura o EGEL; este instrumento, permite identificar si los egresados de una licenciatura posen los conocimientos y habilidades para su ejercicio profesional. Los resultados de testimonios sobresalientes o suficientes son considerados como indicadores que son requeridos como medio para acceder a diversos recursos que ayudaran a mejorar los programas educativos y de la propia institución (Barrera Cámara, Herrera Sánchez, et al., 2016). Es por ello que para algunas instituciones la aplicación de esta prueba es obligatoria. Sin embargo, los resultados obtenidos en los últimos años no son muy alentadores, ya que un gran número de los sustentantes no acredita la prueba. Algunos de los planteamientos que pueden originar estos resultados puede ser la complejidad con las que los sustentantes perciben la prueba, la falta de preparación preliminar, así como la escasa bibliografía sugerida (Cámara, Sáenz y Pérez, 2016). La información presentada en las guías es muy general, la terminología no es comprensible, no hay suficiente material documental que sirva como medio de lectura o, bien, que simule la prueba o herramientas de autoevaluación o entrenamiento previo a la prueba real. Por otra parte, una de las metas de los egresados de la Facultad de Ciencias de la Información de la Universidad Autónoma del Carmen es acreditar la prueba EGEL, y con ello obtener su título profesional; sin embargo, los recursos de preparación que disponen los egresados ante la prueba se limita de forma inicial a la guía del susténtate que es la que corresponda a su perfil y a las experiencias personales de otros sustentantes. La guía está disponible de forma electrónica en archivos portables en el sitio web del CENEVAL, y en ella se muestran los posibles escenarios, tipos de reactivos, áreas y subáreas, porcentaje por área y criterios de obtención del testimonio.
Es por ello, y derivado del problema planteado que presenta la institución y el aspirante para obtener un desempeño favorable en el EGEL, que se propone apoyar al alumno con un recurso tecnológico para prepararse mejor y aumentar la posibilidad de acreditar el examen. El recurso propuesto es una herramienta de software por computadora que servirá de apoyo para autoevaluar sus habilidades y conocimientos, recibir retroalimentación en las áreas y temas que debe fortalecer, aumentar su confianza y disminuir el temor a la prueba. Algunas situaciones planteadas son: ¿es viable el desarrollo de una herramienta de software a la medida?, ¿la evaluación por computadora, sirve como una herramienta de autoevaluación?

Trabajos analizados

Son diversos los ámbitos donde se aplican sistemas de evaluación por computadora, y algunos de estos trabajos se abordan a continuación.
En el trabajo de Mas y Lacosta (2001) se diseña un sistema de evaluación, que asigna de forma aleatoria una serie de problemas almacenados en una base de datos, que ha sido previamente generada por el profesor. Los problemas presentan cierta dificultad y deben ser resueltos en determinado periodo de tiempo; al final los alumnos pueden consultar las repuestas, ya que es un sistema que permite la autoevaluación.
Para agilizar el diseño, actualización de evaluaciones escritas para el curso de C#, se desarrolló una herramientas de software que se aplica de manera progresiva. Esta herramienta permite el monitoreo, retroalimentación y apoya el aprendizaje de los estudiantes (Corbalán, Delía, Cáseres y Hasperué, 2012).

La Universidad Veracruzana desarrolló un software de autoevaluación para preparar a los alumnos que sustentarán el Examen de Ingreso (AEXI), cuyo propósito es que los estudiantes cuenten con una herramienta que apoye su estudio para el examen de admisión a la Universidad Veracruzana. Al terminar el examen, se pueden consultar los resultados, revisar las preguntas, aciertos, errores; y compararse con los resultados de los estudiantes que aspiran entrar a la misma carrera y en la misma zona (Casas Blanco, López Guerra y Rodríguez Hernández, 2013).

SECOMTEM (Ochoa Cabarcas y Dilbert ward, 2005) es una herramienta desarrollada por Corporación Universitaria Rafael Núñez con la finalidad de evaluar al personal administrativo y docente de todas las facultades. La prueba evalúa competencias tecnológicas básicas como Office, Informática, Base de Datos e Internet. Al finalizar, el sistema genera un reporte con calificaciones y sugerencias para el evaluado. 
Web Daypo (García-García, Ruiz de Azcárate Varela y Casado Sánchez, 2012) permite la construcción, prueba, acceso, impresión y almacenamiento gratuito a diversas pruebas en la web. Además, permite visualizar los resultados, conforme se resuelve el test, obteniéndose el tiempo de respuesta, los fallos y porcentajes de cada prueba.
SICODEX o Sistema Computarizado de Exámenes es un software desarrollado por la Universidad Autónoma de Baja California, que aprovecha la infraestructura de la institución y el sistema de evaluación por computadora. Esto permitió administrar los resultados de las pruebas aplicadas en lápiz y papel del Examen de Habilidades y conocimientos básicos o EXHCOBA, y la creación de tres centros de evaluación por computadora para aplicar de forma constante exámenes a los aspirantes a la universidad (Escudero, Morales, Ramírez, Reyna y Ariza, 2002).
En el trabajo de Valenzuela Mendoza, López Sánchez y Arias Hurtado (2013) se plantea la utilización del módulo de preguntas del sistema de aprendizaje en línea de la Universidad Estatal de Sonora, para ser usado como un medio de entrenamiento para los alumnos que sustentaran la prueba EGEL-ISOFT.
El trabajo institucional permitió que la Universidad de Granada en España, Instituto Tecnológico de Chihuahua II y la Universidad Autónoma de Chihuahua en México desarrollaran un software amigable que proporciona retroalimentación a los usuarios, para practicar y evaluar operaciones básicas de matemáticas (Ornelas Contreras, Blanco Vega, Gastélum Cuadras y Muñoz Beltrán, 2013).
Para la Universidad de Salamanca (Rodríguez Conde, 2005), la incorporación y utilización de las tecnologías de información en el proceso de aprendizaje y evaluación representa un elemento que marca la diferencia en las actividades de evaluación para el espacio europeo de educación.
En Perú (Ortiz y Abel, 2010), se desarrolló un software que evalúa el desempeño en términos de competencias de cualquier persona en una organización o escuela; esta evaluación se realiza tomando como base el modelo de cumplimiento de metas o evaluación 360. Además, evalúa objetivos, competencias, por ocupación, cargo o rol que desempeña el personal. Las tecnologías multimedia, permiten el desarrollo de una aplicación de software para la realización, edición, evaluación, corrección automática, generación de reportes y gráficas de exámenes tipo test. La aplicación dispone de tres módulos dirigidos: profesor, alumno y el de notas (Fernández Escobar, 2012).
Siette (Conejo & Guzmán, 2001) o Sistema Inteligente de Evaluación mediante Test para Teleducación permite la creación y mantenimiento de bancos de preguntas, la realización de test y el seguimiento de resultados, y es una herramienta de aprendizaje colaborativo y se utiliza como un medio de preparación a un examen en El Centro Nacional de Evaluación para la Educación Superior.
Santos Virgen y Arcega Ponce (2007) desarrollaron un simulador que tiene como objetivo que el sustentante registrado en alguno de los procesos de evaluación del Servicio Profesional Docente se familiarice con la aplicación de un examen realizado mediante computadora o en línea.

Evaluación

Según la Real Academia Española, la evaluación consiste en “Estimar los conocimientos, aptitudes y rendimiento de los alumnos”. En la práctica tradicional, aprendizaje y desarrollo por medio de la retroalimentación y autoevaluación no aparecen, cuando en la realidad están muy relacionados (Salim, Lotti de Santos y Macchioni de Zamora, 2012). Se pueden distinguir o presentar varias categorías o tipos de evaluación educativa (Tabla 1 ).

Tabla 1 . Tipos de Evaluación Educativa.

Fuente: Gómez Rodríguez (2011).

Autoevaluación

La autoevaluación es un tipo de evaluación ligada con el aprendizaje autónomo y a lo largo de la vida, puesto que la realiza el propio estudiante y le permite comprobar su nivel de aprendizaje y, en su caso, reorientarlo (Cruz Núñez y Quiñones Urquijo, 2012). Alverno College (College, 2017) la define como: “La habilidad de una estudiante para observar, analizar y juzgar su rendimiento en base a unos criterios y determinar así cómo puede mejorarlo”.

Reactivos

Para el CENEVAL (2015) , el reactivo “es un planteamiento que demanda una tarea específica al individuo, con la finalidad de evidenciar si se posee el conocimiento, la habilidad o la competencia que forma parte del objeto de medición del examen”. Cada reactivo tiene asociado instrucciones, un puntaje y tiempos, las condiciones de aplicación y ponderación (Mendoza y Maldonado, 2004).
Las pruebas EGEL-INFO (Licenciatura en Informática), EGEL-ISOFT (Ingeniería de software) y EGEL-ICOMPU (Ingeniería en Computación) corresponden a los programas educativos de Licenciatura en Informática, Ingeniería en sistemas computacionales e Ingeniería en Computación, los cuales se ofertan en la Facultad Ciencias de la Información de la Universidad Autónoma del Carmen. El CENEVAL considera cinco tipos de reactivos (Centro Nacional de Evaluación para la Educación Superior, 2017a, 2017b, 2017c) :

• Preguntas o reactivos de cuestionamiento directo. Se selecciona una de las cuatro opciones de respuestas a partir del criterio o indicación que se solicite en el enunciado, afirmativo o interrogativo, que se presenta en la base del reactivo.
• Ordenamiento. Requieren ordenamiento o jerarquización de un listado de elementos de acuerdo con un criterio determinado. Se debe seleccionar la opción en la que aparezcan los elementos en el orden solicitado.
• Selección de elementos. Se clasifican una serie de hechos, conceptos, fenómenos o procedimientos de acuerdo con un criterio específico solicitado en la base del reactivo.
• Relación de columnas. Se presentan dos columnas, cada una con contenidos diferentes, que se deben relacionar de acuerdo con el criterio especificado en la base del reactivo.
• Multirreactivo. Evalúa conocimientos y habilidades interrelacionados, a partir de una temática común en un área de conocimiento determinada o de la descripción de una situación o problema profesional específico. Primero presenta la descripción de una situación, problema o caso, el cual puede incluir un texto, una tabla, una gráfica, un mapa o un dibujo seguido por una serie de reactivos que deben ser contestados considerando la información presentada inicialmente. Cada pregunta se evalúa de manera independiente. Si se desconoce la respuesta a una pregunta, se continúa respondiendo los reactivos o preguntas asociados al problema, de cualquiera de los tipos antes mencionados.

Metodología

La idea general surge dentro de un proyecto de investigación y desarrollo de software con la finalidad de determinar si es posible desarrollar una herramienta de software que permita al alumno o egresado realizar una autoevaluación antes de presentar el examen de Egreso, y que facilite el análisis de los resultados como un instrumento para identificar las debilidades o fortalezas previas a la presentación del EGEL. Los pasos generales propuestos para realizar proyecto son:

• Realizar un estudio teórico de extracción y recopilación de la información de herramientas de software que evalué conocimientos de ingreso o egreso de la licenciatura.
• Realizar un marco teórico relacionado con examen general de egreso de la licenciatura.
• Desarrollar un software que permita evaluar el nivel de conocimiento adquirido del egresado de programas educativos de las Dependencia Académica de Ciencias de la Información.
• Realización de pruebas y experimentos del software.

Para el desarrollo del software, se siguió la metodología orientada a objetos de James Rumbaugh (Rumbaugh, 2000), la cual requiere una etapa de conceptualización en donde se describen los requerimientos de la herramienta desde distintos puntos de vista y se obtienen del dominio del problema:

• Para la etapa de Análisis se enfoca en tres modelos esenciales para el desarrollo del software: Modelo de Objetos, Modelo Dinámico y Modelo Funcional, los que servirán de base para la etapa de Diseño.
• La etapa del diseño se divide en Diseño del sistema y Diseño de objetos, que es el refinamiento de los modelos realizados en la etapa de análisis.
• En la etapa Desarrollo se codifican las clases en un lenguaje de programación.
• Las Pruebas sirven para verificar cómo funcionan las clases que fueron descritas en el modelo dinámico; se consideran los procesos o reglas para la aplicación de una prueba escrita, desde su etapa de aplicación hasta la etapa de resultados.
• La etapa final de Implementación es la puesta en marcha del sistema.

Software

Es una aplicación desarrollada en lenguaje java donde se muestran reactivos de forma aleatoria, con una serie de posibles respuestas de elección única, en su primera versión. El cual considera las áreas, subáreas y temas de la guía de EGEL antes mencionadas. El acceso está limitado por el administrador de la aplicación, quien dará acceso a los usuarios previo auto registro o registro, así como el alimentar el banco de reactivos. Se compone de los siguientes módulos:

• Acceso. El usuario proporciona sus credenciales (Usuario y Contraseña) para ingresar al sistema y realizar el test de evaluación. El nombre de usuario y contraseña es proporcionado por el administrador del sistema.
• Selección de prueba. Este es el módulo principal, donde se selecciona la prueba que desea practicar el egresado, estos datos son los más importantes ya que el sistema determina los reactivos a seleccionar.
• Detalles de evaluación. En él se establecen los datos para la evaluación que el alumno selecciona. El modulo permite establecer opciones de desplazamiento y visualización del tiempo de la prueba.
• Aplicación de la evaluación. Se visualizan los reactivos y respuestas, con las especificaciones establecidas en el módulo de detalles de evaluación. Se registra un control de tiempo de la prueba, pero no se restringe el mismo.
• Resultados. Se muestran los resultados obtenidos, el tiempo que tarda en ser contestada la evaluación, el total de respuestas contestadas correctamente y el total de respuestas incorrectas.
• Administración de la aplicación. Se configura la carga de catálogos (Preguntas, Respuestas, Usuarios, etc.), las preferencias del usuario y la seguridad.
• Preferencias del sistema. Es la sección del sistema en donde se modifican los parámetros del sistema, también está disponible en el módulo las Herramientas del sistema.
• Seguridad. Se actualiza o modifica la contraseña del administrador del sistema; este se encuentra en la opción seguridad de la barra de herramientas.
• Carga de reactivos. Se cargan los reactivos con sus respectivas respuestas y las características de cada uno (tipo de reactivo, nombre de la prueba).
• Carga de Usuarios. Permite la carga de usuarios que pueden entrar al sistema a realizar una evaluación; se indican las preguntan que serán desplegadas al usuario.

Resultados y discusión

El software desarrollado se ejecuta de forma independiente en computadoras personales o portátiles que tengan preinstalado la máquina virtual de java. La base de datos se encuentra en un servidor remoto en la facultad que es accedida por los clientes de software. Las pruebas realizadas con los usuarios permiten la autenticidad de los usuarios, conexión a los reactivos y visualización de resultados a la prueba; la velocidad de respuesta varía conforme al número de usuarios y ancho de banda, llegando a presentar algunas dificultades en algunos puntos de acceso inalámbrico. Las pruebas se realizaron con tres grupos de 14, 17 y 22 usuarios que ejecutaron la aplicación de manera simultánea, y en días diversos. En algunas máquinas el tiempo de carga de los reactivos oscilaban entre tres y cuatro segundos. El tiempo de respuesta de cada reactivo variaba por usuario y reactivo. Las pruebas presentan un tiempo de duración. Los resultados de la prueba por grupo se muestran en la Tabla 2 y Tabla 3.

Tabla 2. Resultados de aciertos por Grupo y Área para Ingeniería en Sistemas Computacionales.

Fuente: elaboración propia generada por la herramienta.

Se muestra mejores resultados en las áreas de Gestión de proyectos de tecnologías de información, Desarrollo e implantación de aplicaciones computacionales; y menor desempeño en Análisis de Información, Implementación de redes, bases de datos, Sistemas operativos y lenguaje de desarrollo para Ingeniería en Sistemas Computacionales.

Tabla 3. Resultados de aciertos por Grupo y Área para Ingeniería en computación.

Fuente: Elaboración propia generada por la herramienta.

Se muestra debilidades en las áreas de Adaptación de hardware y/o software para aplicaciones específicas, Desarrollo de hardware y su software asociado para aplicaciones específicas, Selección de sistemas computacionales para aplicaciones específicas; y fortalezas en Nuevas tecnologías para la implementación de sistemas de cómputo y Redes de  cómputo para necesidades específicas. Para la prueba del software solo se dispuso de alumnos de las carreras de sistemas computacionales e ingeniería en computación; los alumnos de licenciatura en informática no estuvieron presentes.
Esta información preliminar generada puede ser usada por los gestores, la dirección y las académicas vinculadas a estos programas educativos. Esta representa una imagen parcial de los conocimientos que poseen los alumnos que participaron en la etapa testeo de la herramienta.

Conclusiones

Los trabajos analizados en la literatura no están orientados a herramientas de software que consideren al examen general de egreso. Sin embargo, son utilizadas como herramientas para selección o diagnóstico de candidatos o para evaluar determinada materia o conocimientos específicos. Una herramienta construida a la medida, considera elementos específicos no presentes en productos comerciales. Puede apoyar al entrenamiento y preparación de evaluaciones presenciales no computarizadas como el EGEL. Poniendo a disposición del sustentante un medio para realizar su autoevaluación preliminar de pronta repuesta, con posibilidad de identificar las áreas con deficiencias y fortalezas.  
La herramienta debe ser alimentada con un mayor número de reactivos, que involucre a un mayor número de personas tanto en la parte de alimentación y diseño de reactivos como en su uso por parte de los posibles sustentantes a una prueba de egreso. La herramienta no garantiza que los sustentantes acrediten la prueba u obtengan desempeños notables, pero sí un medio de entrenamiento a posibles escenarios.

La herramienta sirve como instrumento que muestra una radiografía de los conocimientos de los sustentantes en determinado momento. Esto da pie a desarrollar alguna estrategia que fortalezca todas las áreas de la prueba, en especial aquellas con resultados más bajos o deficientes, las cuales se convierten en áreas de oportunidad para el uso de la herramienta. Por otra, el software puede expandirse a nivel institucional incorporándose pruebas y reactivos de otros programas de licenciatura evaluados por el CENEVAL a través de la prueba a EGEL.

Agradecimientos
Se agradece el apoyo recibido por el C. Rodrigo Cruz Olán, en la realización de este proyecto, en favor de la institución.

Bibliografía
Barrera Cámara, R. A., Canepa Sáenz, A. A., & Santiago Pérez, J. d. C. (2016). Desempeño de egresados de tecnologías de información en el examen general de egreso. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 7(13), 497-503.
Barrera Cámara, R. A., Herrera Sánchez, B., Cocón, J. F., Santiago Perez, J. d. C., Canepa Sáenz, A. A., & Guillermo Castro, V. (2016). Capítulo VI.Aspectos diversos que coadyuvan en los resultados de la prueba EGEL de programas educativos en TI. In U. d. Guatemala (Ed.), Avances y Pespectivas en Computación y Tecnologias de Información y Comunicación. Guatemala.
Casas Blanco, J. C., López Guerra, R. L., & Rodríguez Hernández, M. (2013). Propuesta de ejercicios interactivos para la autoevaluación del aprendizaje en la asignatura Medicina General Integral. Edumecentro, 5(2), 160-171.
Centro Nacional de Evaluación para la Educación Superior, A. C. (2015). Lineamientos para la construccion de reactivos de opcion multiple (5 ed.). México, D.F.: Centro Nacional de Evaluación para la Educación Superior, A. C.
Centro Nacional de Evaluación para la Educación Superior, A. C. (2017a). Guía para el sustentante Examen General para el Egreso de la Licenciatura en Ingeniería Computacional (EGEL-ICOMPU) (pp. 63).
Centro Nacional de Evaluación para la Educación Superior, A. C. (2017b). Guía para el sustentante Examen General para el Egreso de la Licenciatura en Informática (EGEL-INFO) (pp. 60).
Centro Nacional de Evaluación para la Educación Superior, A. C. (2017c). Guía para el sustentante Examen General para el Egreso de la Licenciatura en Ingeniería de Software (EGEL-ISOFT) (Sexta ed., pp. 60).
College, A. (2017, 10 de Octubre de 2006). Self Assessment Recuperado 20/05/2017, 2017, desde http://lampout1.alverno.edu/saal/terms.html#sa
Conejo, R., & Guzmán, E. (2001). SIETTE: Sistema Inteligente de Evaluación mediante Test para TeleEducación. XII cursos de verano de la UNED, Espana.
Corbalán, L. C., Delía, L., Cáseres, G., & Hasperué, W. (2012). Herramienta de software para evaluación semiautomática. Paper presented at the VII Congreso de Tecnología en Educación y Educación en Tecnología.
Cruz Núñez, F., & Quiñones Urquijo, A. (2012). Importancia de la evaluación y autoevaluación en el rendimiento académico. Zona Próxima, 16, 96-104.
Escudero, E. B., Morales, M. R., Ramírez, J. L. C., Reyna, N. L., & Ariza, V. V. (2002, Noviembre 2002). Evaluación del aprendizaje por computadora: una década de innovación educativa en la UABC. Paper presented at the 3er. Congreso Nacional y 2 o Internacional: Retos y Expectativas de la Universidad, Ixtapan de la Sal, Estado de México,.
Fernández Escobar, M. X. (2012). El software de autor y su incidencia en la evaluación de los aprendizajes de los estudiantes del primer año de bachillerato del Colegio Nacional 17 de Abril del cantón Quero, provincia de Tungurahua. Maestría en Diseño Curricular y Evaluación Educativa, Universidd Técnica de Ambato, Ecuador. Obtenido de http://repo.uta.edu.ec/bitstream/123456789/5629/3/Mg.DCEv.Ed.1558.pdf  
García-García, M. J., Ruiz de Azcárate Varela, C., & Casado Sánchez, J. L. (2012). La evaluación de competencias en la web. Paper presented at the II Congreso Internacional sobre Evaluación por competencias mediante eRúbricas, Malaga.
Gómez Rodríguez, B. (2011). Un Modelo de Evaluación (autorregulación) para Centros Docentes: Vision Libros.
Mas, R., & Lacosta, I. (2001). Aplicaciones de Internet a la enseñanza: un sistema de autoevaluación. Actas de JENUI, 500-503.
Mendoza , L., & Maldonado, M. (2004). Elaboracin de reactivos para un examen de logro de las cuatro habilidades en Ingles. Lingüística Aplicada, 1(1).
Ochoa Cabarcas, A., & Dilbert ward, K. (2005). Desarrollo e implementación de un software para la evaluación de competencias tecnológicas mínimas a los Docentes de las distintas facultades de la Corporación Universitaria Rafael Núñez. Ingeniero en Sistemas, Corporación Universitaria Rafael Núñez, Cartagena de Indias. Obtenido de http://siacurn.app.curnvirtual.edu.co:8080/xmlui/bitstream/handle/123456789/106/TISDC066.pdf?sequence=1  
Ornelas Contreras, M., Blanco Vega, H., Gastélum Cuadras, G., & Muñoz Beltrán, F. (2013). Perfiles de autoeficacia en conductas académicas en alumnos de primer ingreso a la universidad. Revista Electrónica de Investigación Educativa, 15(1), 17-28.
Ortiz, V., & Abel, Y. (2010). Análisis, diseño e implementación de una herramienta Web de evaluación del desempeño por competencias: evaluación de 360° grados. Ingeniero Informático, Pontificia Universidad Católica del Perú, Peru. Obtenido de http://tesis.pucp.edu.pe/repositorio/handle/123456789/560?show=full  
Rodríguez Conde, M. J. (2005). Aplicación de las TIC a la evaluación de alumnos universitarios. Teoría de La Educación: Educación Y Cultura En La Sociedad de La Información, 6(2).
Rumbaugh, J. (2000). Modelado Y Diseño Orientado a Objetos. Metodología OMT: Prentice Hall.
Salim, R., Lotti de Santos, M., & Macchioni de Zamora, N. (2012). Evaluación del examen: una herramienta para la innovación didáctica en el aula universitaria. Rev Iber Educ, 59(1), 1-7.
Santos Virgen, J. M., & Arcega Ponce, A. (2007). Medición Automatizada de Competencias Profesionales en Informática. Paper presented at the XII Congreso de Informática en la Educación., cuba.
Valenzuela Mendoza, F., López Sánchez., J. R., & Arias Hurtado, A. I. (2013). Sistema de autoentrenamiento para el examen EGEL de Ingeniería de Software aplicado en la carrera de LSCA de la UES UAN. Paper presented at the 2° Congreso Virtual sobre Tecnología, Educación y Sociedad, Mexico.