En este blog encontrarán un repositorio de instrumentos vinculados a la evaluación de competencias. Es el producto de la investigación "El impacto de la evaluación educativa en el desarrollo de competencias en la universidad. La perspectiva de las primeras promociones de graduados" (I+D EDU2012-32766), financiada por el Ministerio de Economía y Competitividad entre los años 2013 y 2015.

La información de todas las entradas obedece a una misma estructura: definición y características del instrumento en cuestión, algún ejemplo interesante, aspectos para tener en cuenta su correcto empleo y un apartado titulado "Para saber más" con recursos y enlaces.

Esperamos que resulte de interés para todos y ¡les animamos a comentar y votar los recursos!

PRÁCTICAS DE LABORATORIO

Definición

La práctica de laboratorio es el tipo de clase que tiene como objetivos instructivos fundamentales que los estudiantes adquieran las habilidades propias de los métodos de la investigación científica: descubriendo, ampliando, profundizando, consolidando, realizando y comprobando los fundamentos teóricos de la asignatura mediante la experimentación, a la vez que aplican los conocimientos científico-técnicos adquiridos mediante el manejo de instrumentos, equipos o por la ejecución de un método o técnica de trabajo (Espino, lab microcuba). Es un método de enseñanza práctico y activo donde el contenido principal de lo que será aprendido es demostrado o practicado por el alumno, a partir de la guía del profesor y de unos materiales concretos.

La evaluación de la competencia a partir de la práctica implica una sistemática preestablecida, que requiere una definición previa de la competencia alcanzada tras el paso por el laboratorio, el establecimiento de indicadores como criterios del resultado del aprendizaje, y establecer evidencias para la evaluación (tareas a realizar por el estudiante). Esta evaluación no debe ser percibida por los alumnos como algo trivial o artificial, sino que debe mostrar la unión entre la Universidad y el futuro trabajo profesional (Morales, 2011).

Características
  • Requiere instalaciones especiales o recursos (videos o simulaciones), que a su vez exigen un coste más alto asociado al aprendizaje.
  • Permite una evaluación real del desempeño.
  • La evaluación puede no ser objetiva si no está bien establecida y requiere  de un evaluador experimentado.
  • En ocasiones no permite hacer una evaluación individual, sino que se hace conjuntamente del grupo pequeño (2 o 3 integrantes).
  • Los momentos pre y post-laboratorio son un elemento clave en el aprendizaje ya que además de potenciar el trabajo autónomo del alumnado, permiten aumentar el rendimiento de las sesiones de laboratorio y consolidar conocimientos. Este trabajo influye directamente en el rendimiento de la actividad.
  • El trabajo experimental desarrolla y exige al estudiante capacidad de observación, análisis, discriminación, clasificación, síntesis, estructuración de informes, a la vez que le genera curiosidad, perseverancia y creatividad. (Sánchez, 2008).

Ejemplos

En general, los ejemplos de evaluación de competencias mediante prácticas de laboratorio son incompletos o escasos, la mayoría de experiencias publicadas están destinadas a explicar cómo realizar las prácticas (DVD, documentos, simulaciones, etc.) y bastantes de las experiencias evalúan la satisfacción de los usuarios pero no las competencias adquiridas por los estudiantes. En general es un instrumento que está poco desarrollado para la evaluación de competencias.

No obstante, se puede destacar que los pocos ejemplos hallados se basan mayoritariamente en la confección de rúbricas (para evaluar informes o presentaciones de prácticas), entre las cuales se hallan normalmente pocos conceptos relacionados con las competencias transversales y muchos con las competencias específicas de la materia.

Algunos ejemplos serían:

1.- RÚBRICAS DE INFORMES DE PRÁCTICAS DE LABORATORIO

En este caso se presentan rúbricas para evaluar un proyecto de laboratorio, los autores prepararon tres rúbricas que cubren las prestaciones del proyecto, el desarrollo y la memoria final. No aparece evaluada ninguna competencia transversal en el proyecto.


En este caso se presentan rúbricas que facilitarán la redacción y la evaluación del informe de laboratorio al estudiante, pero todas las valoraciones son referidas al informe de laboratorio y no al desempeño o competencias. 


En este ejemplo, los profesores Ortega y Caamaño  hacen una presentación de cómo enfocaron la evaluación de sus prácticas de laboratorio, teniendo en cuenta tanto las competencias específicas (de un químico) como las transversales, concretamente evaluaron las siguientes: trabajo en equipo, comunicación, manejo de información y habilidades de aprendizaje. Con la herramienta gratuita Rubistar han creado sus rúbricas de evaluación. El trabajo no presenta resultados, aunque el planteamiento es muy claro y parece que será efectivo.


En las prácticas de laboratorio se desarrolla la competencia específica de la manipulación. Los alumnos del Grado de Agronomía acceden por primera vez a un laboratorio de Química en la Universidad de Almería. El trabajo presenta un material fotográfico que da una panorámica visual del procedimiento de la práctica antes de su realización. El estudio evaluó la práctica a partir de evaluaciones (test online; examen oral), y desarrollaron una estrategia para mejorar los resultados de aprendizaje en las prácticas de laboratorio de química mediante el uso de actividades pre-laboratorio y autoevaluación. Como puede observarse en el mismo, tanto la utilización de la rúbrica como la autoevaluación llevan asociado una mejora en la realización de los informes de laboratorio. Los autores consideran que al recibir los estudiantes la rúbrica se produce una retroalimentación positiva.


Es otro ejemplo interesante para la evaluación de prácticas a partir de informe, muy detallado y específico, aunque tampoco evalúa competencias transversales, se adivinan en el apartado de resultados.


Es notable la cantidad de material que han preparado los profesores de la Escuela Secundaria Técnica 76, ubicada en las Moras, municipio de Guasave, Sinaloa (MÉJICO), para estudiar el tema del agua en la asignatura de Ciencias III (Química). Realmente, ponen en la red todos los documentos relativos a la actividad, con páginas sobre competencias a adquirir, y la guía didáctica del tema, incluida la del laboratorio. Por último se puede consultar la rúbrica de laboratorio preparada para la evaluación del tema, que si bien es sencilla, incorpora 10 ítems a tener en cuenta para evaluar la práctica. Aunque no se especifica como tal, aparece un ítem “integración de equipos” que pudiera referirse al trabajo en equipo.

2.- RÚBRICAS DE EXPOSICIONES ORALES SOBRE PRÁCTICAS DE LABORATORIO


Es destacable el caso de las prácticas del profesor P.Gonzalez (Universidad de Almería), en la asignatura laboratorio de bioprocesos,  que las plantea como si fueran investigaciones científicas, con lo cual los estudiantes deben plantear hipótesis, probarlas, y defenderlas. Es innnovador ya que hace que los estudiantes construyan su conocimiento a partir de las prácticas de laboratorio, pero sin seguir una guía establecida y pautada, deja que trabajen y luego colaboren entre ellos para establecer sus propias conclusiones. La evaluación se basa en a una exposición oral de los resultados y en un examen escrito.

La rúbrica para la exposición tiene en cuenta los aspectos técnicos y evalúa varias competencias transversales como:
          (1) Conocimiento sobre fundamentos de la investigación científica,
          (2) Análisis, síntesis y gestión de información,
          (3) Comunicación oral en la propia lengua,
          (4) Comparar y seleccionar alternativas técnicas,
          (5) Planificar la investigación aplicada,
          (6) Diseñar equipos para llevar a cabo bioprocesos.
Y llama la atención que la valoración de esta prueba sea un 60%, dejando solo el 40% para la prueba escrita sobre todas las exposiciones de los grupos.

3.- EVALUACIÓN OBSERVACIONAL

Pedro Morales Vallejo (Universidad Pontificia Comillas de Madrid) resume en este trabajo la experiencia llevada a cabo en el Hospital Monte Sinaí con estudiantes de ginecología quienes examinaban a los pacientes, con la supervisión del tutor. Posteriormente, el tutor valoraba 12 puntos relacionados con la competencia del examen ginecológico. El estudio estaba destinado  a detectar diferencias entre el primer examen y el examen tres meses después, la diferencia fue importante, con lo que los autores consideraban que se habían adquirido las competencias, entre ellas la competencia transversal de comunicación con el paciente.


Aunque las prácticas siempre se planifican con la intención de profundizar, es sorprendente el trabajo de Espino y col, quien constató que tras realizar y aprobar la asignatura de microbiología solo un 17% de los estudiantes eran “competentes” en la tarea de examinar  y diagnosticar el agente microbiológico causal, además de que el 50% de los estudiantes estaban insatisfechos (Espino, 2005). Tras lo cual los profesores rediseñaron las actividades prácticas, desarrollándolas como un problema concreto que los estudiantes se preparaban antes (con material previo), e intentaban resolver en el laboratorio, trabajando en equipo, siempre supervisados por el profesor experto. Los resultados demostraron mejoras en los rendimientos y en la satisfacción. No obstante, no se facilitan materiales ni resultados cuantitativos en el artículo.


Otro ejemplo es el que proponen Garrido y col en que se compara el trabajo de prácticas (elaboración de un software)  evaluado por estudiantes (evaluación por iguales y anónima) frente a la que hacen los profesores. Resulta llamativo que las notas de los estudiantes sean más bajas que la de los profesores. Tampoco se evalúan competencias transversales en el mismo.

4.- EVALUACIÓN MEDIANTE UN CUESTIONARIO DE PRÁCTICAS

Un cuestionario de prácticas es un conjunto de preguntas que se confecciona para obtener información del grado de consecución de adquisición de conocimiento y/o competencia respecto a la experiencia ensayada en el laboratorio. Existen numerosos estilos y formatos de cuestionarios, de acuerdo a la finalidad específica de cada uno. Normalmente los autores que aplican estos cuestionarios buscan un sistema que, por una parte, permita aplicar técnicas de evaluación continua y, por otra, garantizar que a la hora de calificar a los alumnos,  se evalúen las competencias  individuales de éstos  y no las de un  grupo o una pareja. (Benjumea y col, 2011).


Resulta interesante el estudio realizado para la asignatura redes de computadores (Universidad de Sevilla), quienes detectaron diferencias significativas entre las notas de prácticas y de teoría, es decir, las notas de prácticas siempre eran muy altas y no eran congruentes con las notas de teoría, con lo cual desfiguraba la calificación final. Los autores establecieron cuestionarios de prácticas a través de la plataforma WeBCT, que facilitaron una evaluación individualizada de las prácticas y redujeron las diferencias entre las calificaciones de teoría y prácticas, así como las notas medias de los estudiantes.


Es interesante la Guía de autoevaluación que se les facilita a los alumnos, para evaluar su propio trabajo en el laboratorio, lo que implica una reflexión de los estudiantes en los resultados y una conexión con la teoría conocida para construir su propio conocimiento a partir de la experiencia.  

Una experiencia especialmente interesante


En el ámbito de la docencia de la Farmacia Galénica/Tecnología Farmacéutica del Grado de Farmacia, se llevó a cabo como innovación docente (2014) la implementación de la evaluación de la competencia transversal Capacidad de aprendizaje y responsabilidad, asociándola a la formación práctica dispensada en un conjunto de seis  asignaturas. El trabajo presenta la estrategia de adquisición de dicha competencia, trabajándola de forma gradual y progresiva, así como los instrumentos expresamente diseñados para evaluar la práctica (competencia específica) y la competencia transversal.

En la Universidad de Barcelona, esta competencia se define mediante estos dos sub-apartados:
- Capacidad de análisis, de visión global y de aplicación de los conocimientos a la práctica.
- Capacidad de tomar decisiones y de adaptación a situaciones nuevas.

La estrategia desarrollada se establece en la figura 1, donde se determinan los 3 niveles y las asignaturas implicadas en su adquisición.


En el caso de dos asignaturas obligatorias de mención, el trabajo examina el beneficio de la realización de una evaluación compartida alumno/profesor (coevaluación) de las prácticas de laboratorio y de la competencia asociada, comparando los resultados de una coevaluación obligatoria frente a los obtenidos mediante coevaluación voluntaria. También se aportan evidencias sobre la validación de los instrumentos de evaluación (rúbricas). La evaluación compartida alumnos/profesores, de las prácticas mediante los instrumentos propuestos, ha permitido garantizar la validez del proceso y de las calificaciones. La participación obligatoria de los alumnos en el proceso de evaluación resulta beneficiosa para evaluar con seriedad y relevancia dicha competencia, ayudando finalmente a cumplir los objetivos docentes propuestos.

Algunos aspectos a tener en cuenta (finalidades, formas de aplicación, agentes implicados, etc.)

El trabajo de Morales (recogido por la Universidad de Zaragoza) es un ejemplo excelente de como enlazar las competencias en el laboratorio con su evaluación de una manera sistemática. En su documento, hay ejemplos de diferentes áreas de conocimiento con ejemplos de evaluaciones retrospectivas y observaciones.

Según Morales, hay observaciones que deberían tenerse en cuenta ante el reto de evaluar prácticas de laboratorio. Por una parte, remarca que no se debe entender como una evaluación banal (en la misma línea que hacían Benjuema y col.). Por otra, destaca la necesidad de distinguir las habilidades y las competencias a evaluar. Estas habilidades deben aparecer en la rúbrica, y, de este modo, serán una guía de trabajo para el estudiante o de calificación para el profesor. También proporciona listas de cotejo que serían rúbricas más simples y servirían para la observación directa. Él mismo da bastantes referencias que le han servido de partida. Destacamos, por ejemplo, Evaluación de tareas, prácticas, competencias.

Ejemplos de simulaciones de prácticas

También, en el ámbito de la Farmacia Galénica de la Facultad de Farmacia de la Universidad de Barcelona, además de la experiencia de valoración progresiva de una competencia, cabe destacar la disposición de diversos materiales que recogen guías visuales de la elaboración y control de diferentes formas farmacéuticas, a nivel de laboratorio, tanto a pequeña escala como a escala semiindustrial. Este material permite al alumno preparar de forma exhaustiva las prácticas antes de realizarlas presencialmente, así como visionar todos los pasos a seguir durante su estancia en el laboratorio. El alumno se convierte en un experto en cuanto a la secuencia del proceso y, es en el propio laboratorio, donde el estudiante consolida las habilidades.

Estas guías virtuales, están recogidas en: http://ocw.ub.edu/farmacia/tecnologia-farmaceutica-i/ y el alumno accede a este material a partir del campus virtual de la asignatura correspondiente.

Siguiendo en la misma línea, para el aprendizaje de las normas de correcta fabricación (NCF) referente a los medicamentos, concretamente comprimidos y una emulsión silicónica, los alumnos deben seguir obligatoriamente un material didáctico e interactivo de formación y evaluación, antes de iniciar su trabajo en la planta piloto. Estas actividades didácticas han sido evaluadas y presentadas en distintos congresos y han dado a lugar a publicaciones donde los autores García Montoya E. y col han constatado la eficiencia de estas prácticas virtuales.

Bibliografía

Aparicio, R. M.; Viscasillas, A.; García-Montoya, E.; Pérez-Lozano, P.; Miñarro, M.; Suñé-Negre, J.M.; Ticó, J.R.; Aróztegui, M.; Barbé, C.; Halbaut, L. (2008).Valoración experiencial del aprendizaje tras formación virtual. Edusfarm, revista d’educació superior en Farmàcia, 3. [En línea] Disponible en http://www.publicacions.ub.es/revistes/edusfarm3/documentos/449.pdf

Benjumea, J.; Medina, A.V.; Rivera, O.; Dorronzolo, E. (2011). Análisis de distintas metodologías de evaluación en prácticas de laboratorio en asignaturas de Redes de Computadores. XVII Jornadas de Enseñanza Universitaria de la Informática, Sevilla, 5 a 8 de julio 2011. [En línea] Disponible en: https://upcommons.upc.edu/revistes/bitstream/2099/11997/1/a36.pdf


Cañedo Iglesias, Cáceres Mesa. (2013). Fundamentos teóricos para la implementación de la didáctica en el proceso enseñanza-aprendizaje. [En línea] Disponible en: http://www.eumed.net/libros-gratis/2008b/395/CARACTERIZACION%20DE%20LA%20PRACTICA%20DE%20LABORATORIO.htm

Morales Vallejo, P. (2011). Evaluación de los aprendizajes. Nuevos enfoques. [En línea] Disponible en: http://www.unizar.es/ice/index.php/formacion-continua-2015/materiales/61-curso82011

García-Montoya, E.; Pérez-Lozano. P.; Fàbregas-Fernández, A.; Miñarro-Carmona, M.; Ticó-Grau, J.R.; Suñé-Negre, J.M. (2011). Use of a multimedia tool for undergraduate industrial pharmaceutical training. Revista de Formación e Innovación Educativa Universitaria, 4 (2), 68-80 [En línea] Disponible en: http://refiedu.webs.uvigo.es/Refiedu/Vol4_2/REFIEDU_4_2_1.pdf

Goldstein, Cheryl E.; Helenius, Ira; Foldes, Cara, McGinn, Thomas and Korenstein, Deborah (2005). Internist Training Medical Residents in Pelvic Examination: Impact of an Educational Program. Teaching and Learning Medicine, 17 (3), 274-278.

Sánchez, E. (2008). Las prácticas de laboratorio, estrategia innovadora para investigar. Artículos USAT. 2008. [En línea] Disponible en: http://articulosusat.blogspot.com/2008/12/las-prcticas-en-laboratorio-estrategia.html

Ferney W. (2004). Prácticas de laboratorio en Ingeniería: Una estrategia efectiva en aprendizaje. Revista Notas Universitarias. 2004. En: Escritos para la docencia # 4, CEDIP; 11. [En línea] Disponible en: http://www.revistaciencias.com/publicaciones/EEpkEAkpkFaFUCDvoy.php

Halbaut, L.; Aróztegui, M.; Miñarro, M.; Aparicio, R. M.; García Montoya, E.; Pérez, P.; Suñer, J.; Suñé, J. M.; Ticó, J. R.; Viscasillas, A.; Fábregas, A.; Torres, B. (2014): Implementación de la evaluación de la competencia de aprendizaje y responsabilidad en el ámbito de la formación práctica de la Farmacia Galénica. Dipòsit digital de la UB. [En línea] Disponible en: http://hdl.handle.net/2445/59449

Espino, M.; Abín, L.; Silva M. (2005). Las prácticas de Agentes Biológicos en la ELAM. Fundamentación para una propuesta de modificación. III Jornada Científico Pedagógica de la ELAM, Enero 2004. La Habana: Ed CEDISAP; 2005.

Material docente y su valoración

García Montoya, E. (2003). Formación práctica en tecnología farmacéutica: NCF en la fabricación de comprimidos (CD-ROM) http://www.publicacions.ub.edu/ficha.aspx?cod=05262e

García Montoya, E.; Pérez Lozano, P.; Orriols, A.; Miñarro Carmona, M.; Ticó Grau, J. R. (2000). Estudio comparativo entre los resultados de una actividad didáctica sobre normas de correcta fabricación en formato multimedia y en formato papel. [En línea] Disponible en http://hdl.handle.net/2445/65315

Garcia Montoya, E.; Ladera Luengo, B.; Miñarro Carmona, M.; Ticó Grau, J. R.; Suñé i Negre, J. M. (2002) Evaluación del programa multimedia: fabricación de comprimidos de paracetamol [En línea] Disponible en http://hdl.handle.net/2445/65319

García Montoya, E.; Ferrero, F.; Aparicio Pelegrin, R.; Ladera, B.; Miñarro Carmona, M.; Ticó Grau, J.R.; Suñé Negre, J. M. (2002). Nivel de calidad de los medicamentos elaborados por los alumnos en el laboratorio de prácticas y de su control como producto acabado por parte de los mismos alumnos [En línea] Disponible en http://hdl.handle.net/2445/65324

Garcia Montoya, E.; Ladera Luengo, B.; Sancho Ponce, R; Miñarro Carmona, M.; Ticó Grau, J. R.; Suñé i Negre, J. (2002). Multimedia and Pharmacy [En línea] Disponible en http://hdl.handle.net/2445/65321

García-Montoya, E. (2006).Formación práctica en tecnología farmacéutica: NCF en la fabricación de emulsiones (CD-ROM) http://www.publicacions.ub.edu/ficha.aspx?cod=06551

García Montoya, E.; Miñarro Carmona, M.; Ticó Grau, J. R.; Suñé Negre, J. M. (2002). ¿Cómo demostrar la validez de las herramientas multimedia en la docencia universitaria? experiencias con aplicaciones de tecnología farmacéutica. [En línea] Disponible en http://hdl.handle.net/2445/65314

Pérez Lozano, P.; García Montoya, E.; Miñarro Carmona, M.; Orriols, A.; Ticó Grau, J. R.; Suñé Negre, J. M. (2004) Desarrollo de una aplicación interactiva multimedia: Elaboración industrial de una emulsión de fase externa silicónica. [En línea] Disponible en http://hdl.handle.net/2445/65323

Vídeos (Apartado optativo)

Evaluar competencias en el laboratorio. Se detallan las fases del aprendizaje y cómo se logra la asimilación de la experiencia: cómo se inicia, evalúa, interpreta y consolida el conocimiento.


Simuladores de prácticas de química. ID Project of Barcelona Media presenta el simulador para prácticas de laboratorio de 1º de Química, ahorrando materiales, gestión de residuos y solventando problemas de espacio de laboratorio.


La Universidad Politécnica de Madrid (UPM) presenta la implantación de un sistema autoguiado de prácticas en el laboratorio de Hidráulica: los estudiantes consultan un material audiovisual online previamente y durante la propia práctica; y realizan la práctica bajo la supervisión de un profesor en grupos de 4 estudiantes.


Un blog interesante, donde se presentan actividades y ejercicios relacionados con la Combustión usos y competencias, así como un plan de evaluación mediante: rúbrica de V de Gowin, guía de observación para prácticas de laboratorio, listas de cotejo (checklist).

No hay comentarios:

Publicar un comentario en la entrada