DESARROLLO DE RBRICAS PARA EVALUAR CRITERIOS DE PENSAMIENTO CRTICO

Prof. Julio E. Rodrguez Prof. Nadia Cordero UPR-RP Oficina de Evaluacin del Aprendizaje Estudiantil Decanato de Asuntos Acadmicos 21 de octubre de 2011

OBJETIVOS DEL TALLER

Familiarizar a los participantes con aspectos relevantes sobre construccin de rbricas partiendo de la utilidad de las mismas para los profesores y los estudiantes. Desarrollar una rbrica para medir criterios del pensamiento crtico. Enfatizar el uso de la rbrica como un posible medio para detectar reas de necesidad y fortalezas en el aprendizaje estudiantil (avalo).
Oficina de Evaluacin del Aprendizaje Estudiantil

MARCO DE REFERENCIA
El marco de referencia para esta presentacin se apoya en:
la revisin de la literatura del rea de desarrollo de rbricas. las teoras sicomtricas sobre la construccin de instrumentos.

Oficina de Evaluacin del Aprendizaje Estudiantil

EJERCICIO #1: EXPLORACIN

Usted desea evaluar pensamiento crtico en un trabajo escrito de sus estudiantes.
Describa los pasos que considere necesarios para lograrlo. Esboze un ciclo evaluativo hacia ese fin.

Oficina de Evaluacin del Aprendizaje Estudiantil

DISCUSIN GRUPAL DEL EJERCICIO #1

Oficina de Evaluacin del Aprendizaje Estudiantil

UN POSIBLE CICLO EVALUATIVO

Redacta objetivo(s) de aprendizaje(s) Propone acciones transformadoras Escoge actividad educativa

Analiza los resultados

Pensamiento Pensamiento crtico Crtico

Establece el logro esperado

Recoje la informacion o aplica el (los) instrumento(s)

Disea instrumentos

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo evaluamos pensamiento crtico?

Oficina de Evaluacin del Aprendizaje Estudiantil

UNA ALTERNATIVA ES: MEDIANTE EL USO DE RBRICAS

Oficina de Evaluacin del Aprendizaje Estudiantil

QU ES UNA RBRICA?
La rbrica es una matriz de valoracin en la cual se establecen los criterios y los indicadores de competencia mediante el uso de escalas para determinar la calidad de la ejecucin de los estudiantes en unas tareas especficas dentro de un continuo. Permite obtener una medida aproximada, tanto del producto como del proceso.

Oficina de Evaluacin del Aprendizaje Estudiantil

TIPOS DE RBRICAS
Generalmente se conocen dos tipos de rbricas: la global u holstica y la analtica.

En la holstica se evala la totalidad del proceso o producto sin juzgar por separado las partes que lo componen. Con la matriz de valoracin analtica se evala inicialmente, por separado, las diferentes partes del producto o desempeo y luego se suma el puntaje de stas para obtener una calificacin total (Moskal, 2000; Nitko, 2001).
Oficina de Evaluacin del Aprendizaje Estudiantil

RBRICA HOLSTICA
El uso de la rbrica holstica para calificar puede resultar en un proceso ms rpido que utilizar la rbrica analtica con el mismo fin. Como en estos casos lo que se busca es la valoracin general, casi siempre se usan cuando el propsito de la valoracin es por su naturaleza sumativo. Con este tipo de valoracin no se provee mucha retroalimentacin al estudiante.
Oficina de Evaluacin del Aprendizaje Estudiantil

RBRICA ANALTICA
La rbrica analtica se prefiere cuando se requiere un proceso o una respuesta enfocada. Se evalan individualmente diferentes habilidades o caractersticas que requieren que se examine el producto varias veces.

Los estudiantes reciben retroalimentacin en cada uno de los criterios evaluados, lo que no sucede con el enfoque holstico. Lo anterior hace posible crear un "perfil" de las fortalezas y debilidades especficas de cada estudiante con el fin de establecer un curso de accin para mejorar stas ltimas. Es decir, la matriz de valoracin analtica promueve una valoracin formativa.
Oficina de Evaluacin del Aprendizaje Estudiantil

EJEMPLO: CRITERIOS A UTILIZAR PARA EVALUAR COMUNICACIN ESCRITA

Tema y Estructura Introduccin Desarrollo Conclusin

Dominio de las Estructuras Sintcticas Estructura Sintctica Concordancia Claridad

Dominio Lxico Riqueza Lxica Precisin y Concisin

Correccin Acentuacin Uso de Maysculas

Oficina de Evaluacin del Aprendizaje Estudiantil

EJEMPLO: RBRICA HOLSTICA

Oficina de Evaluacin del Aprendizaje Estudiantil

EJEMPLO: RBRICA ANALTICA

CUL DE LOS DOS TIPOS DE RBRICAS ES MEJOR?

Ningn tipo de rbrica es mejor que el otro. Los dos tienen su lugar en la Evaluacin Autntica (Authentic Assessment), dependiendo de lo siguiente:
del tipo de trabajo o proyecto asignado. del tipo de retroalimentacin que queremos darle al estudiante.

Oficina de Evaluacin del Aprendizaje Estudiantil

EJERCICIO #2
Cmo definira el constructo de pensamiento crtico?

Oficina de Evaluacin del Aprendizaje Estudiantil

DISCUSIN GRUPAL DEL EJERCICIO #2

Oficina de Evaluacin del Aprendizaje Estudiantil

UNA DEFINICIN
El pensamiento crtico es ese modo de pensar sobre cualquier tema, contenido o problema en el cual se mejora la calidad del pensamiento inicial. El resultado es un pensador crtico y ejercitado que formula problemas y preguntas vitales con claridad y precisin; acumula y evala informacin relevante y usa ideas abstractas, llega a conclusiones y soluciones, probndolas con criterios y estndares relevantes; piensa con una mente abierta y se comunica efectivamente. En resumen, el pensamiento crtico es autodirigido, autodisciplinado, autorregulado y autocorregido. Supone someterse a rigurosos estndares de excelencia y dominio consciente de su uso. Implica comunicacin efectiva y habilidades de solucin de problemas y un compromiso por superar el egocentrismo y sociocentrismo naturales del ser humano. Linda Elder y Richard Paul, creadores de la Fundacin para el Pensamiento Crtico
Oficina de Evaluacin del Aprendizaje Estudiantil

OTRA DEFINICIN
El pensamiento crtico es un proceso mediante el cual se usa el conocimiento y la inteligencia para llegar, de forma efectiva, a la posicin ms razonable y justificada sobre un tema, y en la cual se procura identificar y superar las numerosas barreras u obstculos que los prejuicios o sesgos introducen.

Oficina de Evaluacin del Aprendizaje Estudiantil

OTRA DEFINICIN
El pensamiento crtico se propone analizar o evaluar la estructura y consistencia de los razonamientos, particularmente opiniones o afirmaciones que la gente acepta como verdaderas en el contexto de la vida cotidiana.

Oficina de Evaluacin del Aprendizaje Estudiantil

DEFINICIN DEL RECINTO

Pensamiento Crtico Destreza de pensamiento que le permite al estudiante analizar e interpretar el objeto de estudio, por medio de juicios, crticas y anlisis de diversas perspectivas de un manera profunda y constructiva con el fin de que desarrolle criterios propios.

Oficina de Evaluacin del Aprendizaje Estudiantil

EJERCICIO #3
Escriba un objetivo de aprendizaje para evaluar un rea de pensamiento crtico.
Recuerde que los objetivos deben ser: Especficos Observables Medibles Realistas Describe la tarea a realizar Circunscrito a un tiempo
Oficina de Evaluacin del Aprendizaje Estudiantil

DISCUSIN GRUPAL DEL EJERCICIO #3

Oficina de Evaluacin del Aprendizaje Estudiantil

EJERCICIO #4
Genere cuatro criterios para evaluar el constructo pensamiento crtico.

Oficina de Evaluacin del Aprendizaje Estudiantil

DISCUSIN GRUPAL DE EJERCICIO #4

Oficina de Evaluacin del Aprendizaje Estudiantil

POSIBLES CRITERIOS
Anlisis de informacin (mtodo inductivo o deductivo).

Aplicacin de procedimientos, reglas, principios. Planteamiento de soluciones o perspectivas variadas.

Presentacin de conclusiones o inferencias basadas en los hechos (toma de decisiones).

Sntesis de ideas. Identificacin y caracterizacin de argumentos.

Evaluacin de los argumentos. Evaluacin de las fuentes de informacin.
Oficina de Evaluacin del Aprendizaje Estudiantil

ELEMENTOS DE LA RBRICA
Criterios caracterizan la conducta esperada o requerida para completar la tarea.

Indicadores describen el grado de competencia que categoriza la ejecucin de los estudiantes basada en los criterios.
Escala indica los valores o puntuaciones mediante los cuales cuantificamos la ejecucin de los estudiantes para, de este modo, facilitar una medicin ms precisa y objetiva.
Oficina de Evaluacin del Aprendizaje Estudiantil

MODELO DE RBRICA
Niveles / Escala

Criterios a evaluar

Indicadores de desempeo

Oficina de Evaluacin del Aprendizaje Estudiantil

CMO DESARROLLAR UNA RBRICA?

Busque un buen modelo e identifique las caractersticas que definen un buen trabajo. Permita que los estudiantes se familiaricen con l. Establezca con claridad, dentro de esa actividad, qu va a evaluar: un (unos) objetivo(s) , desempeo(s), comportamiento(s), competencia(s) o actividad(es). Determine cules va a evaluar. (validez)

Describa lo ms claramente posible, los criterios de desempeo especficos que va a utilizar para llevar a cabo la evaluacin de esas reas. (validez)
Oficina de Evaluacin del Aprendizaje Estudiantil

CMO DESARROLLAR UNA RBRICA? (CONT.)

Disee una escala de calidad para calificar los criterios, esto es, establezca los indicadores de desempeo que puede alcanzar el estudiante. Puede aadirle una escala numrica. Revise lo que ha plasmado en la matriz de valoracin o rbrica para asegurarse de que no le falta nada. (validez) Practique la administracin de la matriz valorativa (rbrica) para desarrollar consistencia en la evaluacin. (confiabilidad)
Oficina de Evaluacin del Aprendizaje Estudiantil

CUANDO HAYA CLARIFICADO LOS PASOS ANTERIORES

Comience a construir la rbrica teniendo en cuenta lo siguiente:
La escala de calidad para calificar los criterios a evaluar se ubica en la fila horizontal superior, con una gradacin que va de mayor a menor. Es importante que la gradacin sea obvia y precisa para que exista una diferencia clara en los distintos grados que se pueden lograr el dominio de los criterios. En la primera columna vertical se ubican los criterios que se han seleccionado para evaluar.

En las celdas centrales se describe, de la forma ms clara y concisa posible, los indicadores que se van a utilizar para evaluar esos criterios. Recuerde que estas celdas centrales explican cules son las caractersticas de un trabajo excelente, de uno iniciado y las variaciones intermedias entre el uno y el otro.
Oficina de Evaluacin del Aprendizaje Estudiantil

NIVELES (TPICOS) DE LA ESCALA DE CALIDAD

Dos niveles No satisfactorio, Satisfactorio Tres niveles En desarrollo, Aceptable, Ejemplar No aceptable, Competente, Logrado

Cuatro niveles En inicio, En desarrollo, Proficiente, Experto No aceptable, Marginal, Cumple las espectativas, Excede las espectativas
Oficina de Evaluacin del Aprendizaje Estudiantil

NIVELES (TPICOS)
Cinco niveles Deficiente, Iniciado, Aceptable, Bueno, Excelente Seis niveles No satisfactorio, Poco satisfactorio, Satisfactorio, Muy satisfactorio, Bueno, Excelente
La Junta de Directores de la Asociacin Americana de Colegios y Universidades (AACU) sugiere cuatro niveles: (Bajo el bsico, Bsico, Proficiente, Avanzado)
Oficina de Evaluacin del Aprendizaje Estudiantil

EJERCICIO #5
Establezca los indicadores de desempeo para dos de los criterios que usted especific en el ejercicio anterior. Trabaje los indicadores para una ejecucin Excelente y el extremo opuesto a Excelente.

Oficina de Evaluacin del Aprendizaje Estudiantil

DISCUSIN GRUPAL DEL EJERCICIO #5

Oficina de Evaluacin del Aprendizaje Estudiantil

EJEMPLO DE POSIBLES REAS A EVALUARSE EN EL CRITERIO ANLISIS

Identifica la idea central y patrones. Descompone en partes, establece relaciones entre stas.

Indica el principio que las integra. Contrasta ideas. Interpreta y seala causas y efectos. Hace inferencias.
Oficina de Evaluacin del Aprendizaje Estudiantil

EJEMPLO DE POSIBLES REAS A EVALUARSE EN EL CRITERIO SNTESIS

Presenta argumentos sustentatos por evidencia. Desarrolla procedimientos en nuevos contextos. Formula nuevos temas . Establece juicios propios. Presenta soluciones viables.

Establece conclusiones.
Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios
Excelente 8 -7
Identifica y resume claramente los problemas, dilemas o situaciones principales y explica detalladamente por qu y cmo lo son. Adems, identifica asuntos insertados e implcitos en el contexto, abordando la relacin entre stos. Distingue claramente los tipos de planteamientos basados en hechos, conceptos y valores. Adems, reconoce aquellos que estn implcitos en los supuestos y las implicaciones de las posiciones y argumentos presentados .

Satisfactorio 6-5
Identifica y resume los problemas, dilemas o situaciones principales y explica por qu y cmo lo son.

En progreso 43
Identifica y resume parcialmente los problemas, dilemas o situaciones principales y explica de forma limitada por qu y cmo lo son.

Iniciado 2-1
No identifica, resume, o explica el problema principal o la pregunta. Representa los asuntos de forma inexacta e inapropiada.

Identifica y explica problemas, dilemas o situaciones

Distingue los tipos de planteamientos

Distingue los tipos de planteamientos basados en hechos, conceptos y valores. Adems, reconoce aquellos que estn implcitos en los supuestos , pero no discute las implicaciones de las posiciones y argumentos presentados .

Distingue parcialmente los tipos de planteamientos basados en hechos, conceptos y valores.

No distingue los tipos de planteamientos basados en hechos, conceptos y valores.

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios Excelente 8 -7
Identifica correctamente las personas principales implicadas en los problemas, dilemas o situaciones. Adems, establece claramente los contextos empricos y tericos de stos. Tambin, identifica personas y contextos secundarios y demuestra la tensin y conflicto de intereses entre ellos. Explica claramente, cmo, por qu y cules mtodos de investigacin son pertinentes y efectivos para los problemas, dilemas o situaciones presentadas. Adems, describe posibles mtodos alternos para trabajar con el problema.

Satisfactorio 6-5
Identifica correctamente las personas principales implicadas en los problemas, dilemas o situaciones. Adems, identifica la mayora de los contextos empricos y tericos pertinentes a las personas principales implicadas en los problemas, dilemas o situaciones. Explica cmo, por qu y cules mtodos de investigacin son pertinentes y efectivos para los problemas, dilemas o situaciones presentadas.

En progreso 43
Identifica algunas de las personas principales implicadas en los problemas, dilemas o situaciones. Adems, demuestra una comprensin parcial de las influencias de los contextos empricos y tericos de las personas implicadas en los problemas. Explica parcialmente cmo, por qu y cules mtodos de investigacin, pero no describe por qu son pertinentes y efectivos para los problemas, dilemas o situaciones presentadas.

Iniciado 2-1
No identifica las personas principales implicadas en los problemas, dilemas o situaciones. Adems, falla en explicar los contextos empricos y tericos de los asuntos planteados. No establece conexin con otras condiciones o contextos.

Reconoce las personas implicadas y el contexto

Considera la Metodologa

No explica cules mtodos de investigacin, son pertinentes y efectivos para los problemas, dilemas o situaciones presentadas.

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios Excelente 8 -7
Ofrece interpretaciones precisas, exhaustivas y convincentes de los elementos fundamentales que forman parte de los problemas, situaciones o dilemas planteados.
Presenta un punto de vista de forma clara y precisa de los problemas, situaciones o dilemas planteados. Reconoce objeciones y posiciones rivales, y provee respuestas convincentes a estas objeciones.

Satisfactorio 6-5
Ofrece interpretaciones de los elementos fundamentales que forman parte de los problemas, situaciones o dilemas planteados.

En progreso 43
Ofrece interpretaciones de algunos de los elementos fundamentales que forman parte de los problemas, situaciones o dilemas planteados.
Presenta un punto de vista impreciso e indeciso de los problemas, situaciones o dilemas planteados . Anticipa objeciones menores a su planteamiento o considera posiciones alternas dbiles.

Iniciado 2-1
No ofrece interpretaciones de los elementos fundamentales que forman parte de los problemas, situaciones o dilemas planteados.
No presenta un punto de vista claro. Falla en anticipar objeciones hacia su punto de vista o a considerar otras perspectivas y posiciones.

Interpreta el contenido

Presenta un punto de vista y reconoce otras perspectivas

Presenta un punto de vista de los problemas, situaciones o dilemas planteados y discute sus debilidades y fortalezas.

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios Excelente 8 -7
Analiza detalladamente los asuntos que aborda el argumento principal de los problemas, situaciones o dilemas planteados. Adems, examina en detalle los argumentos secundarios y las teoras que los sustentan y su relacin lgica con el argumento principal. Identifica y evala detalladamente los supuestos importantes, y tambin algunos de los que estn implcitos.

Satisfactorio 6-5
Analiza los asuntos que aborda el argumento principal de los problemas, situaciones o dilemas planteados, pero no en detalle. Adems, examina parcialmente los argumentos secundarios y las teoras que los sustentan y su relacin lgica con el argumento principal. identifica y evala los supuestos importantes, pero no menciona los que estn implcitos.

En progreso 43
Analiza parcialmente los asuntos que aborda el argumento principal de los problemas, situaciones o dilemas planteados. Adems, examina de forma limitada los argumentos secundarios y las teoras que los sustentan.

Iniciado 2-1
No identifica los componentes principales de los argumentos de los problemas, situaciones o dilemas planteados, ni demuestra la relaciones lgicas entre stos.

Analiza los argumentos presentados

Evala los supuestos presentados

Identifica algunos de los supuestos importantes, pero no los evala para ver si son viables o claros.

No identifica o evala ningunos de los supuestos importantes detrs de las afirmaciones y recomendaciones hechas.

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios
Evala la evidencia presentada

Excelente 8 -7
Identifica y evala rigurosamente toda la evidencia ofrecida. Adems, provee nuevos datos o informacin con el propsito de fortalecer sus argumentos. Identifica y explica detalladamente los errores de razonamiento de otros. Adems, al hacer inferencias o deducciones evita errores de razonamiento.

Satisfactorio 6-5
Identific toda la evidencia importante y la evala rigurosamente.

En progreso 43
Identifica los datos e informacin que cuenta como evidencia pero no la evala rigurosamente.

Iniciado 2-1
No identifica los datos e informacin que cuenta como evidencia para corroborar la veracidad de las afirmaciones y falla en evaluar su credibilidad. No identifica y explica los errores de razonamiento de otros. Adems, hacer inferencias o deducciones incorpora muchos errores de razonamiento.

Evala las Inferencias y las deducciones

Identifica y explica los errores de razonamiento de otros. Adems, al hacer inferencias o deducciones incorpora algunos errores de razonamiento.

Identifica y explica parcialmente los errores de razonamiento de otros. Adems, al hacer inferencias o deducciones incorpora errores mayores de razonamiento.

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de Rbrica (Pensamiento Crtico)*

Criterios Excelente 8 -7
Presenta soluciones viables a los posibles problemas, conflictos, situaciones o dilemas presentados de manera clara, crtica, coherente y concisa. Adems, apoya las recomendaciones con argumentos slidos y ofrece evidencia para cada una de ellas.

Satisfactorio 6-5
Presenta soluciones viables a los posibles problemas, conflictos, situaciones o dilemas presentados de manera clara y coherente. Adems, apoya la mayora de las recomendaciones con argumentos y ofrece evidencias para cada una de ellas.

En progreso 43
Presenta de forma limitada soluciones a los posibles problemas, conflictos, situaciones o dilemas presentados. Adems, apoya algunas recomendaciones con argumentos y ofrece evidencias que, aunque claras y realistas, son superficiales.

Iniciado 2-1
Presenta muy pocas soluciones o no presenta solucin alguna a los posibles problemas, conflictos, situaciones o dilemas presentados. Las recomendaciones son apoyadas de manera superficial con muy pocos o ningn argumento o evidencia.

Presenta soluciones viables

*Rbrica para evaluar pensamiento crtico de la Universidad de Northeastern Ilinouis, traducida y modificada por el personal de la Oficina de Evaluacin del Aprendizaje Estudiantil

Otras rbricas para evaluar Pensamiento Crtico

Critical Thinking Value Rubric (AACU) - Rbrica analtica

Critical Thinking Scoring Rubric (Facione and Facione) Rbrica holstica Modelos de rbricas compilados por la OEAE Parte I Modelos de rbricas compilados por la OEAE Parte II
Oficina de Evaluacin del Aprendizaje Estudiantil

CONTACTOS PARA INFORMACIN

Direccin: Plaza Universitaria, Tercer Nivel de la Torre Norte.

Email: oeaeupr@gmail.com
Telfonos: (787) 764-0000, exts. 85011-14

Para mayor informacin sobre actividades, planes de avalo de programas acadmicos y otros documentos puede visitar el blog de la OEAE: www.oeaeuprrp.blogspot.com
Oficina de Evaluacin del Aprendizaje Estudiantil

MUCHAS GRACIAS POR SU ATENCIN!

RECUERDE QUE ESTAMOS PARA AYUDARLE A FORTALECER EL PROCESO DE APRENDIZAJE DE SUS ESTUDIANTES!

Oficina de Evaluacin del Aprendizaje Estudiantil