Guía para evaluar proyectos de investigación en ciencias sociales Javier Bassi (2018) Ilustración de Pablo Hernández Introducción Es habitual que proyectos de investigación de diverso tipo sean evaluados antes de ser iniciados. Los actores involucrados, el procedimiento y sus consecuencias dependen del entorno institucional en el que la investigación se realiza: docentes o comités que evalúan los proyectos de tesis de estudiantes universitarios/as, docentes o profesionales que evalúan las postulaciones a fondos concursables de sus pares, agentes de reparticiones estatales que evalúan proyectos presentados por instituciones o particulares, etc. A pesar de esta diversidad, hay cierto acuerdo respecto de algunos aspectos básicos a evaluar y de los criterios empleados para hacerlo. En ciertos contextos, dichos aspectos y criterios son explícitos. Es el mejor escenario posible: lo que se espera de un proyecto no es algo que quien lo presenta deba adivinar sino algo con lo que debe (intentar) cumplir. La explicitación es justa en la medida en que el resultado de la evaluación suele tener consecuencias relevantes: la aprobación de una asignatura o la titulación, la asignación de fondos, la obtención de un puesto de trabajo o una beca, etc. Por esto, entiendo que el procedimiento debería ser lo más transparente posible. Mi recomendación al respecto es que existan documentos que precisen los requisitos —de contenido y forma— exigidos a un proyecto y los criterios que se seguirán para evaluarlo. Esta forma de proceder tiene tres beneficios: i) quien presenta el proyecto sabe a qué atenerse para componerlo (y no se ve en la obligación de adivinar y rogar al cielo); ii) quien evalúa el proyecto sabe a qué prestar atención y qué criterios seguir para evaluar cada aspecto y iii) es posible justificar la evaluación remitiéndose al cumplimiento o no de los criterios explicitados (por tanto, la evaluación no es arbitraria o antojadiza). Un apunte al margen respecto de esto último: desde la posición antirrepresentacionista que suscribo (para un detalle, ver Bassi, 2015, pp. 99‐153), entiendo que no es posible establecer la cientificidad de un proyecto (o, para el caso, de cualquier dimensión de la práctica científica) al margen de ciertas condiciones contextuales. La cientificidad (y otras nociones emparentadas como las de objetividad y verdad) no es una propiedad intrínseca de un procedimiento o de una afirmación acerca del mundo sino un atributo que se adquiere mediante la observación de cierto procedimiento más o menos aceptado por una comunidad dada. Dicho procedimiento es contingente (es decir, depende del contexto): no es trascendental, natural, dado, necesario, eterno, universal ni nada que se le parezca. De este modo, un proyecto se vuelve científico de la misma forma en que una afirmación se vuelve verdadera: al ajustarse, en un grado variable, a los criterios más o menos aceptados por parte de dicha comunidad o, más específicamente, a los criterios custodiados por los actores legitimados para ejercer de gendarmes del criterio de demarcación (es decir, del límite entre la ciencia y la no ciencia). Visto así, las ideas de corrección, objetividad, verdad, cientificidad son reemplazadas por las de ajuste y justificación. Deja de tener sentido hacer preguntas del tipo «¿Es verdad lo que se dice en este marco teórico» o «¿Es científico este procedimiento metodológico?». Comienza a ser pertinente preguntar «¿Se ajusta el proyecto a los criterios establecidos (aunque no necesariamente acordados)?» y «¿Puede quien presentó el proyecto justificar de forma razonable —es decir, defender— dicho ajuste?». Se sigue que lo máximo que puede pedirse a un proyecto —e, insisto, a cualquier dimensión de la práctica científica— no es cientificidad, verdad, objetividad o cosas similares (tomadas en un sentido trascendental o descontextualizado) sino ajuste a unos criterios. En mi experiencia, no suele ser el caso. En el contexto en el que más he participado —la universidad— el ocultismo suele ser la regla (lo cual no hace más que agregar un poco más de perversidad a un ritual —el de la realización de tesis— de por sí bastante perverso). El resultado, como es de esperar, es el opuesto al delineado por los tres beneficios que mencioné antes: i) quien presenta el proyecto no sabe a qué atenerse para componerlo (y se guía por una tradición sedimentada por la práctica, los rumores o sus intuiciones; adivina y ruega el cielo y, después, no entiende por qué su proyecto fue bien o mal evaluado); ii) quien evalúa el proyecto no sabe a qué prestar atención ni qué criterios seguir para realizar la evaluación (es decir, inventa o improvisa) y iii) no es posible justificar la evaluación (a no ser remitiéndose a un decálogo oscuro e idiosincrático de requisitos). La injusticia es manifiesta. Por ello, en este documento hago explícitos los aspectos a los que suele prestarse atención y los criterios que suelen emplearse para evaluarlos. Aunque lo parezca por el frecuente uso de la familia de palabras de deber en este texto, no pretendo cerrar el debate acerca de la evaluación de proyectos ni expedir una receta del tipo Los 7 hábitos de la gente altamente efectiva. Al contrario, todo lo que aquí digo es objeto de debate, por lo que sugiero al/a la lector/a que imagine, antes de cada afirmación, un «Yo creo que». Así, en lugar de fijar una práctica («Esto se hace así») pretendo acercarme a la idea de «truco» (Becker, 1998/2010, p. 17; para una introducción, ver Bassi, 2015, p. 208 y ss.): «Cuando me he enfrentado a problemas como éste, me ha resultado útil hacer esto. Mira si te sirve». Cuestiones generales Antes de pasar a las cuestiones técnicas (si es que existe tal cosa), algunos comentarios respecto de la disposición con la que creo que debe enfrentarse la evaluación de un proyecto de investigación. i) Evaluar un proyecto no es forzar a otro/a a que haga la investigación que uno/a haría. Es muy común que quienes evalúan —consciente o inconscientemente— «lleven agua para su molino» en lugar de tratar de entender qué es lo que quien presenta el proyecto está intentando hacer. Por ello, la habilidad básica para evaluar no es el savoir faire sino la empatía: se trata de ponerse en el lugar del/de la otro/a y ayudarlo/a desde ahí (lo que bien podría ir, en cierto caso, contra nuestros valores o posición epistemológica, teórica y/o política). Se espera de un proyecto que sea internamente consistente (volveré a esto luego), no que conforme a todo el mundo (un objetivo inalcanzable dado que deriva de suponer que la ciencia es una práctica aconflictiva por lo que, a priori, todas las controversias serían zanjables). ii) El propósito de una evaluación no es primariamente poner una calificación o aceptar o rechazar un proyecto. La palabra evaluación desorienta: pareciera que lo más importante es asignar un número a un proyecto o decidir si «pasa» o no. Si bien casi siempre es ése el resultado de una evaluación concreta, no es ése su objetivo central en el sentido cósmico‐místico del universo tántrico, más que nada, porque una mala evaluación no transformará a una persona (o equipo de investigación) en otra (aunque sí la privará de cierto beneficio). Lo esperable es que quien presenta sin éxito un proyecto siga preocupado/a por las mismas cosas y que sus intereses y fidelidades epistemológicas, teóricas y políticas no cambien en lo esencial (al menos, no bruscamente o que sea Joseph Stiglitz). Por ello, lo más importante es que la evaluación sirva para que el proyecto mejore (según lo que mejorar signifique en la comunidad de referencia) y la persona aprenda. Así, son mucho más relevantes las observaciones cualitativas, detalladas y orientadas a la mejora, que los números, los tachones y los signos de pregunta (que operan como «castigos» a los que es más difícil encontrar sentido). iii) La crueldad jamás produjo nada bueno. Volviendo al valor de la empatía, mi máxima es ésta: «Evalúa el proyecto como te gustaría que evaluaran el tuyo». En ocasiones la evaluación se hace anónimamente y/o en el contexto de relaciones desiguales en términos de poder (como docente/estudiante). Eso, entre otras cosas (como no haber sido testigo del trabajo que produjo el proyecto y cierto goce exultante derivado de trazar líneas rojas después de haber bebido demasiado café), facilita que quienes evalúan proyectos hagan gala de un principismo, un nivel de exigencia y una puntillosidad que jamás aplican a su propio trabajo. Así las cosas, insisto: recomiendo evaluar poniéndose en el lugar del/de la otro/a y no de un ser superior enviado a la Tierra para desfacer entuertos. Ilustración de Pablo Hernández Cuestiones de procedimiento En la medida en que hay cierto acuerdo respecto de lo exigible a un proyecto, no es tan difícil precisar aquello a lo que ha de prestarse atención y con qué criterios evaluarlo. En lo esencial e independientemente de ciertas diferencias, un proyecto de investigación se compone de tres elementos: i) La formulación del problema (FP) (problematización, pregunta, objetivo general, objetivos específicos y relevancia) ii) El marco teórico (MT) iii) El marco metodológico (MM) Cada uno de estos elementos responde a diversas preguntas: i) La FP: qué se quiere saber (pregunta y objetivos) y relevancia (por qué vale la pena tomarse el trabajo de averiguarlo). ii) El MT: desde qué punto de vista teórico se entiende el problema de investigación construido y presentado en la FP. iii) El MM: cómo se averiguará lo que se quiere saber. Estos tres elementos se materializan en más o menos apartados de un proyecto. Aquí seguiré los que propongo en el libro que publiqué en 2015 y he citado antes: Formulación de proyectos de tesis en ciencias sociales. Manual de supervivencia para estudiantes de pre‐ y posgrado. Aconsejo revisarlo ya que, en buena medida, lo que digo aquí depende de lo que allí planteo como requisitos para cada apartado. Finalmente y dado que un proyecto tiene (o debería tener) una secuencia lógica discernible, iré presentando cada apartado en el orden en que suelen encontrarse en un proyecto (y que yo sigo en el manual). Concretamente, aconsejo evaluar cada apartado y realizar apreciaciones generales al final. La fundamentación o problematización (en adelante, problematización) La problematización es una serie de elemento teóricos y contextuales que, en su conjunto, construyen el problema de investigación y «llevan» a la pregunta. Su función es «hacer aparecer» o mostrar el problema de investigación y «llevar» a la pregunta. Los criterios para evaluarla son: i) Pertinencia: los elementos presentados deben contribuir a construir el problema, es decir, ser relevantes a ese fin (a diferencia de estar por estar o no estar relacionados con el problema, en cuyo caso se trataría de elementos no pertinentes). Por ejemplo, si quiero conocer la experiencia de mujeres en puestos de trabajo tradicionalmente ocupados por hombres, sería pertinente que trate los roles de género y los cambios operados en ellos, mientras que no sería pertinente que hable del aumento de la expectativa de vida en los países no desarrollados. En este último caso, podría cuestionarse el rol de ese elemento en la construcción del problema y hacerse notar que, si se quitara, la construcción del problema de investigación no se vería afectada (señal de que estaba por estar). Así, lo que se evalúa es si los elementos presentados son o no pertinentes. ii) Suficiencia: la suficiencia alude a que, además de pertinentes, los elementos presentados deben acabar de construir el problema o, lo que es lo mismo, no deben faltar elementos para comprender por qué el problema de investigación es un problema de investigación. En este caso, se evalúa que la fundamentación esté «completa», por así decirlo. Siguiendo el ejemplo anterior, la fundamentación sería insuficiente si, además de los roles de género, no se tratara la división por géneros de ciertos puestos de trabajo. En efecto, si no se aborda ese tema, no queda claro por qué interesa la experiencia de mujeres en puestos «de hombres». En ese caso, la problematización sería insuficiente. iii) Jerarquización: la jerarquización alude al orden en que son presentados los elementos. En la medida en que la problematización «lleva» a la pregunta es de esperar que esté organizada según un orden lógico discernible (que yo considero argumentativo). Así, los elementos deberían ir de lo general a lo particular y de lo teórico a lo contextual. Retomando el ejemplo, diría que roles de género es un elemento más general que división por géneros de ciertos puestos de trabajo (que podría considerarse un área de manifestación de aquello). Por tanto, lo que aquí se evalúa es si la problematización muestra o no un orden lógico. iv) Que la problematización «lleve» a la pregunta: suelo decir que la problematización es un acto de manipulación. Si está bien lograda, quien lee se siente llevado/a inexorablemente a la pregunta (como en una historia bien contada). Lo deseable es que, al llegar a la pregunta, quien evalúa piense: «Exacto. Ésa es la pregunta». Si, al contrario, no entiende «de dónde salió la pregunta» (o partes de ella) es porque la problematización no ha construido el problema de investigación y, así, la pregunta aparece como infundada. La forma concreta de evaluar esto es constatar que 1) en la pregunta aparezcan los elementos básicos de la problematización y 2) en la pregunta no haya nada que no esté en la problematización. Lo primero es indicación de que la problematización construye el problema, lo segundo de que en el problema hay elementos no tratados en la problematización y que, por ello, «aparecen de forma brusca» en la pregunta. Siguiendo con el ejemplo, es esperable que en la pregunta aparezcan mencionados los roles de género, los puestos de trabajo tradicionalmente ocupados por hombres y las mujeres que ahora los ocupan, como sucede en «¿Cuáles son las narrativas de mujeres de la ciudad X que se desempeñan en puestos de trabajo tradicionalmente ocupados por hombres?». De este modo, no sería apropiada la pregunta «¿Cuáles son las narrativas de mujeres adolescentes de la ciudad X que se desempeñan en puestos de trabajo tradicionalmente ocupados por hombres?», en la medida en que la adolescencia no se presentó como parte del problema de investigación. Si lo es, ¿por qué no aparece en la problematización? ¿Qué rol juega la adolescencia en el problema de investigación? ¿Es una de sus dimensiones constituyentes? ¿Cómo se relaciona la adolescencia con los otros elementos presentados (roles de género y mundo del trabajo «cruzado» por el género)? En definitiva, aquí se evalúa la relación entre problematización y pregunta y debe observarse si la problematización «lleva» o no a la pregunta (y, en caso negativo, detallar qué elemento tratado en la problematización sobra o falta en la pregunta). v) Calidad de las fuentes: si se entiende la problematización como una argumentación, la calidad de las fuentes es fundamental. Una problematización, suelo decir, es tan buena como las fuentes en que se apoya. Aquí puede prestarse atención dos aspectos: 1) la validez académica y 2) la actualidad. Respecto de la validez académica: en una investigación no pueden (no deberían) utilizarse autores/as «del montón» (que comentan o resumen a autores/as fundamentales, como sucede en tesis, monografías, introducciones, presentaciones de PowerPoint con fondo de delfines, etc.), obras de escaso valor (textos secundarios, que aportan pero no son fundamentales) y/o documentos provenientes de páginas de dudoso pelaje (del tipo www.elrincondelvago.com o www.buenastareas.com). Al contrario, es de esperar que se identifique a los/as que suelo llamar «machos/hembras alfa» del tema del que se trate (que nunca son muchos/as), las obras de referencia (lo que llamo el «núcleo duro» de textos) y se obtenga el material de fuentes académicamente válidas (libros comúnmente aceptados como nodales y publicados por editoriales serias y publicaciones periódicas rigurosas). No es que no sea posible —o útil— utilizar una tesis o un libro introductorio (yo suelo hacerlo cuando desconozco por completo un tema), pero es esperable que se llegue a través de ellos al «núcleo duro» al que me referí, particularmente si los textos de ese núcleo están disponibles. En este sentido sería una debilidad, por ejemplo, realizar una investigación con una perspectiva marxiana sin utilizar, al menos, algunas obras originales de Marx. La cuestión de la actualidad es más problemática. Algunos/as autores/as y docentes definen un periodo de tiempo: «Los textos empleados no pueden tener más de 10 años de antigüedad». Por mi parte, prefiero no ser tan tajante (y arbitrario). Diría que es esperable que, en su conjunto, las referencias utilizadas combinen relevancia (el «núcleo duro» que, en Filosofía, por ejemplo, bien podría tener 2.500 años de antigüedad) y actualidad (la discusión que siguió a las teorías o conceptos originales y que, habitualmente, se encuentra en libros que brindan panorámicas o discuten aspectos específicos de una teoría o en revistas académicas). Lo que no podría pasar, retomando el ejemplo, es que se cite a Marx… y nada más. Mucho se han discutido las ideas marxianas (Escuela de Frankfurt, perspectivas críticas latinoamericanas, etc.) y sería extraño que se haga caso omiso de esa discusión. En resumen, respecto de las fuentes se evalúa su «pedigrí académico» y su actualidad. Por tanto, al evaluar, puede observarse que el material empleado es (o no) académicamente válido, actualizado, proveniente de fuentes confiables, esencial («el núcleo duro»), suficiente, etc. La pregunta La pregunta es la «representación lingüística» del problema de investigación (no es el problema de investigación). Por tanto, la pregunta debería contener los elementos constitutivos del problema y fijar de forma (muy) resumida qué es lo que se quiere saber. Por ello, suelo decir que la pregunta es «densa»: la constituyen elementos (puntas de iceberg) que remiten a posiciones epistemológicas, teorías y métodos (cuerpos de iceberg). En algún sentido, la pregunta casi resume la investigación entera (de hecho, yo suelo espiarla al empezar a leer un proyecto para ver «de qué estamos hablando»). Conceptos como Estado, TIC o discurso aluden a campos teórico‐metodológicos muy amplios que, en la pregunta, sólo operan como indicaciones hacia otras partes del proyecto. Por ejemplo y siguiendo estos conceptos, es esperable que, en el marco teórico y/o en la fundamentación aparezcan tratados con cierto detalle los conceptos de Estado y TIC y que, del mismo modo, se explicite, en el marco metodológico, qué noción se tiene de discurso y cómo se hace para conocer tal cosa. Pero, en la pregunta, insisto, sólo aparecen (y nunca deberían aparecer por aparecer). No me detendré en los requisitos formales porque están ampliamente detallados (y problematizados) en el manual (Bassi, 2015, pp. 297‐312). Sólo los mencionaré sin matices (que los hay) y diré que es esperable que la pregunta los cumpla. La pregunta debe: i) Ser una. ii) Iniciarse con un modalizador que «abra» un campo de respuesta: qué, cuál, cuáles, ocasionalmente cómo, casi nunca dónde o cuándo. iii) No ser cerrada, es decir, no poder contestarse con sí o no (las preguntas cerradas «cierran» un campo de respuesta). iv) Contener los elementos centrales tratados en la problematización (es decir, la pregunta debe derivarse de la fundamentación). v) Muy relacionado con lo anterior, no contener nada que no esté en la problematización. vi) Contener un constructo mediador (como prácticas, relación, discurso, narrativas, significado, etc.). vii) Contener lo que Sautu, Boniolo, Dalle y Elbert (2005) llaman el «recorte espacio‐ temporal» (p. 36). Toda investigación se realiza en un lugar y un momento y aborda una serie limitada de asuntos mediante unos recursos metodológicos de cierto alcance. Es bueno confesarlos para que no parezca que se pretende realizar la investigación sobre todos los hombres y todas las mujeres en el no‐lugar del sin‐ tiempo). viii) Ser breve. Una pregunta de tres líneas o más casi seguro contiene ripio, según decía Borges de las novelas, y puede abreviarse. ix) Ser hermosa. La pregunta no emerge automáticamente de la problematización: como todo lo demás en un proyecto, se construye, y puede construirse de diversas formas, unas menos repetitivas y cacofónicas que otras, unas más simples y hermosas que otras. A fines de una evaluación, cualquiera de estas cosas puede comentarse e, idealmente, pueden sugerirse alternativas. El objetivo general En este punto sigo a Sautu, Dalle, Boniolo y Elbert (2005), quienes no establecen ninguna diferencia esencial entre la pregunta y el objetivo general. Así, se trata de una simple traducción: se reemplaza el modalizador y el verbo (por ejemplo, «cuáles son») por un verbo en infinitivo y se mantiene el resto de la formulación de la pregunta (por lo que si la pregunta tiene problemas, el objetivo los arrastrará). El verbo en infinitivo debe cumplir algunos requisitos: i) Debe ser posible cumplirlo: no puede tratarse de un objetivo trascendental («Describir las alas de los ángeles») ni imposible de lograr con los medios con que se cuenta («Conocer el discurso de todas las mujeres acerca de […]»). Esto alude, evidentemente, a la viabilidad del proyecto. ii) Debe constituir «el fin de un trayecto» y no un medio: entiendo (muy discutiblemente) que verbos como analizar o reflexionar constituyen medios para describir o establecer. Así, cuando ese objetivo es alcanzado, la investigación termina (que de eso se trata todo este asunto). iii) Debe ser de tipo cognoscitivo (al menos si se asume que la tarea de la ciencia no es cambiar el mundo sino conocerlo y contar cómo es, lo cual es mucho asumir): conocer, establecer, determinar, precisar, describir, proponer, explicar, cuestionar, comparar, identificar, caracterizar, comprobar, etc. iv) Por lo demás y en la medida en que el objetivo «sigue» a la pregunta, debería cumplir los mismos requisitos y no tener nada que aquélla no tenga o carecer de algo que aquélla tenga. Respecto del objetivo, entonces, pueden evaluarse estos aspectos y, dado lo discutible de los criterios, sugiero mantener la orientación a la mejora que comenté antes (en lugar de sentenciar «Este verbo no es correcto» o cosas así). Los objetivos específicos Los objetivos específicos, justamente, especifican (o, para no redundar, detallan) el general. Precisan aquello que está tácitamente, pero dado su grado de abstracción, no explícitamente en el objetivo general. Algunos puntos a evaluar: i) Por lo dicho, los objetivos específicos no deben «desbordar» el general, es decir, contener algo que no esté tácitamente en él. Por ejemplo, si el objetivo general es «Conocer el discurso del periódico La Nación acerca de la despenalización del aborto durante el año 2018», uno de los objetivos específicos no puede ser «Comparar el discurso acerca de la despenalización del aborto del periódico La Nación con el del periódico Página 12 durante el año 2018». Espero que se vea que «comparar» no estaba en ningún sentido en el objetivo general y, por tanto, lo «desborda». Dicho de otro modo, «comparar» no estaba en ningún grado de abstracción en el objetivo general y es, por tanto, otro objetivo (que remite a una investigación diferente). ii) Los objetivos específicos no deben repetir el general. Es bastante común que esto pase, aunque con palabras diferentes a las usadas en el general. Siguiendo el ejemplo, «Conocer la posición del periódico La Nación acerca de la despenalización del aborto durante el año 2018». Es más, si quien propone el proyecto tiene una ensalada importante en la cabeza, uno de los objetivos específicos es, en realidad, el general. iii) Los objetivos específicos (y esto es algo disputado) no son los pasos de la investigación. Así, retomando el ejemplo, los objetivos específicos no podrían ser «Seleccionar editoriales del periódico La Nación que aborden la despenalización del aborto […]», «Analizar […]», «Presentar los resultados […]», etc. Ésos son pasos. Volviendo a lo dicho al principio de este apartado, los objetivos específicos deberían, en este caso, precisar qué dimensiones del discurso acerca de la despenalización del aborto interesa conocer (como el posicionamiento ético, el rol asignado a la experiencia internacional o a principios religiosos, las nociones acerca de qué es la vida y cuándo comienza, etc.). Todo eso, a priori, puede pensarse como parte del discurso acerca de la despenalización del aborto (algo que la investigación empírica corroborará o no). iv) En cuanto a los criterios formales, en algunos casos, los objetivos específicos siguen la formulación del general (continuando el ejemplo, «Describir el discurso del periódico La Nación acerca del comienzo de la vida durante el año 2018»). Si queda un poco raro (como en este caso) o la formulación se vuelve farragosa, los objetivos pueden ser más breves («Describir la posición del periódico La Nación respecto del comienzo de la vida»). La relevancia o justificación La relevancia o justificación (en adelante, relevancia) es el apartado en el que, suelo decir, se «vende el pescado». Más formalmente, es el apartado en el que se argumenta la necesidad, valor, importancia, etc. de hacer la investigación propuesta. Es un apartado de carácter claramente argumentativo. Proviene del hecho —no pertinente en todos los contextos (como las universidades)— de que quien presenta el proyecto debe procurar convencer a quien va a financiarlo de que volverse más pobre valdrá la pena (objetivo difícil donde los haya). He tratado el tema con detalle en el manual (Bassi, 2015, pp. 328‐346), por lo que sólo mencionaré algunos aspectos a los que prestar atención al evaluar: i) Hay algunos argumentos típicos: que el problema no ha sido investigado (el argumento dorado); que el problema no ha sido investigado así; que el problema no ha sido investigado aquí; que el proyecto contribuirá a solucionar un problema práctico, a desarrollar alguna herramienta metodológica o a llenar una laguna teórica; que el proyecto aborda un problema de relevancia social; etc. Con todo, los argumentos por sí mismos no pueden ser juzgados: importa su relación con el problema de investigación. Trato el punto a continuación. ii) La relevancia debe contener argumentos pertinentes, es decir, razonablemente derivables del cumplimiento de los objetivos de la investigación. Por ello, no serían correctos los argumentos maximalistas («Esta investigación cambiará todo para siempre»), difícilmente alcanzables («Esta investigación mejorará la educación del país») o inverificables («Esta investigación aumentará el rendimiento de los/as estudiantes en un 20% en 25 años»). iii) Los argumentos deben estar fundamentados. Por ejemplo, si se anuncia que existe abundante investigación en base a modelos cuantitativos acerca de un tema (el argumento), inmediatamente después debe aparecer la fundamentación, es decir, el apoyo en fuentes académicamente válidas de dicho argumento. Si no, puede mencionarse que el argumento, siendo pertinente, no está fundado. iv) Retomando parte de lo dicho: una fundamentación es tan sólida como sus fuentes. Si las fuentes no son académicamente válidas (en el sentido que comenté al hablar de la problematización), la fundamentación es débil (aunque el argumento sea pertinente). Aquí puede observarse, por ejemplo, que las fuentes no son propias de un trabajo académico por las razones que sea. v) Esto debe tomarse con cuidado, pero los argumentos deberían ser entre tres y cinco. No sé por qué, pero menos parece debilitar la argumentación y más parece indicar que podrían sintetizarse o que quien compuso el proyecto cree que va a salvar el mundo. No tengo más fundamento para mi argumento que mencionar que el tres y el cinco son números muy bonitos. vi) El argumento de que se trate debería mencionarse claramente —en la forma de una afirmación— al principio de un párrafo: «Esta investigación contribuirá a generar conocimiento sobre un tema al que se ha prestado relativamente poca atención en nuestro contexto»). El resto del párrafo debería estar destinado a fundamentar dicha afirmación. Así, debería haber un argumento con su fundamentación por párrafo. De este modo, al evaluar, puede comentarse si estos requisitos son cumplidos o no y hacer sugerencias de mejora (como preguntar qué más tiene «de bueno» la investigación —por ahí merodea la relevancia— o sugerir aumentar la calidad de las fuentes o la simpleza en el armado de los párrafos de manera que no haya que hacer un gran esfuerzo para encontrar o entender el argumento esgrimido. El marco teórico El MT constituye una mirada acerca del problema de investigación. «Una» porque, en ciencias sociales, hay diversas formas de concebir un asunto (yo diría que las diversas concepciones son asuntos diferentes y no el mismo asunto visto de distinta forma, pero eso es otro tema). Como fuere, el MT no es un muestrario de teorías ni un estado del arte. «Mirada» porque el MT no es un collage, una seguidilla o una yuxtaposición de teorías y conceptos sino una Gestalt, una estructura con sentido, una serie de elementos relacionados. Diría que es ése el primer aspecto a evaluar: ¿construye el MT una mirada integrada sobre el problema de investigación o es un collage de teorías inconexas? Por otra parte, aplican los tres criterios que mencioné para la problematización pertinencia, suficiencia y jerarquización, con la excepción de que en el MT no debe haber elementos contextuales sino sólo teóricos y de que lo que se evalúa es si los diversos conceptos y teorías contribuyen a construir esa «mirada» (pertinencia), si «acaban» de construirla (suficiencia) y si están ordenados de lo general a lo particular (jerarquización). En cualquier caso y muy relacionado con el primer punto, el criterio fundamental en este caso es el de consistencia interna: el MT no puede contener elementos contradictorios —epistemológica, teórica y hasta políticamente—. Por ejemplo, sería contradictorio que una tesis en Educación en la que se asuma una posición constructivista del aprendizaje emplee —sin criticarlos o matizarlos— conceptos conductistas (como el de refuerzo). Adicionalmente: i) Para el MT aplican los mismos criterios que para la problematización o la relevancia respecto de las fuentes: deben ser académicamente válidas y estar actualizadas. ii) El MT no debe responder a la pregunta (algo bastante común que llama a la pregunta: «Y, entonces, para qué hacer esta investigación?»). Suelo decir que el MT termina donde la pregunta empieza, es decir, da el marco de comprensión, pero no contesta lo que se ha dicho que se quiere averiguar. Si no, la investigación implosiona y se convierte en Diego Maradona. Según lo dicho, al evaluar debe observarse, como mínimo, que el MT constituya una mirada integrada del problema de investigación; que cumpla los criterios de pertinencia, suficiencia y jerarquización y que esté apoyado en fuentes académicamente válidas. El marco metodológico Como dije antes, se trata del cómo del qué y, por tanto, el principal criterio para evaluarlo es que, globalmente, sea capaz de dar respuesta a la pregunta. Esto puede no cumplirse por diversas razones: porque el MM es imposible de llevar a cabo (por ejemplo, si se propone una cantidad de observaciones o entrevistas que quien propone el proyecto no puede realizar con los recursos con los que cuenta), porque algún elemento del MM no puede dar cuenta de lo que se pretende averiguar (por ejemplo, si se sugiere utilizar la observación para conocer discurso o la entrevista semiestructurada para conocer relatos o narrativas), porque el MM está incompleto o es impreciso, porque el MM no se apoya en fuentes académicamente válidas, etc. Para un detalle, ver el manual (Bassi, 2015, pp. 370‐424). Algunos puntos adicionales: i) En el manual propongo un MM de nueve puntos (que aquí sólo listaré): perspectiva epistemológica, tipo de investigación, definición de variables e hipótesis (sólo para modelos cuantitativos), método, muestra/unidades de información, técnica/s de recogida/construcción de información, técnica/s de análisis de información, procedimiento, aspectos éticos y carta Gantt (o calendarización de actividades). ii) El MM no es un marco teórico de metodología sino que tiene un carácter enunciativo. Es decir, se debería mencionar cada opción (por ejemplo, la etnografía, la entrevista semiestructurada o el análisis de contenido), explicar muy brevemente qué es en base a alguna fuente académicamente válida y explicar por qué es pertinente para lo que se quiere hacer (es decir, justificar su pertinencia). En resumen, se evalúa: la capacidad global del MM de responder a la pregunta (en el planeta Tierra y con los recursos con que cuenta quien elaboró el proyecto) y, específicamente, que cada elemento sea pertinente (es decir, contribuya a dar respuesta a la pregunta), esté explicado en base a fuentes académicamente válidas y esté justificado de forma razonable. Ilustración de Pablo Hernández Aspectos globales Hasta aquí he mencionado elementos que deberían ser evaluados de forma individual y con criterios específicos. Pero un proyecto no es un rejunte de esos elementos. Es, como dije respecto del MT, una Gestalt. Por tanto, al comentario hecho (y probable puntaje asignado) a cada elemento, aconsejo agregar una visión de conjunto. Yo suelo hacerlo al terminar con el detalle, en un par de párrafos finales (en los que trato de levantar el ánimo que contribuí a bajar con mis comentarios y resumir lo más destacado). En esas líneas pueden mencionarse impresiones generales, incluidas algunas muy personales: si el proyecto es interesante o atractivo, si se propone abordar un problema socialmente relevante o clave para una disciplina, si es original en su enfoque metodológico, forma de escritura u otro aspecto, etc.; pero también otras más formales como la consistencia interna y los aspectos de forma. i) La consistencia interna, como comenté, es la armonía o coherencia (epistemológica, teórica y política) entre diversos elementos, en este caso, del proyecto completo. Quien evalúa no sabe esto hasta el final, por lo que recomiendo hacer observaciones al respecto una vez leído todo el texto. Al respecto, puede comentarse que hay coherencia o incoherencia —epistemológica, teórica o política— entre dos o más elementos del proyecto y detallar en qué consiste. ii) Los aspectos de forma —en oposición a los de contenido, que son los que, mayormente, he tratado hasta aquí— suelen ser explícitos (quizás porque es más simple ponerse de acuerdo al respecto). Incluyen: extensión mínima y máxima de del proyecto (o de sus elementos), apartados exigidos, información de la portada, tipo y tamaño de letra, interlineado y justificado del texto, forma de numeración de las páginas, cantidad de subniveles de subtítulos, escritura (uso de voz pasiva o activa, ortografía, gramática, redacción, tratamiento del género, margen para las licencias poéticas o las formas contranormativas de escritura, etc.), normas de citación y referenciación, etc. Aquí no hay cómo perderse: el proyecto cumple o no con los requisitos y es relativamente simple darse cuenta y justificar las observaciones. Así, puede comentarse, por ejemplo, que el proyecto no está citado y/o referenciado acorde a normas APA (si correspondieran), que la redacción es confusa o que el proyecto es demasiado largo. Palabras finales Querría cerrar diciendo que, con independencia de la utilidad de esta guía u otras, a evaluar proyectos se aprende… evaluando proyectos. No hay trucos ni atajos. Con la práctica la tarea se hace cada vez más simple (casi automática), los «errores» saltan a la vista y uno va encontrando su estilo de evaluación. Por ello, mi recomendación no es técnica (que se aprende) sino disposicional (que algunos/as no hay forma que aprendan): encarar la tarea con la voluntad de entender lo que quien presentó el proyecto pretende, hacer la tarea con respeto (lo que significa, como mínimo, destinarle atención y tiempo y, por último, realizar una devolución orientada a la mejora del proyecto. Espero que esta guía les sea de utilidad. Referencias Bassi, J. (2015). Formulación de proyectos de tesis en ciencias sociales. Manual de supervivencia para estudiantes de pre‐ y posgrado. Santiago de Chile: Facultad de ciencias sociales. Universidad de Chile/El Buen Aire. Sautu, R.; Boniolo, P.; Dalle, P. y Elbert, R. (2005). Manual de metodología. Buenos Aires: CLACSO. Becker, H. (1998/2010). Trucos del oficio. Cómo conducir su investigación en ciencias sociales. Buenos Aires: Siglo XXI.