jueves, 5 de diciembre de 2013

¿Quién define los criterios de evaluación de la investigación en ciencias sociales en Uruguay?

En el Sistema Nacional de Investigadores (SNI) se han registrado y evaluado poco más de 1.600 investigadores, 1382 de ellos activos1, y para 2013, se prevé una ejecución de USD 6.800.000 en el SNI2. Todos los indicadores muestran que la investigación científica en Uruguay ha aumentado y que un aspecto central de ello es el aumento en el número de investigadores. Así como también, la posibilidad creciente que tienen, no sólo por la existencia del SNI, de dedicarse a la investigación. No obstante, más allá de que estos datos son alentadores aun son necesarios muchos más investigadores para que la ciencia, la tecnología e innovación (CTI) contribuyan de manera sustantiva al desarrollo económico y cultural en Uruguay3.

Hay muchos aspectos para debatir sobre este punto, desde la forma de organización de la investigación, la estructura de gobernanza para las políticas de CTI, los instrumentos para promover la investigación y la innovación, la articulación de la agenda de investigación con las necesidades sociales y productivas, y así podría seguir enumerando al menos una decena de temas de similar relevancia. Entre esos temas, está la discusión sobre los mecanismos de evaluación de la investigación científica.

El SNI es un sistema de promoción y estímulo de la investigación. El objetivo básico es promover la investigación, y estimular la dedicación intensiva a esa actividad, en el entendido que la generación de conocimiento mediante la investigación científica y tecnológica es un recurso básico para el desarrollo nacional. Hay dos mecanismos de estímulo para los investigadores registrados en el sistema. Uno económico, que no reemplaza la principal fuente de ingresos de los investigadores, pero que otorga un monto no despreciable todos los meses. Otro, probablemente más importante para la mayoría de los investigadores, consiste en un estímulo simbólico, el SNI otorga -aunque cuestionado por algunos investigadores- una suerte de "carta de ciudadanía". Estar registrado en el sistema supone ser ciudadano de una comunidad que se distingue porque se dedica a la investigación científica y académica. 

El sistema funciona desde 2008 mediante convocatorias periódicas, en las que se evalúa a quienes se presentan, se los acepta o rechaza, y en caso de ser aceptados se los categoriza, a los investigadores activos, según cuatro niveles. Los evaluadores son investigadores categorizados en los niveles más altos del sistema. En el caso de las ciencias sociales, hay 282 investigadores categorizados. Es la segunda área en número de investigadores, luego de las ciencias naturales, y representa a algo más del 20% del total de investigadores activos. El área de ciencias sociales del SNI abarca las disciplinas de Economía, Sociología, Ciencia Política, Antropología, Historia Económica, algunas ramas de la Psicología y otras ciencias sociales. 
Hace poco cerró una nueva convocatoria a todas las áreas del SNI que incluía la evaluación para la renovación de la mayoría de los investigadores activos. Por mera casualidad no me tocaba a mi ser evaluado, lo cual me llevó a conversar y tratar de ayudar a varios colegas de una manera más descontraída que si hubiese estado revisando el engorroso formato del Curriculum Vitae, CVuy. En eso volví a percibir algo que vengo notando desde que regresé a Uruguay, los investigadores en ciencias sociales, en su mayoría, no tienen idea clara de cuáles son los criterios por los que se los evalúa. A su vez,  una mayoría más amplia no tienen idea de quién ni cómo fija esos criterios, por ende, no participan en la elaboración de criterios de evaluación para el SNI.

En lo que sigue voy a tratar de fundamentar las afirmaciones anteriores y de entender por qué ocurre esto para destacar que, una comunidad de investigación que no participa en la elaboración de los criterios de evaluación de su trabajo genera problemas de validez y de efectividad para los objetivos del sistema y para el desarrollo de la propia comunidad.

i- No es la ANII sos vos (yo)

Una primera confusión importante es asociar el SNI, y sus criterios de evaluación y categorización, con la Agencia Nacional de Investigación e Innovación (ANII). El SNI está a cargo de una Comisión Honoraria designada específicamente para tales fines y su funcionamiento está determinado por el reglamento aprobado en oportunidad de su creación. La ANII no hace más que gestionar la membresía -acceso remoto al Portal Timbó, firma de contratos, etc.- y  administrar los fondos. Esto es sin duda muy importante, imprescindible, ya que ningún sistema de incentivos funciona sin que cuente con un aparato de administración. Pero el directorio de la ANII sólo aprueba las resoluciones del SNI como un trámite administrativo, no tiene competencia alguna en los criterios que fundamentan sus resoluciones. Eso no es nada novedoso, el SNI está basado en el principio de gobierno y evaluación de la investigación más extendido desde la segunda mitad del siglo XX: la creación de una comunidad científica ("república de la ciencia") que define por sí misma los requisitos que debe cumplir quien la integra (revisión por pares).

ii- Revisión por pares: legitimidad y eficacia

La revisión por pares que, con infinitos problemas, es a mi juicio el mejor mecanismo que se ha creado para la evaluación de la investigación académica, precisa de al menos dos elementos básicos para funcionar. En primer lugar, contar con legitimidad dentro de la comunidad académica, como ocurre con cualquier sistema de gobernanza. En segundo lugar, ser eficaz. En la medida que el sistema de evaluación ofrezca a los miembros un criterio claro de qué se evalúa y cómo, y esos criterios sean reconocidos como válidos para la carrera de investigación, el sistema ganará en legitimidad. A su vez, si esos criterios operan como incentivos para los investigadores, la legitimidad se verá reforzada por la eficacia, ya que los investigadores que cumplan con las expectativas - por ejemplo publicar en revistas de alto impacto, formar nuevos investigadores, dirigir proyectos- serán premiados de acuerdo a las normas del sistema.

La revisión por pares no es condición suficiente, pero es una fuente de legitimidad y eficiencia  que además le da calidad al sistema5.  No obstante, tanto la legitimidad como la eficacia y la calidad, serán cuestionadas si los criterios de evaluación no son claros y nadie sabe quien los fija. Este es un problema de la comunidad de investigadores en ciencias sociales en Uruguay, no los es, me consta, en otras, como la de ciencias naturales, la más numerosa en Uruguay.

iii - La ciudadanía implica derechos y responsabilidades

Debe haber pocos lugares comunes tan habituales como el que elegí para el subtítulo. Pero, más allá de mi escasa creatividad, creo que es lo que corresponde. No puedo respaldarlo con datos, pero he participado en muchas reuniones, me han llegado cadenas de mails, he tenido charlas reales y virtuales que me hacen pensar que el SNI en ciencias sociales tiene problemas de legitimidad y de eficacia, producto del desconocimiento de parte de los investigadores sobre las reglas y procedimientos del sistema. Creo, a su vez, que para discutir y empezar a solucionar esos problemas se requiere que los "ciudadanos de las ciencias sociales" asumamos nuestras responsabilidades.

Esto no es otra cosa que discutir colectivamente cuáles son los criterios de evaluación y cómo se aplican. Los criterios generales están escritos en el reglamento del SNI, pero cómo se traducen a la evaluación concreta depende mucho del evaluador de turno, lo cual está bien y es parte de la lógica de evaluación por pares. En la medida que uno acepta ser evaluado por este tipo de procedimiento, acepta que un colega tiene la competencia para evaluar su trabajo y que en la evaluación tendrá un mínimo de discrecionalidad que es imprescindible para poder evaluar. Por ejemplo, si para poder acceder a un nivel determinado del sistema se requiere mostrar creación original de conocimiento de amplia difusión. ¿Eso cómo se traduce? ¿En uno, dos, diez artículos en revistas de impacto 0,5, 1, 1,5? ¿En 1, 2, 3 tesis orientadas?

Tomar esa decisión es siempre en parte competencia del evaluador que coyunturalmente actúa, pero si sólo es decisión de uno o varios evaluadores, y no se establecen criterios generales claros, se sobrecarga a los evaluadores de responsabilidad y se puede afectar los objetivos del sistema. En breve, creo que es necesario discutir o deliberar -no decidir ya que no pueden extraer decisiones vinculantes- sobre los criterios generales de evaluación y umbrales mínimos para cada categoría. Esto es competencia de todos los investigadores que componemos el sistema.

Contar con un sistema legítimo que sea eficaz en las señales que brinda ayudará a hacer mejor investigación. Eso no es tan importante para los investigadores de ciencias sociales que ya eran investigadores maduros cuando el SNI echó a andar. En esas generaciones, los incentivos a la formación y a la publicación en medios arbitrados no eran tan fuertes, no tiene demasiado sentido pensar que el SNI será eficaz en cambiar las prioridades de investigación en un investigador maduro6. Tampoco parece adecuado que para los investigadores jóvenes el SNI brinde señales para un sólo camino: ¿Sólo culminar el doctorado y publicar en revistas indexadas en ISI o Scopus es ser un investigador? Yo personalmente creo que esos son los requisitos básicos para ser un investigador, pero que también es imprescindible formar investigadores y dirigir actividades colectivas de investigación. Creo también que un investigador que genera sistemáticamente conocimiento original aplicado a necesidades locales, y evaluado por sistemas de referencia, debe ser tenido en cuenta.

En cualquier caso, todo esto debiera ser objeto de debate y de acuerdos temporarios siempre sujetos a revisión. De esa manera se podrá favorecer que todos nos orientemos por criterios generales conocidos, si deseamos seguir una carrera como investigadores, y que no podamos culpar a nadie de lo bueno o malo de esos criterios, porque participamos en la construcción de los mismos.

1 http://www.sni.org.uy/listado_de_investigadores
2 ANII (2013) Plan Operativo Anual 2013. Disponible en:
3 Sobre ese argumento ver la nota de Anibal Corti en este mismo blog, de fecha 12 de octubre de 2012.
4 El reglamento se puede consultar en: http://www.sni.org.uy/sites/default/files/reglamento_sni_vof.pdf
5 Sobre el mecanismo de revisión por pares y la calidad de la investigación, ver: Bohannon, J (2013) “Who's Afraid of Peer Review?”. Science. http://www.sciencemag.org/content/342/6154/60.summary
6 Desde luego, en esto hay excepciones, y la amplia mayoría de los investigadores que están en el nivel más alto, son investigadores de ciencias sociales con un amplio número de publicaciones.

1 comentario:

  1. Carlos: Esperaba que te refirieras a Uruguay, y no sólo al SNI. Realmente, los criterios de evaluación parecen no ser más opacos en el SNI que en la CSIC (por cierto más antigua en esto de evaluar investigación), o en la propia UdelaR. He participado en todos ellos. Y podría hablar de todos ellos. Desde esta experiencia, y aceptando tu invitación al debate, dejame que modifique tu pregunta: ¿A quién se le aplican qué criterios de evaluación, en qué institución, por qué circunstancias o características, con qué nivel de transparencia y publicidad y por quién? Saludos, Adriana Marrero

    ResponderEliminar