Por Jorge Agudo González

Quienes nos dedicamos a producir conocimientos que, con mayor o menor rigor, puedan ser calificados como científicos, nos enfrentamos al reto final de publicar nuestros trabajos. Lo lógico es querer publicar en una revista o editorial de prestigio bien calificada por los distintos rankings al uso, ya que esto amplifica la repercusión del trabajo. Conseguir la aprobación de la publicación en esas revistas y editoriales no es sencillo. En este contexto se pueden distinguir dos tipos de procesos usuales en Derecho.

El primero es propio de revistas o editoriales que siguen funcionando al modo tradicional. En estos casos el editor, el responsable de publicaciones y/o un grupo de personas de un consejo -con denominación variable- deciden qué se publica. No se puede decir que esa decisión se base en una evaluación profunda del original. Suelen influir más otros factores como quién es el autor/a. Un profesor con cierto prestigio publica sin grandes problemas. Pero cuando no es así, la decisión se basa en otras circunstancias como una intuición sobre el título o el tema, un buen índice o sumario y, quizás, una lectura rápida de algunas partes del texto. Este escrutinio aporta poco valor añadido y, desde luego, no se puede decir que suponga una evaluación real y efectiva. Cada vez son menos las revistas y editoriales que utilizan este método.

El segundo consiste en la revisión por pares –peer review-. En este caso, el original se somete a revisión por dos expertos que se pronuncian acerca de la solidez del estudio y, en caso de respuesta favorable, recomiendan su publicación, pudiendo sugerir cambios que deberían introducirse antes de iniciar el proceso de edición. Las condiciones en que esa revisión tiene lugar pueden variar, pero como se dirá más tarde, suelen realizarse evaluaciones ‘ciegas’, esto es, donde los evaluadores desconocen quién es el autor/a.

No me cabe duda de que un lector neutral encontrará que este segundo método es más razonable. De hecho, esa impresión se está generalizando en el mundo editorial. Cierto es, también es bueno decirlo, que las revistas que cumplen con este criterio -y otros que todos conocemos- tienen como recompensa mejorar en los rankings de revistas y editoriales científicas. Podríamos decir, por tanto, que la incorporación del método de revisión por pares también forma parte de una estrategia editorial y no necesariamente responde a la finalidad de hacer converger los parámetros de generación de conocimiento con los estándares de producción editorial.

Sea como sea, el peer review se ha ido afianzando. Esto, sin embargo, no puede ocultar sus inconvenientes. No siempre funciona bien; es más, yo diría que es bastante frecuente que no funcione bien. Hago esta afirmación desde mi experiencia como evaluado, pero también como evaluador en varias revistas y editoriales: mea culpa.

………..

Me decidí a pronunciarme sobre esta cuestión, cuando recibí hace unos meses una invitación para participar en un estudio sobre el tema. Estaba vinculado a un proyecto de investigación de nueve universidades europeas de Países Bajos, Gran Bretaña, Italia y Alemania, con participantes de 50 países -con 10 universidades por país-. Se nos preguntaba acerca del modo en que se realiza la revisión por pares en las distintas disciplinas de las ciencias sociales. Al leer las preguntas que tenía que responder, observé que los inconvenientes que yo había detectado -y sufrido- son comunes a todas las ciencias sociales y compartidos en muchos países. Esto me hizo reflexionar sobre el valor de la revisión por pares como método de evaluación de la producción científica.

Creo que coincidiremos en que, para que el peer review funcione adecuadamente, es necesario que se cumplan tres requisitos: anonimato, expertise e imparcialidad.

El anonimato es crucial. Cuando se envía un artículo a una revista o una propuesta de monografía a una editorial, el proceso de revisión suele ser -o debería ser- el denominado como ‘doble ciego‘: no se conoce quién evalúa y no se sabe quién es el evaluado.

Es fundamental que no se conozca quién va a evaluar el texto enviado, ya que saberlo podría disuadir la remisión de originales -si son personas demasiado rigurosas o porque existan conflictos de intereses- o bien, al contrario, podría fomentarlo -si los evaluadores son poco exigentes y, digámoslo así, ‘amigables’-. Esto último pasa, por ejemplo, cuando en alguna revista o editorial hay ‘grupos de confianza’ que se leen y citan entre ellos y que se evalúan, generalmente muy bien, entre sí.

Más importante aun es que los evaluadores no conozcan al evaluado. Guardar el anonimato no es tan sencillo. Por la temática, el estilo, las citas, algunas expresiones o referencias institucionales incluidas en el texto, etc., se puede descubrir quién es al autor. En otras ocasiones, los editores y responsables de las revistas dan a los evaluadores algunas ‘pistas’ sobre la autoría que pueden inducir a evaluaciones severas o también, al contrario, más favorables. Esto -como así me consta- en algunas editoriales y revistas pasa con cierta frecuencia, sobre todo allí donde existen esos círculos de confianza entre colegas bien avenidos y no se desea facilitar la llegada de “nuevos entrantes”. Por todo esto, lo deseable sería que el proceso de revisión fuera un proceso de triple anonimato – triple ciego– de forma que tampoco los editores o los responsables de publicaciones supieran quién envía el original.

El segundo dato fundamental es que los evaluadores sean elegidos entre expertos en la disciplina. Aquí es importante saber a quiénes se invita o se rechaza como evaluador. A priori lo razonable sería invitar a quienes gozan de cierto reconocimiento académico. Sin embargo, me temo que, en muchos casos, el dato clave es ser conocido del responsable de publicaciones o del propio editor. El recurso a los amigos puede deberse a que los profesores reconocidos suelan rechazar las invitaciones: quizá lo vean como una pérdida de tiempo o como un trabajo que no se corresponde con su estatus.

Con independencia de lo recién expuesto, hay que admitir que ser profesor de una disciplina no implica saber de todo o, al menos, tener un conocimiento intenso sobre cualquier aspecto de esa disciplina. Esto es una obviedad. Si al elegir a los evaluadores de un original, no se tiene en cuenta su bagaje investigador, puede suceder que se entregue la evaluación a personas que no conocen bien el tema y que, probablemente, hagan una evaluación poco intensa -porque lógicamente no pueden hablar de lo que no saben- o, aún peor, muy intensa -porque quieren dar a entender que saben de todo-.

Por fin, la tercera característica fundamental del evaluador es la imparcialidad. Esta exigencia, en realidad, englobaría a los dos anteriores: no se puede ser imparcial sin anonimato y sin ser un experto en aquello que se tiene que evaluar.

Los expertos deben ser miembros académicos de reconocida probidad. No creo que a priori haya profesores que puedan ser excluidos por este motivo. La mayoría de los sesgos que inducen a evaluaciones parciales no son apreciables ex ante, sino que surgen ex post, una vez que el evaluador conoce el texto a evaluar: cuando intuyo quién es el autor, cuando sé -o no- del tema, cuando el responsable de publicaciones o el editor me dice alguna ‘cosilla’, etc. La probidad se presume, pero no siempre infunde el ánimo de los evaluadores, aunque esto, he de aclararlo, suceda muchas veces de forma inconsciente. No hace falta llevar mucho tiempo de evaluador para adquirir sesgos. Los sesgos se incuban.

Uno muy grave es el sesgo del exceso de rigor. El evaluador que ‘todo lo sabe‘ o que ‘sabe más que nadie’. El evaluador que hace comentarios para demostrar lo mal que ha sido abordado metodológicamente el trabajo y que debería haberse hecho como a él se le ha ocurrido. El evaluador que hace una crítica de fondo porque no está de acuerdo con las conclusiones alcanzadas. En definitiva, es el prototipo del evaluador que nos dice cómo se tienen que hacer las cosas. El evaluador exigente no suele tener reparo en pronunciarse sobre casi cualquier tema y siempre es igualmente severo, aunque no conozca en profundidad la materia. El resultado puede ser que se reciban ‘malas’ evaluaciones con comentarios que lo que ponen de manifiesto es la ignorancia del evaluador, o bien que no ha entendido lo que ha leído. Esto supone un trabajo adicional para el autor que ha de refutar comentarios injustos y sin valor. Este tipo de evaluador, además, no es infrecuente que emplee un tono hiriente. Sólo esa persona sabe cómo se hacen las cosas, y todo lo que no responda a sus parámetros, no puede pasar el filtro. Cuando esto sucede, puede emplear afirmaciones desdeñosas y despectivas que van más allá de la neutralidad exigible.

También existe el sesgo contrario: el de la insuficiencia de rigor o del evaluador ‘flexible‘. No son infrecuentes los evaluadores que no se toman en serio y/o que no dedican tiempo suficiente a la evaluación. En ocasiones se reciben comentarios que dejan mucho que desear. Así pasa que se publica casi cualquier cosa. Hacer una evaluación lleva su tiempo y, cuando al evaluador le ha parecido que lo que ha leído no está tan mal, sale del paso tirando de tópicos y frases hechas o recurre a críticas que pueden dirigirse contra cualquier trabajo.

Un subtipo de evaluador flexible es el fácilmente impresionable que se deshace en elogios, normalmente excesivos incluso para el propio autor. En algunos casos esto se debe a que no conoce el tema y le sobrepasa, o bien a que intuye quién es el autor y no le quiere molestar, o bien, sencillamente, porque ése sea su carácter. Sucede que, con independencia del motivo, la evaluación laudatoria tampoco ayuda al autor: sólo sirve para engrandar el ego del autor vanidoso.

Se producen así situaciones paradójicas. No es infrecuente que un mismo trabajo sea evaluado por un evaluador exigente y por otro insuficientemente riguroso lo que da lugar a que no sean extrañas las evaluaciones divergentes: una excelente – ‘publíquese sin cambios’ – y otra negativa – ‘rehágase’, ‘cámbiese la estructura’, ‘elimine tal parte’…, cuando no directamente, se recomienda ‘no publicar’-.

Otro sesgo es el que generan los que antes llamé grupos de confianza. Hay revistas y colecciones editoriales ‘de amigos’ donde siempre publican los mismos. Siempre reciben buenas valoraciones en sus evaluaciones porque generalmente son hechas por conocidos. Lo sorprendente es que cuando esos mismos colegas acuden a otras revistas, sus originales son rechazados: ¿Vendetta, animadversión, mala suerte…? ¿Un mal trabajo o una mala evaluación?

También merece la pena mencionar el sesgo del ‘evaluador-evaluado‘. Su actitud depende de las circunstancias. Si este tipo de evaluador está dentro de esas revistas o editoriales de ‘amigos’, observaremos que incluso el evaluador más riguroso se convierte en el mejor evaluador posible: dan buenas ideas, detectan lagunas y contradicciones, apuntan aspectos a mejorar… El motivo del cambio de tono suele ser que ellos también quieren publicar en el futuro en ese mismo sitio y son conscientes de que sus evaluados serán sus evaluadores. Sin embargo, el ‘evaluador-evaluado’ actúa con peores armas respecto de los que están fuera de los grupos de confianza. Quien sufre una mala evaluación tiene más probabilidades de reproducir malas valoraciones cuando ejerce de evaluador. Una especie de impartición de ‘justicia académica’ utilizando el mismo rasero, no vaya a ser que se esté aprobando un artículo a quien impidió la publicación de uno propio: ¡Faltaría más!.

Una circunstancia que afecta de forma importante a la imparcialidad de los evaluadores es la duración de su mandato. Cuanto más tiempo se desarrolla esta labor, más posibilidades hay de que aumenten los sesgos -se va generando rechazo a trabajos muy teóricos o prácticos, a determinados temas, incluso a la misma tarea de evaluar-. La dedicación dilatada en el tiempo puede incrementar ciertos vicios: se comienza a dedicar menos tiempo a la evaluación, se aumentan las lecturas desdeñosas, se da pie a lecturas orientadas por la confianza generada entre el evaluador y quien encarga la evaluación… A mi juicio, los evaluadores deberían ser renovados, como máximo, cada dos años.

Pero, sin duda alguna, el peor de los problemas del peer review es el del evaluador que se apropia de las ideas que se encuentra en los originales que le toca revisar. De este mejor ni hablar. Copiar sin citar está mal, pero aprovechar un trabajo no publicado del que se es lector privilegiado para tomar prestadas ideas, es intolerable.

………..

No soy un devoto del peer review. Ha debido quedar claro, aunque admito que no conozco si hay un método mejor. Lo que sí debemos tener claro es que (i) es un deber intelectual y académico someternos al escrutinio de otros investigadores;  (ii) es una cuestión de probidad que los evaluadores sean neutrales y constructivos y (iii) es responsabilidad de los editores no influir en el proceso de revisión y garantizar que los evaluadores sean honestos intelectualmente.

Todo esto no es nada fácil. Cómo implementar un sistema de revisión libre de sesgos probablemente sea imposible. Sin embargo, ésta es una cuestión ética a la que no se puede renunciar si queremos que nuestro entorno científico se enriquezca con nuevos avances en el conocimiento.

Library of Congress en Unsplash