La Declaración de San Francisco, el Manifiesto de Leiden y los criterios de evaluación de la ciencia

Por Claudia Boeris (25/08/2015)

DORA

 

En diciembre de 2012, durante la Reunión Anual de la  Sociedad Americana de Biología Celular (BCSV) que tenía lugar en San Francisco (California), un grupo de directores y editores de revistas científicas y la mencionada Sociedad acordaron que era necesario mejorar la forma en que se evalúan los resultados de la investigación científica. De esta reunión surgió la Declaración de San Francisco sobre Evaluación de la Investigación (DORA, del inglés San Francisco Declaration on Research Assessment,). El proyecto se hizo circular por los diferentes grupos de interés y hoy constituye una iniciativa mundial que abarca todas las disciplinas académicas. 

La Declaración de San Francisco  se orientó en un principio a artículos de investigación publicados en revistas con revisión por pares, no obstante sus impulsores consideraron que podría extenderse a otros productos como por ejemplo a conjuntos de datos. Estas recomendaciones están dirigidas a agencias de financiamiento, instituciones académicas, revistas, organizaciones que se dedican al análisis métrico de la literatura científica y a los investigadores.

La Declaración propone: 

  • La necesidad de eliminar el uso de medidas basadas en las revistas, tales como el Factor de impacto, a la hora de otorgar subsidios o considerar promociones.
  • La necesidad de basar la evaluación en los propios méritos del investigador.
  • La necesidad de aprovechar las oportunidades que brindan las publicaciones en línea con respecto al límite de palabras, figuras o referencias.
 
Incluye además una serie de recomendaciones de carácter general como también destinadas a organizaciones de financiamiento, organizaciones que proveen instrumentos de medición, editoriales e investigadores.
 
Como recomendación general propone no utilizar técnicas basadas en revistas como una medida sustitutiva de la calidad de los artículos de investigación individuales cuando se quiera evaluar la producción de un investigador o asignar presupuestos.
 
A los organismos de financiación los insta a ser explícitos acerca de los criterios utilizados para evaluar la producción científica y considerar el valor y el impacto que los resultados de la investigación producen en el medio en el que se desarrolla.
 
A las instituciones les recomienda también claridad en los criterios que determinan la contratación, la tenencia y las decisiones de promoción, dando importancia al contenido científico de los artículos más que a las métricas de publicación o la identidad de la revista en la que fueron publicados. También destaca la necesidad de considerar el valor y el impacto de los resultados de investigación.
 
Las recomendaciones a las editoriales representan la lista más extensa: 
 
  • Reducir el énfasis en las revistas y en el índice de impacto como una herramienta de promoción, idealmente dejando de promoverlo.
  • Poner a disposición una serie de indicadores a nivel de artículo para fomentar un cambio hacia la evaluación basada en el contenido científico del artículo en lugar de métricas sobre la revista en que fue publicado.
  • Fomentar prácticas de autoría responsables y la provisión de información sobre las contribuciones específicas de cada autor. 
  • Eliminar las restricciones de reutilización para los artículos de acceso abierto. 
  • Ser abierto y transparente en el cálculo de los indicadores. 
  • Aplicar los indicadores de acuerdo al tipo de artículo a analizar. 
  • Citar los datos primarios. 
  • Cambiar las prácticas de evaluación  de la investigación promoviendo y enseñando las mejores prácticas que se centran en el valor y la influencia de los resultados específicos de la investigación.
 
 

 

Juan Pablo Alperín en el libro Indicadores de acceso abierto y comunicaciones académicas en América Latina plantea también el problema que representa para la Región latinoamericana el uso de estos indicadores basados en el factor de impacto, el autor declara que "el factor de impacto continúa siendo ampliamente usado para evaluar la producción de investigación individual e institucional en regiones en desarrollo debido a la falta de una alternativa viable. " ... "En consecuencia, existe una necesidad urgente de encontrar indicadores alternativos de producción de investigación que capturen una porción mayor de la producción de las regiones en desarrollo." Alperín explora alternativas basadas en el movimiento de Acceso Abierto. Afirma que, a pesar de ir en aumento, no hay cifras exactas acerca de estas iniciativas y las estimaciones en el uso varían notablemente en los diferentes países. 

Por su parte hace pocos meses Diana Hicks, investigadora del Georgia Institute of Technology de Atlanta, Estados Unidos, en colaboración con otros cuatro investigadores, publicaron en la revista Nature un artículo  en el que se realiza un análisis sobre las metodologías utilizadas para evaluar la Ciencia. Diana es especialista en política científica y tecnológica  y su preocupación se ha centrado en el uso que se hace de los datos disponibles y que sirven para definir políticas científicas. Los autores cuestionan diversos métodos de evaluación de la ciencia que se siguen utilizando en la actualidad y que fueron diseñados en otros momentos para otros contextos de la realidad científica. Entre ellos mencionan a la ubicación de las universidades en rankings globales que no representan las realidades particulares de cada país o región, como así también el uso del factor de impacto o del índice h.

El artículo es conocido como el Manifiesto de Leiden.

 Leiden

 El Manifiesto  recibe su nombre inspirado en la conferencia donde se originó. En él se declaran diez principios que deben ser aplicados a la hora de evaluar investigaciones científicas:

  1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos. 
  2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador. 
  3. La excelencia en investigación de relevancia local debe ser protegida. 
  4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples. 
  5. Los datos y análisis deben estar abiertos a verificación por los evaluados 
  6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta. 
  7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación. 
  8. Debe evitarse la concreción improcedente y la falsa precisión. 
  9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores. 
  10. Los indicadores deben ser examinados y actualizados periódicamente.

En línea con la Declaración de San Francisco y antes de que se publicara el Manifiesto de Leiden, el 3 de diciembre de 2013 se realizó en La Plata la Jornada de intercambio y debate sobre la medición de la producción científico-tecnológica: políticas, experiencias y desafíos, en el marco del Proyecto PICT 2011-2183 del Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCs). El objetivo fue generar un espacio de debate e intercambio de conocimientos, experiencias y opiniones entre los participantes de proyectos de investigación vinculados con los estudios bibliométricos de la producción científica y con la evaluación de la ciencia y la tecnología en el marco de las actuales políticas nacionales de investigación y evaluación científica en la Argentina.

Durante el encuentro se realizaron presentaciones sobre medición y evaluación de la producción científica y tecnológica, política científica en los Planes Nacionales de Ciencia y Tecnología, la producción académico científica en Ciencias sociales y Humanidades, indicadores bibliométricos y transferencia de tecnología, temas que tuvieron como foco la Argentina. Hubo también una presentación de la Dra. Zaida Chinchilla Rodríguez del CSIC-IPP-SCImago Research Group, España, en la cual analizaron las tendencias internacionales en la evaluación de la ciencia y la tecnología relacionadas con la bibliometría y la altmetría.

Para finalizar se realizó un taller interno entre los integrantes de los equipos de los proyectos de investigación y participantes invitados.