Comparativa Factor de impacto, índice h y Altmetric.com

En este reciente artículo:

Wacogne, Ian D. (2016)  «Article metrics: measuring the impact and importance of papers». Education & practice online first, v. January, n. 14, pp. 1-2. http://dx.doi.org/doi:10.1136/archdischild-2015-309312

... se hace una comparación entre las tres más importantes métricas según el autor: el factor de impacto, el índice h y altmetric. Comienza diciendo que para un investigador lo más importante a la hora de publicar los resultados de su investigación es que logre alterar la práctica o la manera en la que se comprende su área. 

Las métricas intentan decirte hasta donde ha llegado tu mensaje. Las organizaciones que financian la investigación quieren saber si esta se ha leído y ha tenido impacto. 

El factor de impacto (FI) es la primera de las métricas que se observa. Se trata de una métrica a nivel de artículo, que evalúa la revista en su conjunto, no un artículo específico. El factor de impacto se calcula con los datos de 2 años retrospectivos. Esta métrica presenta inconsistencias. Por ejemplo un artículo publicado a comienzos de año podría contribuir más al FI. Sin embargo, tanto la universidad como los organismos de financiación de la ciencia están interesados en el FI de las revistas en las que publican sus investigadores. Thompson-Reuters es la empresa que los compila. El JCR (Journal Citation report) utiliza las citas recogidas en la Web of Science (WOS), una de las principales bases de datos multidisciplinares a nivel mundial, aunque prima la producción científica anglosajona.

Por su parte, SJR SCimago Journal & Country Rank, utiliza las citas recogidas en Scopus, la otra gran base de datos multidisciplinar. A diferencia de la WOS, Scopus abarca producción científica procedente de áreas no anglosajonas y tiene mayor cobertura temática, aunque la cobertura temporal empieza en 1996.

Actualización del post el 30/1/2016. (http://www.upf.edu/bibtic/es/guiesiajudes/eines/avalua/fi.html)

"El factor de impacto se basa en la media de las citas recibidas por una revista en los años 2 anteriores, y en cambio se toma como el valor de cualquiera de los artículos publicados en ella en el año en curso", decía Aguillo en Aguillo, Isidro F. (2016) “Informetrics for librarians: Describing their important role in the evaluation process”. El profesional de la información, v. 25, n. 1, pp. 5-10.

El índice h es el FI de un autor. Busca las publicaciones de un autor, las ordena por número de citas y le asigna un número, el índice h. La forma en la que se asigna intenta minimizar el impacto de un solo artículo. Se dice que este índice va a estar relacionado directamente con la promoción en la vida universitaria. Entre los recursos que ofrecen el índice h destacan Web of Science, Scopus y Google Scholar (http://guiasbus.us.es/indicesdeimpacto). 

Altmetric.com, es una métrica a nivel de artículo, por lo que evalúa el artículo en concreto y no la revista en su conjunto. Intenta recoger la conversación que rodea la publicación concreta. La empresa Altmetric.com monitoriza los medios sociales y publicaciones cientificas y asigna un valor que crece si el artículo se debate, enlaza o cita. El autor puede mejorar su resultado llevando una campaña de marketing en medios sociales para difundir su artículo. También puede ser que la prensa lo difunda por interés especial en el tema y el valor suba. El valor que asigna Altmetric.com mediante su famoso donuts, puede compararse con otros articulos de la misma revista. 

Parafraseando al estadístico George E.P. Box, todas las métricas están equivocadas y solo algunas son útiles.

Tabla comparativa entre Factor de impacto, índice h y Altmetric.com (Wacogne, 2016)

	Factor de impacto	H-Index	Altmetric.com
Nivel de la métrica	Revista	Autor	Artículo
Transparencia del cálculo	Metodología publicada	Metodología publicada	Publicada la metodología aproximada
Nivel de respuesta	Publicación anual basada en datos de hace 2 años		Efectividad real. Aumenta por una frecuencia de actividad en medios sociales
Beneficios para el autor cuando seleccione la revista para publicar	Muy útil, está reconocido por universidades y organizaciones patrocinadoras	No ayuda	No ayuda
Beneficios para el autor al describir la atención que genera	Muy limitado, muy retrasado.	Útil	Muy útil
Manipulación por editores y proveedores	Por supuesto.  Solo hay que asegurarse de que las citas sean muchas y el número de artículos bajo. Hay muchas guías para conseguir citas.	Limitado interés	Por supuesto. Solo hay que crear una campaña en social media sobre el artículo.
Manipulación por autores	Limitado pero teóricamente posible	Teóricamente manipulable, pero conlleva mucho trabajo	Por supuesto. El autor puede crear una campaña en social media. Pero también es difícil conseguirlo.
Credibilidad científica	Media. Metodología reproducible pero tiempo limitado, documentos importantes no van a contribuir mucho al FI	Media	Baja relación entre Altmetric y la importancia científica.
Credibilidad académica	Alta. Muchas de las decisiones en la academia y de financiaciones se basan en este índice.	De media a alta. Se está comenzando a usar en algunas áreas académicas para tomar decisiones sobre la progresión de la carrera.	Baja pero subiendo. No sería extraño ver que en un futuro se incluya para decisiones de financiación.