EVALUATION OF RESEARCH: DON'T CHANGE, CHANGE, HOW TO CHANGE

Authors

  • Judith Sutz Universidad de la República del Uruguay
  • Natalia Gras Universidad de la República del Uruguay

DOI:

https://doi.org/10.61203/2347-0658.v13.n1.44216

Keywords:

Academic evaluation, researcher’s survey, National System of Researchers, Uruguay

Abstract

This article analyzes certain results of a recent survey aimed at the universe of those who do research in Uruguay to know their opinions on various aspects associated with their work, focusing on what they think about academic evaluation, whether or not it is advisable to change it and in what directions it should be doing it. Quantitative results are presented, distinguishing the positions of various groups - women and men, academic elites, cognitive areas - and also qualitative results, derived from the hundreds of open responses received. The propensity to change shows, among other aspects, some few consensuses, a clear tendency not to change on the part of academic elites, shared opinions by less strong groups in the research hierarchy, and references to evaluation as part of other problems, for example, harmonization between academic life and family life. Based on the analysis carried out, some convergences of positions are identified that enable directions of change in how research is evaluated in Uruguay, and aspects are pointed out that require in-depth collective discussions to define whether or not to change and, above all, in which direction the change should go.

Downloads

Download data is not yet available.

Author Biographies

Judith Sutz, Universidad de la República del Uruguay

Profesora jubilada de la Universidad de la República, Uruguay, en la cual fue Coordinadora Académica de su Comisión Sectorial de Investigación Científica entre 1992 y 2021; co-coordinó el Núcleo Interdisciplinario Ciencia, Tecnología e Innovación para un Nuevo Desarrollo, CiTINDe entre 2021y 2023, del cual sigue siendo integrante. Es ingeniera electricista por la Universidad Central de Venezuela, donde también obtuvo un Master en Planificación del Desarrollo; su doctorado, en Socio-Economía de Desarrollo, es de la Universidad de Paris-Sorbonne. Sus intereses de investigación incluyen la producción y uso del conocimiento en contextos de subdesarrollo con atención, en particular, a sus potencialidades para una reorientación de ciencia, tecnología e innovación hacia un desarrollo humano sustentable. En dicho marco, cobra relevancia la evaluación de la investigación, temática de la cual también se ocupa.

Natalia Gras, Universidad de la República del Uruguay

Profesora Adjunta de la Unidad Académica de la Comisión Sectorial de Investigación Científica, Universidad de la República, Uruguay y actual co-coordinadora del Núcleo Interdisciplinario Ciencia, Tecnología e Innovación para un Nuevo Desarrollo, CiTINDe. Integra la red internacional Globelics y la red regional LALICS. Es Doctora en Ciencias Sociales y Maestra en Economía y Gestión de la Innovación, Universidad Autónoma Metropolitana, México y Licenciada en Economía por la Facultad de Ciencias Económicas y de Administración de la Universidad de la República, Uruguay. Sus intereses de investigación incluyen sistemas de innovación y el papel de las políticas de CTI en relación con procesos de desarrollo, la vinculación de la investigación con la solución de problemas nacionales y la relación entre la evaluación de la investigación y las formas diferenciales de producción de conocimiento. 

References

Alvesson, M. y Spicer, A. (2016). (Un)Conditional surrender? Why do professionals willingly comply with managerialism. Journal of Organizational Change Management, 29(1), 29-45.

Arocena, R., Goransson, B., y Sutz, J. (2019). “Towards making research evaluation more compatible with developmental goals”. Science and Public Policy, 46 (2), 210-218.

Bensusán, G., Gras, N., Inclan, D., Rodríguez, C., Valenti, G., y Varela, G. (2018). La evaluación de los académicos: Instituciones y Sistema Nacional de Investigadores, aciertos y controversias (G. Bensusán & G. Valenti, Eds.; 1st ed.). FLACSO-México.

Bianco, M., Gras, N., y Sutz, J. (2016). Academic Evaluation: Universal Instrument? Tool for Development? Minerva, 54 (4), 399-421.

Butler, L. (2007). Assessing university research: a plea for a balanced approach. Science and Public Policy, 34(8), 565–574.

Chavarro, D., Tang, P., y Rafols, I. (2017). Why researchers publish in non-mainstream journals: Training, knowledge bridging, and gap filling. Research Policy, 46(2017), 1666-1680. doi:10.1016/j.respol.2017.08.002

Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I., y Wilsdon, J. (2020). The changing role of funders in responsible research assessment: progress, obstacles & the way ahead. RoRI Working Paper No. 3. doi: 10.6084/m9.figshare.13227914

Dahler-Larsen, P. (2015). The Evaluation Society: Critique, Contestability and Skepticism. Spazio Filosofico, 1(13), 21–36.

DORA. (2012). Declaration on Research Assessment. Recuperado de https://sfdora.org/read/

Ely, R., y Padavic, I. (2020). What’s Really Holding Women Back? Harvard Business Review. Recuperado de What’s Really Holding Women Back? (hbr.org).

Fochler, M., Felt, U., y Muller, R. (2016). Unsustainable Growth, Hyper-Competition, and Worth in Life Science Research: Narrowing Evaluative Repertoires in Doctoral and Postdoctoral Scientists’ Work and Lives. Minerva, 54,175-200.

FOLEC-CLACSO. (2020). Diagnóstico y propuestas para una iniciativa regional. Serie para una transformación de la Evaluación de la Ciencia en América Latina y el Caribe del Foro Latinoamericano sobre Evaluación Científica. (CLACSO 2da. Edición). Recuperado de https://www.clacso.org/ diagnostico-y-propuestas-para-una-iniciativa-regional/

FOLEC-CLACSO. (2022). Recuperado de: https://www.clacso.org/una-nueva-evaluacion-academica-y-cientifica-para-una-ciencia-con-relevancia-social-en-america-latina-y-el-caribe/

Goldin, C. (2021). Career & Family. Women’s century-long journey towards equity. Princeton: Princeton University Press.

Gras, N. (2022). Formas de evaluación de propuestas de investigación orientadas a problemas del desarrollo. Prácticas y perspectivas desde Organizaciones Nacionales de Ciencia y Tecnología e Instituciones de Educación Superior de América Latina y el Caribe. Buenos Aires: FOLEC-CLACSO. Recuperado de https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/

/IDL%20-%2061054.pdf?sequence=1

Gras, N. (2018). La evaluación de la investigación y su relación con la producción de conocimiento: un análisis estructural para el Sistema Nacional de Investigadores de México. (Tesis de Doctorado). UAM-X, Ciudad de México. Recuperado de http://biblioteca.xoc.uam.mx/tesis.htm? fecha=00000000&archivo=cdt115520owqe.pdf&bibliografico=181106

Han, B-C. (2012). La sociedad del cansancio. Barcelona: Herder.

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., y Rafols, I. (2015). The Leiden Manifesto for Research Metrics. Nature, 520(7548), 429–431.

Hugues, L., Hatton, J., Gower, N., y Jones, H. (s/f). Towards inclusive academic promotion. Macquarie University, Australia. Recuperado de PowerPoint Presentation (stemwomen.org.au)

Martin, B., y Whitley, R. (2010). The UK Research Assessment Exercise: A Case of Regulatory Capture? En: R. Whitley., J. Gläser., y L. Engwall. (Eds.), Reconfiguring Knowledge Production. New York: Oxford University Press.

Power, M. (1999). The Audit Society. Rituals of Verification. Oxford University Press, Oxford.

Rovelli, Laura. (2023). Evaluación responsable y ciencia abierta: agenda de reformas. Integración y Conocimiento, 12(2), 11-27. Recuperado de https://doi.org/10.61203/2347-0658.v12.n2.42029

Ryazanova, O. y Jaskiene, J. (2022). Managing individual research productivity in academic organizations: A review of the evidence and a path forward. Research Policy, 51, (2) Recuperado de https://doi.org/10.1016/j.respol.2021.104448

Skogvold, I. (2020). Time use in academia. Men and women use their time differently, but everyone works too much.Kifinfo.https://kifinfo.no/en/2018/09/men-and-women-use-their-time-differently-everyone-works-too-much

Tijssen, R. (2021). Revalorización de la excelencia en la investigación: del excelentismo a una evaluación responsable. En E. Kraemer-Mbula, R. Tijssen, M. Wallace, R. McLean, E. Kraemer-Mbula, R. Tijssen, M. Wallace, y R. McLean. (Edits.), Transformando la excelencia en la investigación. Nuevas ideas del Sur Global (pp. 68-90). Bogotá: Universidad del Rosario, African Minds.

Whitley, R. (2010). Reconfiguring the Public Sciences: The Impact of Governance Changes on Authority and Innovation in Public Science Systems. En R. Whitley., J. Glaser., y L. Engwall. (Eds.), Reconfiguring Knowledge Production (pp.3–47). New York: Oxford University Press.

Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., Johnson, B.(2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management.

Published

2024-02-01

How to Cite

Sutz, J., & Gras, N. (2024). EVALUATION OF RESEARCH: DON’T CHANGE, CHANGE, HOW TO CHANGE. Integración Y Conocimiento, 13(1), 109–135. https://doi.org/10.61203/2347-0658.v13.n1.44216

Issue

Section

DOSSIER: EVALUACIÓN DE LA INVESTIGACIÓN Y CONOCIMIENTO ABIERTO. RACIONALIDAD, INSTRUMENTOS Y ACTORES EN DEBATE