Production rates and impact can relate to the internationalisation of research. In a recent paper, I looked at the opportunities and dilemmas of international research collaboration and shared authorship in the field of eduction research; see:

Chapter Strategies for globalizing research in the educational sciences

This perception is solely mine, apologies for the dejection,

Production rates have impact on scientific work in presence of factors like time and space utility,

Yes it is possible to establish strategies for our production by these ratings,

Multiple benefits science have for scientists who base their research strategies on benchmarks of rating indices, like, if the indices is high, to maintain the cost of living under the desired limit the science can be used by scientists to produce the more low cost and high quality product to de-accelerate the inflation, etc

Productivity in research is very important to the researchers themselves and also to the users of the research. Some of the negative associations with low productivity include wastage in research and publication bias. The limitations of various indices that measure productivity have been described in the literature, and the direction is to find ways to improve on those indices.

Productivity is an important in many aspects of life including manufacturing, research and administration. It serves as a benchmark for efficiency, effectiveness and level of activity.

Of course, we need to look at the indices trying to understand what they can show us, with the right answer in our hands. Indicators misused to benchmark researchers or institutions with such different characteristics from a supposedly universal formula are irresponsible. For example, comparing Oxford with a Brazilian university means ignoring different attributions, different histories, and different characteristics of two institutions. Or compare a recent doctor with a Nobel Prize winner over 30 years of career. It's the same as comparing pears and oranges. However, multidimensional indicators are extremely important for the assessment of science, especially at times when resources are scarce and public research investments need to be shown. It is a form of transparency and accountability with spending and with the society, which provides the investments through the contribution of taxes. Through indicators, we can evaluate different issues: internationalization, transdisciplinarity, economic impacts, influence on innovation development, social impact, or scientific impact, among others. However, only a set of indicators (and not individual metrics) can provide relevant data with responsibly.

Thaiane Oliveira

Muito interessante, sua resposta.

Qual seria esse conjunto de indicadores, na sua opinião?

Depende do que queremos investigar. Por exemplo, se queremos avaliar a internacionalização de uma determinada instituição, os indicadores tradicionais são de co-autoria baseado em uma determinada base de dados. Mas existem inúmeros projetos institucionais que derivam livros em parceria, co-edição de periódicos, eventos e etc. Sem levar isso em consideração, é ignorar uma rede que se consolida a partir de um conjunto de atividades não mensuráveis por um indicador único (co-autoria). Da mesma forma, podemos produzir em co-autoria, mas sem impacto citacional. Ou podemos ser citados por países de diferentes regiões, mas isso não é levado em consideração em indicadores tradicionais de avaliação da internacionalização de uma instituição.

Se queremos avaliar o impacto econômico de determinado conjunto de produções científicas de uma instituição. O caminho mais tradicional adotado é fazer um levantamento de registros e patentes em determinadas bases, produzidas pelos pesquisadores da instituição. Um indicador alternativo é avaliar a influência da produção científica desses pesquisadores em patentes. Não mede a quantidade de patentes, mas permite saber qual é a influência científica para a elaboração de patentes.

Se estamos falando de um conjunto de periódicos, como estamos atravessando hoje a discussão na área, é importante levar em consideração o Tempo Médio de Vida de uma área. A área da saúde possui um dinamismo citacional diferente da História. Essa última tem uma média de vida longa. Um artigo (ou livro) de História é citado 15 anos após a publicação. Os indicadores utilizados geralmente estabelecem um recorte temporal (no caso brasileiro quadrienal) que impede de olhar para essa característica da produção científica nas Humanidades.

Portanto, assim como a produção científica, precisamos saber qual questão queremos resolver e como desenvolver metodologias para respondê-las. Essas são algumas questões que temos trabalho no evento LATmetrics: Métricas Alternativas e Ciência Aberta na América Latina (www.latmetrics.com). Esta edição será realizada em Cusco e está com chamada aberta para envio de resumos até 01/08.

Obrigado pela densa e cuidadosa resposta, Thaiane Oliveira.

Fico feliz em saber que você é uma interlocutora tão atenta às métricas e critérios de avaliação científica -- tema que me interessa cada vez mais, atualmente.

Gostaria, por isso, de lhe fazer uma pergunta de acréscimo.

Para além dos critérios de avaliação das instituições e periódicos científicos, quais você acha que devem ser as categorias que devemos levar em consideração hoje, para a administração consequente de nossa carreira científica? Ao escolher nossos temas, nossas questões de pesquisa, nossas formas de publicação, quais, na sua opinião, devem ser os critérios que devemos considerar com prioridade? Como fazer para escapar da faixa de invisibilidade e irrelevância em que estão mergulhados a maioria dos docentes universitários, nessa busca desenfreada pelo atendimento às métricas dos PPGs?

Gostaria muito de saber como você percebe isso.

Querido Luiz Signates,

Sinto muito por não ter respondido antes. Nossas vidas acadêmicas mal cabem nas métricas de tantas atribuições e atribulações que temos e enfrentamos cotidianamente.

Fico honrada em ouvir suas palavras. Esse assunto de indicadores (alternativos e tradicionais) e avaliação científica realmente é muito instigante, dinâmico e necessário. Mas realmente não sei te responder. Na verdade, são muitas perguntas e cada qual gera uma reflexão.

1) quais você acha que devem ser as categorias que devemos levar em consideração hoje, para a administração consequente de nossa carreira científica? A carreira científica fora consolidada em dinâmicas sociais em torno de construção de prestígio e reputação. Permanecem até hoje como categorias mantidas por uma estrutura reforçada a partir de dinâmicas de consagração acordadas dentro de cada área. Mais do que categorias, são valores importantes, mas que vão sendo reconfigurados diante do processo de midiatização da ciência e a entrada de novos atores no circuito científico. A busca por visibilidade e reconhecimento passaram a ser valores de patamar equivalente ao prestígio e reputação. Mas é isso que importa? Talvez estejamos precisando desenvolver indicadores para o que de fato importa pra ciência: produzir conhecimento que sirva à sociedade. Não no sentido de atender às soluções de demandas sociais inalcançáveis, como você mesmo discute em seu texto, do qual é uma referência da minha pesquisa. Mas que gere reflexões relevantes sobre questões diárias das quais enfrentamos e que nem sempre temos o olhar analítico e crítico, que só a academia pode oferecer. Nem sempre esse olhar é o que está sendo colocado como agenda de pesquisa. E nem sempre as agendas de pesquisas estão sendo colocadas em prol da sociedade. Acho que isso já vai ao encontro da sua pergunta 2) Ao escolher nossos temas, nossas questões de pesquisa, nossas formas de publicação, quais, na sua opinião, devem ser os critérios que devemos considerar com prioridade? Costumo falar para meus alunos que adoro sentar na Orla da Universidade para ver passarinhos voando bem próximo do mar. É poético e me acalma, mas não é uma pesquisa. Por mais que o discurso neoliberal tenha chegado na academia e imposto pra gente certos valores que se aproximam da auto-ajuda/coaching do tipo "pesquisa e o que ame e você será feliz", a ciência não serve para satisfazer o ego - por mais que muitas vezes seja usada para isso. Precisamos resolver problemas e responder questões, sem estar à mercê do bel-prazer ou das agendas impostas. Quanto às formas de publicação, sou uma defensora da ciência aberta, mesmo que esteja sendo colocada sob uma agenda também neoliberal complexa. Acho que não só devemos publicar e apoiar periódicos abertos (sobretudo os do modelo diamante), abrir nossos processos de produção, nossas limitações, nossos resultados, ainda que atentos aos caminhos que estão sendo apropriados em prol dessa gestão aberta de dados científicos. Esse tem sido o meu critério primeiro de publicação, minha prioridade certamente.

Por fim, sua terceira pergunta: 3) Como fazer para escapar da faixa de invisibilidade e irrelevância em que estão mergulhados a maioria dos docentes universitários, nessa busca desenfreada pelo atendimento às métricas dos PPGs? Não sei se são as métricas desenfreadas que nos invisibiliza. O que invisibiliza nossa ciência é um sistema global neoliberal baseado no domínio de um conjunto de países "centrais" tangenciando a ciência de quem está fora do seleto grupo "colonial". Discuti um pouco desse sistema científico global e a invisibilização da ciência nesse texto, caso queira dar uma lida: Article As políticas científicas na era do conhecimento: uma análise...

Ficou um texto grande. Sinto muito! Mas são questões muito ricas e complexas. Espero poder desdobrar esses assuntos com você qualquer dia, nos congressos da área. Um abs,

Nice Dear Luiz Signates