Para avaliar a qualidade da pesquisa, basta usar indexação, índices de impacto, índices de citação?

Charbel Niño El-Hani, João Carlos Salles e Olival Freire Jr.

“Somos estimulados a dialogar com nossos pares em todo o mundo, o que certamente é correto, mas, em relação ao nosso próprio país, o sistema de avaliação dos pesquisadores nos estimula a ficar isolados em torres de marfim”

Charbel Niño El-Hani (Instituto de Biologia, UFBA. Bolsista de produtividade em pesquisa do CNPq 1-D), João Carlos Salles (Depto. de Filosofia, Faculdade de Filosofia e Ciências Humanas, UFBA. Bolsista de produtividade em pesquisa do CNPq 1-B) e Olival Freire Jr. (Instituto de Física, UFBA. Bolsista de produtividade em pesquisa do CNPq 1-C). Artigo enviado pelos autores ao “JC e-mail”:

É muito salutar que a comunidade acadêmica brasileira se volte para uma discussão sobre como avaliar a produtividade de nossos pesquisadores de modo a considerar não somente a quantidade, mas também a qualidade das publicações.

Parece-nos necessário, contudo, considerar com muito cuidado quais seriam os indicadores de qualidade nas diversas áreas, sem perder de vista as muitas diferenças nos modos como a pesquisa é realizada e comunicada em variados campos do conhecimento.

Afinal, os critérios de avaliação de pesquisadores devem ser ponderados de modo informado em relação às tradições de pesquisa e divulgação do conhecimento nas diferentes áreas.

Entre pesquisadores das ciências naturais, é defendida com freqüência a visão de que devem ser usados critérios como a indexação e os índices de impacto e de citação. A tendência de defender tais critérios também freqüenta órgãos de fomento à pesquisa científica de nosso país.

Muito recentemente, o CNPq incluiu na Plataforma Lattes referência ao número de citações dos artigos cadastrados nesta base de dados pelos pesquisadores, conforme registrado na base Scopus.

O fato de que não se fez qualquer consulta aos pesquisadores a este respeito, nem mesmo aos bolsistas de produtividade em pesquisa do próprio órgão, indica uma convicção de que índices de citação são um bom reflexo da qualidade da pesquisa e, além disso, que bases de dados como a Scopus oferecem uma boa cobertura da pesquisa em todas as áreas.

Esta mesma convicção é indicada pelo fato – que consideramos lamentável – de não se dar ao pesquisador a opção de incluir ou não esta informação em seu currículo.

Mas índices de citação, ou mesmo índices de impacto de periódicos, ou o cada vez mais usado fator h, são realmente bons indicadores da qualidade da pesquisa em todas as áreas do conhecimento? De nossa parte, estamos convictos de que este não é o caso, sendo esta uma das principais motivações para escrevermos este texto.

Concordamos que tais critérios podem mostrar-se adequados para determinadas áreas, sobretudo das ciências naturais. Nosso principal intuito é, então, argumentar em favor de cautela no apoio ao uso de tais índices de modo generalizado, devido à diversidade das ciências e tendo em vista a necessidade de que nossa comunidade acadêmica aprecie de modo mais crítico seu papel social frente às muitas dificuldades vivenciadas em nosso país, bem como no que tange à sua inserção no atual mundo globalizado.

Certamente, apresentamos este ponto de vista desde o lugar de onde falamos e pesquisadores situados em outras posições na comunidade científica brasileira poderiam destacar outros aspectos.

Parece-nos fundamental, de fato, que mais de nossos pares se pronunciem a este assunto, de modo que possamos estabelecer um democrático e saudável debate em torno deste aspecto tão central em nossas vidas de pesquisadores, concernente aos critérios empregados na avaliação de nosso desempenho como cientistas.

Este debate é muito necessário, na medida em que não é aceitável que critérios e procedimentos de avaliação sejam estabelecidos sem que se tenha na devida consideração as posições assumidas por pesquisadores das diversas áreas do conhecimento.

Não se trata de falar contra a avaliação dos pesquisadores, que é, sem dúvida, essencial. Tampouco se trata de negligenciar a importância da produção acadêmica na forma de artigos, livros, capítulos etc. Trata-se, antes, de discutir se e como devemos incorporar outros critérios de avaliação, bem como a necessidade de trabalhar com tais critérios de forma variada, de acordo com a área do conhecimento.

Devemos buscar uma avaliação que se paute também pela qualidade, e não apenas pela quantidade. Mas será a única ou mesmo a melhor opção, em todas as áreas, utilizar os critérios de indexação, índice de impacto e índice de citação?

Comecemos com o ponto que nos parece de maior relevância, que diz respeito à responsabilidade social da comunidade científica com o avanço do país em relação a nossos problemas mais críticos. Como tal responsabilidade poderia estar vinculada à avaliação dos pesquisadores?

Consideremos um exemplo. A qualidade de nosso sistema educacional é certamente uma das fragilidades brasileiras. No Programa Internacional de Avaliação de Alunos (Pisa), os resultados de nossos estudantes foram pífios em todas as áreas avaliadas e em todas as edições da avaliação.

Este programa consiste numa avaliação internacional padronizada, realizada pelos países participantes da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), e aplicada, em cada país, a 4.500-10.000 alunos da 7ª série em diante, de várias regiões e de diferentes tipos de estabelecimentos escolares.

Em 2006, o Pisa ocorreu em 56 países (incluindo todos os membros da OCDE e países convidados). No que tange ao desempenho em ciências, o Brasil esteve abaixo da média em 2000 (42º lugar, à frente apenas do Peru), 2003 (40º lugar, à frente apenas da Tunísia) e 2006 (52º lugar, acima de 5 outros países apenas).

Na avaliação da capacidade de leitura dos alunos, não fomos muito melhores, ocupando a 39ª colocação entre 43 países em 2000, a 38ª entre 41 países em 2003, e a 49ª entre 56 países em 2006. Por fim, em matemática, nossos estudantes foram penúltimos (42ª posição) em 2000, últimos entre estudantes de 41 países, em 2003, e 54º entre 57 países em 2006.

Diante deste quadro, parece-nos essencial um profundo envolvimento da comunidade acadêmica brasileira com a tentativa de melhorar a qualidade de nossa educação, nas mais variadas disciplinas.

Seria muito interessante ver mais livros didáticos e paradidáticos, textos de divulgação científica, propostas curriculares, seqüências didáticas produzidas por pesquisadores brasileiros. Contudo, quantos cientistas estarão prontos a correr o risco de investir seus esforços e seu tempo na produção de tais itens de potencial impacto social?

Afinal, sua avaliação e, assim, sua possibilidade de obter bolsas para seus orientandos e para si próprios, financiamento para sua pesquisa etc depende, principalmente, até mesmo pura e unicamente, do número de artigos publicados em periódicos indexados.

Ou seja, somos estimulados a dialogar com nossos pares em todo o mundo, o que certamente é correto, mas, em relação ao nosso próprio país, o sistema de avaliação dos pesquisadores nos estimula a ficar isolados em torres de marfim.

Citamos a educação apenas como um exemplo, mas argumento similar pode ser certamente construído numa diversidade de áreas, desde a ambiental até a de pesquisa e desenvolvimento em conexão com a indústria nacional.

Por uma questão de responsabilidade social, é fundamental que nós, da comunidade acadêmica, nos dediquemos mais a investigações que resultem em produtos que contribuam para transformações necessárias em nosso país, como os produtos educacionais indicados acima, ou, para citar outro exemplo, produtos tecnológicos que aumentem nossa capacidade de gerar riqueza.

Mas, para isso, será preciso recompensar, e não prejudicar, os pesquisadores por outros esforços além da produção de artigos em periódicos.

Causa-nos espanto, assim, que, num momento em que se discute como avaliar a qualidade do trabalho dos pesquisadores, não vejamos em muitos círculos a defesa da inclusão de variáveis como sua contribuição para a melhoria da educação brasileira, mediante a produção de itens como os listados acima, ou a quantidade de orientações concluídas e em andamento, que mostram sua dedicação à formação de novas gerações de pesquisadores, mas apenas indexação, índices de citação, índices de impacto.

Não podemos nos manter em tal torre de marfim, sendo avaliados apenas por tais critérios assimilados de fora, sem considerarmos a necessidade de contribuirmos para a melhoria de fragilidades brasileiras bem conhecidas.

Um outro ponto de cautela diz respeito ao fato de que indexação, índices de citação, índices de impacto etc não são igualmente adequados em todas as áreas.

Podemos citar dois exemplos para ilustrar este ponto. Consideremos, primeiro, a área de pesquisa em educação científica, atualmente consolidada no Brasil, contando com bom número de periódicos, muitos bem avaliados pela Capes, e com uma associação científica nacional, a Associação Brasileira de Pesquisa em Educação em Ciências (Abrapec, ver http://www.fae.ufmg.br/abrapec/), que realiza encontros bienais, os Encontros Nacionais de Pesquisa em Educação em Ciências (Enpec).

Estes encontros constituem hoje o principal fórum da pesquisa em educação científica no Brasil, tendo o último encontro, realizado em 2007, reunido quase 1.000 pesquisadores participantes e trabalhos submetidos, dos quais 679 foram aceitos para apresentação e publicação na forma de trabalhos completos, nas atas do encontro.

Nesta área, uma avaliação baseada em ferramentas como o Qualis pode mostrar-se mais adequada do que o uso de indexação e, por conseguinte, de índices de impacto e citação, calculados a partir de bases de referências bibliográficas indexadas. Por que isso ocorre?

Simplesmente porque vários dos melhores periódicos voltados para a pesquisa em educação científica, classificados como Internacional ‘A’ no Qualis, não são indexados em bases como a Web of Science, do ISI, a exemplo de Science & Education, Journal of Science Education and Technology, Physics Education, International Journal of Science and Mathematical Education ou Enseñanza de las Ciências.

Isso sem falar em vários periódicos nacionais bem qualificados, nos quais a comunidade de pesquisadores em educação científica deve publicar, pela própria natureza de seu trabalho e compromisso com a melhoria do ensino de ciências em nosso país.

A despeito de não serem indexados em tal base, são amplamente consultados por pesquisadores da área, sendo um consenso dentro desta comunidade acadêmica que são periódicos da mais alta qualidade.

Em tais casos, um procedimento aprimorado de construção de uma lista como o Qualis, de modo a refletir uma visão mais global da comunidade acadêmica e se manter mais estável de um ano para outro, pode ser a melhor opção. Devem ser considerados, também, esforços atuais para a ampliação da base de dados do Qualis, de modo que se torne possível, por exemplo, uma avaliação mais criteriosa da produção veiculada em livros, que desempenha papel tão importante na maioria das áreas de humanidades.

Pensamos que a questão aqui discutida está longe de ser problema exclusivo de áreas como a educação ou a filosofia, de que trataremos mais abaixo. Antes pelo contrário, em muitas áreas, temos bom número de periódicos importantes ausentes de uma ou outra base de indexação.

Esta ausência de boa parcela dos periódicos certamente impacta de modo muito significativo o cálculo e, logo, o emprego de índices de citação.

Isso expõe ainda mais a fragilidade de apoiarmos nossos juízos sobre a qualidade da pesquisa apenas em procedimentos dependentes da indexação. Não se trata de que não possam ser usados, mas, sim, de que devem ser usados em conjunção com um maior número de elementos de avaliação e tendo sempre em vista as diferenças entre as áreas do conhecimento.

Outra área do conhecimento na qual uma avaliação baseada em indexação e índices de impacto e citação pode ter importantes fragilidades é a de filosofia, na qual a produção na forma de livros é altamente valorizada, não sendo esta alguma situação transitória, a ser superada, na medida em que está relacionada à própria natureza do trabalho filosófico.

Certamente, uma adoção generalizada de critérios como os citados acima traria prejuízos notáveis para a área de filosofia, e não vemos qualquer razão legítima para se exportar critérios válidos numa área para outra, sem reconhecer as especificidades de cada área.

É isso que efetivamente ocorre, contudo, quando se toma decisões como a recentemente tomada pelo CNPq, de incluir as citações de artigos na base Scopus na Plataforma Lattes.

Em suma, não podemos perder jamais de vista que diferentes comunidades acadêmicas têm em mais alta consideração distintos modos de produção e divulgação de conhecimento, em prol de alguma proposta generalizada de avaliação da pesquisa.

Este argumento sobre os limites das bases de indexação leva naturalmente a um terceiro ponto. Como toda a comunidade científica deve saber, a Web of Science é um dos produtos do Institute for Scientific Information (ISI), fundado por Eugene Garfield em 1960.

O que temos verificado em conversas com nossos pares é que muitos pesquisadores não têm muita consciência da natureza de tal instituto, parecendo até mesmo pensar que se trata de algum tipo de instituição filantrópica.

Além disso, temos visto colegas que mencionam com freqüência critérios como os índices de impacto de periódicos, mas, quando perguntados sobre como se calculam tais índices, não têm qualquer noção clara a respeito.

Parecem ter uma espécie de fé cega em tais índices. Retornando à natureza do ISI, é preciso que nenhum pesquisador perca de vista que se trata de uma empresa, comprada em 1992 pela Thomson Scientific & Healthcare, hoje Thomson Scientific, que é parte da corporação multibilionária Thomson Reuters, uma companhia privada com ações na New York Stock Exchange; Toronto Stock Exchange; London Stock Exchange; e Nasdaq (ver http://www.thomsonreuters.com/about/; http://en.wikipedia.org/wiki/Institute_for_Scientific_Information).

Similarmente, a base Scopus também é pertencente a uma empresa, a Elsevier, que compete com o ISI pela oferta dos mesmos serviços.

Causa-nos espanto que muitos cientistas não pareçam refletir o suficiente sobre como a fidelidade da comunidade científica a tais serviços oferecidos por companhias comerciais poderia ser uma engrenagem na manutenção de poder e recursos econômicos em mãos de uma corporação deste porte, pertencente a empresários de um outro país.

Não que não devamos, por isso, utilizar tal recurso, mas devemos ter plena consciência de como a comunidade científica brasileira se insere nas engrenagens do mercado globalizado atual, para termos preservada nossa capacidade crítica diante da decisão de criarmos uma grande dependência de nosso sistema de produção científica e tecnológica em relação a tais corporações.

Se devemos entrar neste jogo, em tal mundo globalizado, seria muito salutar se todos os cientistas tivessem mais consciência do tipo de jogo que estamos jogando.

Por que trazer este ponto à tona? Porque pensamos que nós, pesquisadores, devemos ser mais críticos em relação às redes sociais – estruturadas, inclusive, em termos de relações centro-periferia – na qual a pesquisa científica se insere, perguntando-nos sempre sobre a pertinência de diferentes modos de produção e divulgação do conhecimento científico e, em particular, de avaliação da pesquisa.

É importante reiterar que não estamos propondo que critérios como indexação ou índices de impacto e citação não sejam levados em consideração, mas apenas que não sejam critérios únicos, universalmente aplicados a todo o sistema de C&T, sem que se tenha na devida conta as diferenças entre áreas do conhecimento.

Sustentamos, além disso, que tal sistema deve ser construído como parece mais apropriado quando lidamos com uma questão empírica. Devemos investigar a adequação de diferentes combinações de critérios para a avaliação de distintas áreas do conhecimento. E, por fim, mas não de menor importância, é preciso que não nos restrinjamos à produção científica apenas.

É preciso incluir na avaliação dos pesquisadores, dando-lhe o devido destaque, seu envolvimento em atividades necessárias para a melhoria dos pontos mais frágeis de nosso país, a exemplo da baixa qualidade de nossa educação e do pequeno número de patentes resultantes da pesquisa acadêmica em nosso país, que tem se mostrado mais fértil na produção de artigos do que na inovação científico-tecnológica.

Gostaríamos, ainda, de dar maior ênfase à idéia de que a proposição de modos de avaliar a qualidade da produção acadêmica está relacionada a um problema de caráter empírico e, como tal, deve ser abordado usando as ferramentas das ciências empíricas.

Dito de modo simples e direto, em vez de importar padrões de avaliação de outros sistemas de C&T, seria muito importante que nossos órgãos de fomento financiassem investigações visando desenvolver e validar critérios de avaliação da produção acadêmica de nossa comunidade científica.

Assim, romperíamos ao menos neste campo a longa tradição de nosso país de copiar as realizações de outros, usando nossa competência instalada para produzir nossas próprias soluções para o problema de avaliar a qualidade da pesquisa.

Por meio de tais esforços de investigação, poderíamos desenvolver os conjuntos multifatoriais de critérios de avaliação da produção acadêmica mencionados acima, bem como compreender melhor uma série de nuances que é possível perceber em critérios largamente usados, como, por exemplo, os índices de citação.

Podemos nos perguntar, por exemplo, se não há diferentes ‘culturas’ de citação em áreas do conhecimento distintas, com pesquisadores de certas áreas tendendo mais a usar conjuntos amplos de citações em seus artigos, enquanto pesquisadores de outras áreas seriam, por assim dizer, mais econômicos em seu uso de citações.

Se houver tais diferenças, quais seriam suas conseqüências para a avaliação do desempenho de pesquisadores em diversas áreas do conhecimento?

Eis aí uma interessante questão de pesquisa, cuja investigação poderia ser financiada por nossos órgãos de fomento, como um meio de fornecer uma base empírica mais consolidada para a tentativa de aprimorar nosso sistema de avaliação da pesquisa.

Outra questão que vale a pena investigar diz respeito ao valor diverso de diferentes tipos de citações de artigos. Por exemplo, numa dissertação de mestrado defendida em 2003 no Programa de Pós-Graduação em Ecologia e Biomonitoramento, do Instituto de Biologia da UFBA, intitulada “A Prática Científica na Ecologia de Comunidades: Um Estudo da Literatura de Ecologia de Comunidades de Lagartos”, Leila Costa Cruz distinguiu três modos diferentes de citar trabalhos: referenciamento teórico, quando um artigo é citado para a formulação de hipóteses testáveis ou para a discussão de teorias; referenciamento metodológico, como apoio aos métodos empregados na pesquisa; e referenciamento empírico, quando a citação tem o papel de contextualizar, caracterizar e apoiar fatos empíricos mencionados pelo autor.

Mesmo que não se aceite este modo de classificar os distintos papéis que diferentes citações podem cumprir, é fato inegável que nós citamos trabalhos com diferentes propósitos. Isso levanta questões que merecem investigação: por exemplo, devemos atribuir o mesmo valor, ao calcular um índice de citação, a todo e qualquer modo de referenciamento?

Parece-nos, em princípio, que não, na medida em que a importância de um trabalho científico deve ser avaliada também pela natureza de seu impacto num campo de pesquisa.

Se um trabalho é citado 10 vezes, mas nos dez casos, ele cumpre um papel fundamental na construção de toda uma nova teoria num campo do conhecimento, poderia ser razoável pensar que estas 10 citações valem mais do que 100 citações de outro trabalho que é referenciado apenas por razões metodológicas, digamos, porque relata um método usado para dosar certa substância.

Seja como for, para além das opiniões pessoais que possamos ter, parece-nos claro que temos aí outro campo de investigações a explorar.

Em suma, temos a esperança de que nossa comunidade científica seja capaz de propor soluções próprias, inovadoras e que levem em conta a responsabilidade social dos cientistas brasileiros e a diversidade das áreas do conhecimento, diante do problema de avaliação da qualidade da pesquisa.

Engajar-se em tal debate e, mais do que isso, em tal caminho de investigação parece mais fértil do que apenas importar índices desenvolvidos em outros sistemas de C&T, sem observar as especificidades da pesquisa na realidade de nosso país e nas diferentes áreas do conhecimento.

Fonte: JC e-mail 3580, de 20 de Agosto de 2008.