Qualidade, impacto e citação. Uma relação obscura
Artigo de Reinaldo Guimarães
“Mais da metade das 25 publicações no setor de saúde humana com mais de 250 citações (13) são ensaios clínicos multicêntricos para o teste de novas drogas ou procedimentos, bem como metanálises de outros ensaios”
Reinaldo Guimarães é médico e vice-presidente de Pesquisa e Desenvolvimento da Fiocruz. Artigo enviado pelo autor ao “JC e-mail”:
Os Anais da Academia Brasileira de Ciências acabam de publicar dois artigos sobre a ciência no Brasil [Nota 1]. Trata-se de mais uma consolidação da presença brasileira na base de dados ISI com o objetivo de construir um “quem é quem” entre nós.
O primeiro artigo discute o peso da colaboração internacional e o papel das redes e o segundo a identificação de núcleos temáticos de excelência. O metro utilizado para a seleção foi o número de citações dos artigos com endereços brasileiros, arbitrado pelos autores em mais de 100, entre 1994 e 2003.
É apresentado também um ranking dos artigos mais citados entre os muito citados: aqueles com mais de 250 citações no período. Foram encontrados 37 artigos nessa categoria entre os 248 citados mais de cem vezes.
O uso continuado dessa base de dados como fonte de análises quantitativas tem provocado um duplo problema. Em primeiro lugar, o mérito e/ou a relevância das contribuições científicas e tecnológicas é remetida a uma categoria difusa denominada “impacto”.
Em segundo lugar, o tal “impacto” é indicado pelo número de vezes que o artigo é citado por outras pessoas em periódicos que são indexados na base de dados que desenvolveu a categoria “impacto”.
A discussão é antiga, mas conforme as redes de colaboração na pesquisa vão se tornando mais e mais extensas e difundidas, essa relação qualidade/impacto/citação vai se tornando, no meu modo de ver, impraticável.
Tomemos os 37 trabalhos considerados mais importantes porque tiveram mais “impacto” porque foram citados mais vezes pelos pares.
A primeira anomalia diz respeito à sua distribuição pelas áreas do conhecimento ou setores de atividade: dois terços (25) são pesquisas no campo da saúde humana.
Muito embora a pesquisa em saúde seja relativamente forte entre nós, essa presença acachapante talvez decorra menos disso do que do modo pelo qual um certo tipo de pesquisa em saúde se organiza em todo o mundo, com uma participação considerável de pesquisadores de países como o Brasil (e, mais importante ainda, de pacientes desses países).
O exame dos 25 artigos após consulta ao Portal Capes (2 artigos não foram encontrados) revela um segundo problema, que me parece ainda mais importante.
Mais da metade das 25 publicações no setor de saúde humana com mais de 250 citações (13) são ensaios clínicos multicêntricos para o teste de novas drogas ou procedimentos, bem como metanálises de outros ensaios.
Estes artigos possuem um número médio de 19 autores. Quatro outros artigos tratam do estabelecimento de consensos clínicos para a orientação da prática médica (média de 23,5 autores) e um artigo que estabeleceu a associação em nível mundial entre o herpes papiloma vírus e o câncer de colo uterino também foi selecionado. Os cinco artigos restantes versam sobre temas variados com uma média bem menor de autores (11).
Na maioria dos ensaios clínicos multicêntricos, em particular aqueles patrocinados pela indústria (mas não apenas nestes), os protocolos são elaborados pelo patrocinador e os dados coletados são integralmente enviados, em estado bruto, para serem analisados pelo patrocinador.
Nesses casos, a contribuição do endereço brasileiro participante da pesquisa de altíssimo “impacto” não foi muito além de incluir pacientes e executar os procedimentos previstos no protocolo (além, naturalmente, de receber a remuneração pelos pacientes captados).
Dos 13 ensaios clínicos de alto “impacto”, seis foram financiados pela indústria de medicamentos ou de equipamentos. Os sete restantes foram financiados por entidades públicas ou privadas sem fins lucrativos, como o NIH, a União Européia, etc.
Muito mais do que a imaginação, a originalidade, a invenção, a quebra de conceitos estabelecidos, o “impacto” como indicador de mérito ou relevância dessas pesquisas decorre da maneira pela qual ela é realizada.
Mediante a construção de grandes redes de pesquisadores, todos tratando de captar pacientes sobre os quais é aplicado um protocolo padronizado. Meneghini e Packer, aliás, chamam a atenção sobre esse fato quando registram uma média alta de autores e de países participantes por artigo.
A realização de ensaios clínicos financiados pela indústria ou por outras instituições externas, no Brasil, não deve ser desestimulado ou contido, desde que garantidos padrões éticos e práticas republicanas de remuneração por paciente captado.
No entanto, penso que vai uma imensa distância entre reconhecer os benefícios ao participar deles e colocá-los no Panteão da pesquisa brasileira. E se estamos fazendo isso é pela persistência na utilização do “impacto” medido por citações como indicador do mérito ou da relevância de nossa produção.
A revista Science acaba de publicar (22/12) aquela que, na opinião de seus editores, foi considerada a pesquisa do ano de 2006 – a solução da Conjuntura de Poincaré pelo matemático russo Grigori Perelman. Pelo critério do “impacto”, Perelman e sua pesquisa não existem. Autor e obra são ausentes na base ISI. Parodiando os advogados, “fora do ISI, fora do mundo”.
Nota 1: Meneghini, R and Packer, AL. 2006. Articles with authors affiliated in Brazilian institutions published from 1994 and 2003 with 100 or more citations. Partes I e II. An Acad Bras Cienc 78.
Fonte: JC e-mail 3169, de 22 de Dezembro de 2006.
“Mais da metade das 25 publicações no setor de saúde humana com mais de 250 citações (13) são ensaios clínicos multicêntricos para o teste de novas drogas ou procedimentos, bem como metanálises de outros ensaios”
Reinaldo Guimarães é médico e vice-presidente de Pesquisa e Desenvolvimento da Fiocruz. Artigo enviado pelo autor ao “JC e-mail”:
Os Anais da Academia Brasileira de Ciências acabam de publicar dois artigos sobre a ciência no Brasil [Nota 1]. Trata-se de mais uma consolidação da presença brasileira na base de dados ISI com o objetivo de construir um “quem é quem” entre nós.
O primeiro artigo discute o peso da colaboração internacional e o papel das redes e o segundo a identificação de núcleos temáticos de excelência. O metro utilizado para a seleção foi o número de citações dos artigos com endereços brasileiros, arbitrado pelos autores em mais de 100, entre 1994 e 2003.
É apresentado também um ranking dos artigos mais citados entre os muito citados: aqueles com mais de 250 citações no período. Foram encontrados 37 artigos nessa categoria entre os 248 citados mais de cem vezes.
O uso continuado dessa base de dados como fonte de análises quantitativas tem provocado um duplo problema. Em primeiro lugar, o mérito e/ou a relevância das contribuições científicas e tecnológicas é remetida a uma categoria difusa denominada “impacto”.
Em segundo lugar, o tal “impacto” é indicado pelo número de vezes que o artigo é citado por outras pessoas em periódicos que são indexados na base de dados que desenvolveu a categoria “impacto”.
A discussão é antiga, mas conforme as redes de colaboração na pesquisa vão se tornando mais e mais extensas e difundidas, essa relação qualidade/impacto/citação vai se tornando, no meu modo de ver, impraticável.
Tomemos os 37 trabalhos considerados mais importantes porque tiveram mais “impacto” porque foram citados mais vezes pelos pares.
A primeira anomalia diz respeito à sua distribuição pelas áreas do conhecimento ou setores de atividade: dois terços (25) são pesquisas no campo da saúde humana.
Muito embora a pesquisa em saúde seja relativamente forte entre nós, essa presença acachapante talvez decorra menos disso do que do modo pelo qual um certo tipo de pesquisa em saúde se organiza em todo o mundo, com uma participação considerável de pesquisadores de países como o Brasil (e, mais importante ainda, de pacientes desses países).
O exame dos 25 artigos após consulta ao Portal Capes (2 artigos não foram encontrados) revela um segundo problema, que me parece ainda mais importante.
Mais da metade das 25 publicações no setor de saúde humana com mais de 250 citações (13) são ensaios clínicos multicêntricos para o teste de novas drogas ou procedimentos, bem como metanálises de outros ensaios.
Estes artigos possuem um número médio de 19 autores. Quatro outros artigos tratam do estabelecimento de consensos clínicos para a orientação da prática médica (média de 23,5 autores) e um artigo que estabeleceu a associação em nível mundial entre o herpes papiloma vírus e o câncer de colo uterino também foi selecionado. Os cinco artigos restantes versam sobre temas variados com uma média bem menor de autores (11).
Na maioria dos ensaios clínicos multicêntricos, em particular aqueles patrocinados pela indústria (mas não apenas nestes), os protocolos são elaborados pelo patrocinador e os dados coletados são integralmente enviados, em estado bruto, para serem analisados pelo patrocinador.
Nesses casos, a contribuição do endereço brasileiro participante da pesquisa de altíssimo “impacto” não foi muito além de incluir pacientes e executar os procedimentos previstos no protocolo (além, naturalmente, de receber a remuneração pelos pacientes captados).
Dos 13 ensaios clínicos de alto “impacto”, seis foram financiados pela indústria de medicamentos ou de equipamentos. Os sete restantes foram financiados por entidades públicas ou privadas sem fins lucrativos, como o NIH, a União Européia, etc.
Muito mais do que a imaginação, a originalidade, a invenção, a quebra de conceitos estabelecidos, o “impacto” como indicador de mérito ou relevância dessas pesquisas decorre da maneira pela qual ela é realizada.
Mediante a construção de grandes redes de pesquisadores, todos tratando de captar pacientes sobre os quais é aplicado um protocolo padronizado. Meneghini e Packer, aliás, chamam a atenção sobre esse fato quando registram uma média alta de autores e de países participantes por artigo.
A realização de ensaios clínicos financiados pela indústria ou por outras instituições externas, no Brasil, não deve ser desestimulado ou contido, desde que garantidos padrões éticos e práticas republicanas de remuneração por paciente captado.
No entanto, penso que vai uma imensa distância entre reconhecer os benefícios ao participar deles e colocá-los no Panteão da pesquisa brasileira. E se estamos fazendo isso é pela persistência na utilização do “impacto” medido por citações como indicador do mérito ou da relevância de nossa produção.
A revista Science acaba de publicar (22/12) aquela que, na opinião de seus editores, foi considerada a pesquisa do ano de 2006 – a solução da Conjuntura de Poincaré pelo matemático russo Grigori Perelman. Pelo critério do “impacto”, Perelman e sua pesquisa não existem. Autor e obra são ausentes na base ISI. Parodiando os advogados, “fora do ISI, fora do mundo”.
Nota 1: Meneghini, R and Packer, AL. 2006. Articles with authors affiliated in Brazilian institutions published from 1994 and 2003 with 100 or more citations. Partes I e II. An Acad Bras Cienc 78.
Fonte: JC e-mail 3169, de 22 de Dezembro de 2006.
postado por Cristina às
8:31 PM
0 Comentários:
Postar um comentário
Assinar Postar comentários [Atom]
<< Página inicial