Ranking de universidades: impactos, pressões e melhorias

Artigo de Eduardo de Carvalho Andrade

“Os impactos dos rankings não se restringem somente aos negócios das IES. Toda a sociedade pode sofrer as suas consequências. Isto porque, caso não sejam bem feitos, o resultado pode ser uma alocação ineficiente de recursos na economia”

Eduardo de Carvalho Andrade, PhD em Economia pela Universidade de Chicago e professor do Ibmec São Paulo. Artigo publicado no “Valor Econômico”:

A divulgação de rankings da qualidade acadêmica de instituições de ensino superior (IES) sempre causa uma celeuma. Na década de 90, o presidente da Universidade de Stanford, uma das mais prestigiosas dos Estados Unidos, escreveu uma carta de protesto contra a revista "US News and World Report" (USNWR), que publica o mais tradicional ranking americano. Ele criticava a metodologia utilizada.

No Brasil, um grupo de IES privadas está articulando a proibição da divulgação de dados das suas avaliações feita pelo Ministério da Educação (MEC). Essas pressões não deveriam surpreender e o MEC não deveria ceder a elas. Ao mesmo tempo, conviria que ele atentasse para algumas questões.

É inegável que os membros da sociedade tomam as suas decisões baseados nos rankings. Empresas disputam os profissionais formados nas escolas líderes. Estudantes querem obter o diploma das mais prestigiosas escolas. E as consequências da posição no ranking são sentidas pelas IES.

Nos Estados Unidos, a evidência indica que uma pior posição no ranking da USNWR é prejudicial para a universidade: uma menor parcela dos alunos aceitos pela universidade decide se matricular; a qualidade das novas turmas, mensurada pela média no teste exigido para admissão, cai; o preço líquido pago pelo aluno é menor porque a universidade tem de ser mais generosa na concessão de ajuda financeira para atrair alunos dentro do menor grupo de candidatos que deseja lá estudar.

No Brasil, num estudo preliminar, os professores Carlos Eduardo Lobo, da PUC do Rio Grande do Sul, Rodrigo Moita, do Ibmec São Paulo, e eu, examinamos os fatores que afetam o market share das IES de administração no Estado de São Paulo. O resultado encontrado sugere que a posição da IES no mais tradicional ranking do país, o Guia do Estudante, afeta significativamente a sua fatia do mercado.

Em particular, este impacto é aproximadamente duas vezes maior, caso a IES receba o conceito cinco estrelas (pontuação máxima no ranking) vis-à-vis outra com quatro estrelas. Diante destes resultados, não é surpreendente que as IES, preocupadas com a viabilidade dos seus negócios, busquem defender os seus interesses. Quando o fazem, questionam com veemência, com bons ou maus argumentos, o aparecimento de rankings que coloquem suas instituições em posição desvantajosa.

No entanto, os impactos dos rankings não se restringem somente aos negócios das IES. Toda a sociedade pode sofrer as suas consequências. Isto porque, caso eles não sejam bem feitos, o resultado pode ser uma alocação ineficiente de recursos na economia.

Uma IES bem posicionada, num ranking que não reflete a realidade, por exemplo, atrairia mais alunos do que deveria, em detrimento de outra de melhor qualidade, mas com pior posição. Assim, a formação média dos novos profissionais seria inferior àquela possível, com impactos negativos sobre a produtividade e o crescimento econômico.

Em vista do exposto, fica evidente a relevância da qualidade de um ranking oficial. O MEC vem realizando um excelente trabalho na coleta de informações sobre as IES e na divulgação, da forma mais transparente possível, do processo de avaliação das mesmas. No entanto, algumas questões deveriam ser foco da sua atenção.

A primeira está relacionada com a aparente preocupação do MEC, por meio do seu ranking, de compilar todas as informações numa só, de forma a chegar às IES campeãs, com as melhores avaliações.

O ranking atual compila três informações: a média das notas dos alunos ingressantes e concluintes no Exame Nacional do Desempenho do Estudante (Enade), a estimativa de quanto a IES agregou ao aprendizado do aluno (o valor adicionado) e a qualidade dos insumos considerados relevantes para o bom funcionamento de uma IES (infraestrutura, recursos pedagógicos, etc).

Na verdade, públicos diferentes desejam informações distintas. Por exemplo, os empregadores estão interessados em saber de quais IES saem os melhores profissionais. Não importa para eles se o aprendizado ocorreu nos bancos escolares, universitários ou nos sofás das casas. Para eles, o relevante é a nota no Enade dos concluintes do curso. Portanto, não faz sentido misturar esta informação com as notas dos ingressantes e nem com as demais.

Já os estudantes podem decidir focar suas decisões no quanto a IES agrega para a sua formação. Desta forma, um ranking baseado somente no valor adicionado é o essencial. Neste caso, no entanto, como este valor adicionado é estimado, é importante deixar claro que as diferenças nos conceitos dados para as IES podem não ser de fato estatisticamente significativos e elas, apesar de receberem notas diferentes, podem na verdade ter a mesma qualidade de ensino.

Por fim, o uso da qualidade dos insumos no ranking é questionável. O importante é o resultado alcançado pelas IES em termos de aperfeiçoamento profissional dos seus alunos, independentemente dos insumos utilizados.

Ao agregar informações, o MEC acaba por misturar "alhos com bugalhos", estipula pesos ad-hoc para cada uma das informações e fica mais vulnerável às criticas. O fundamental é fornecer um leque amplo de diferentes tipos de informações para a sociedade e deixar que ela o utilize da melhor maneira.

A segunda questão a ser levada em consideração pelo MEC é não incorrer na tentação de alterar constantemente a metodologia do ranking. Um ranking oficial funciona como um marco regulatório do governo. Como em outros setores da economia, as IES necessitam de estabilidade das regras do jogo. Isto não impede que, de tempos em tempos, aperfeiçoamentos da metodologia possam ser feitos.

Por fim, o ranking do MEC é baseado na premissa de que notas maiores dos alunos no Enade geram, de alguma maneira, beneficio para a sociedade. No entanto, não existe evidência de que estas se traduzam ou em profissionais mais produtivos, ou com maiores salários, ou qualquer outro indicador definido por sucesso pela sociedade. A busca dessa comprovação é fundamental. Sem ela, corre-se o risco de se focar num alvo diferente da qualidade da educação.

O MEC deu um passo importante com o ranking. Convém continuar nesta trilha e aperfeiçoá-la. A sociedade só tem a ganhar com a melhoria da qualidade das informações sobre as IES.
(Valor Econômico, 12/2)

Fonte: JC e-mail 3701, de 12 de Fevereiro de 2009.

Academic Rank of Authors Publishing in Open Access Journals

Nowick, Elaine A. 2008. “Academic Rank of Authors Publishing in Open Access Journals.” Agricultural Information Worldwide, v. 1, no. 2, pp. 45-51.

When deciding where to publish their research results, faculty take into consideration factors such as the prestige and readership of journals. The weight a journal article will carry is particularly a concern for pre-tenured faculty members. Previous research has indicated that some faculty members may have some concerns about publishing in Open Access journals because of a perceived lack of rigor and reputation of Open Access titles. In this study, the academic rank of authors publishing in Open Access and commercial scholarly journals was compared. Most authors in both Open Access and for-fee journals were full professors. There was no indication that pre-tenured faculty avoided Open Access titles. In fact, there was a slight but significant trend for pre-tenured faculty to publish in Open Access journals.

References

Annual Report on the Economic Status of the Profession: Selected tables; AAUP Academe; 2007, p46, 1p.

Number of Full-Time Faculty Members by Sex, Rank, and Racial and Ethnic Group, Fall 2005; Almanac of Higher Education, 2007-8 Chronicle of Higher Education; 2007 Vol. 54 Issue 1, p24, 1p.

Publishing online-only peer-reviewed biomedical literature: Three years of citation, author perception, and usage experience; Anderson, Kent; Sack, John; Krauss, Lisa; O'Keefe, Lori JEP: The Journal of Electronic Publishing; 2001 Vol. 6 Issue 3.

An examination of citation counts in a new scholarly communication environment; Bauer, Kathleen; Bakkalbasi, Nisa D-Lib Magazine; 2005 Vol. 11 Issue 9.

Open access to scientific publications -- an analysis of the barriers to change?; Bjork, Bo-Christer Information Research; 2004 Vol. 9 Issue 2.

Open Access & Science Publishing -- Results of a Study on Researchers' Acceptance and Use of Open Access Publishing; Hess, Thomas; Wigand, Rolf T.; Mann, Florian; von Walter, Benedikt Management Reports of the Institute for Information Systems and New Media; 2007, Munich : LMU Munich.

Lotka's law, Price's urn, and electronic publishing. Koenig, Michael; Harrell, Toni Journal of the American Society for Information Science; 1995 Vol. 46 Issue 5, p386-388,

Electronic journals in business schools: Legitimacy, acceptance, and use; Palmer, Jonathan; Speier, Cheri; Wren, Daniel; Hahn, Susan Journal of the Association for Information Science; 2000 Vol. 1 Issue 2, p1-31, 31p.

Electronic publishing of professional articles: Attitudes of academics and implications for the scholarly communication industry; Schauder, D. Journal of the American Society for Information Science; 1994 Vol. 45 Issue 2, p73-100, 28p.

Tenure and Promotion: Should you publish in electronic journals?; Sweeney, Aldrin E. Journal of Electronic Publishing; 2000 Vol. 6 Issue 2.

Academics; Tomney, Hilary; Burton, Paul F. Journal of Information Science; 1998 Vol. 24 Issue 6, p419-429, 11p.
Ulrich's Periodicals Directory; 2008, New Providence, NJ : Bowker.

DOAJ -- Directory of Open Access Journals

Note: Article Not Yet Deposited In Institutional Repository [01-07-09]

[http://www.unl.edu/libr/liaison/facultysites/nowickElaine/]

Fonte: Scholarship 2.0: An Idea Whose Time Has Come.

Avaliação da pesquisa

Agência FAPESP – Resultados da principal análise sobre a qualidade da pesquisa feita no Reino Unido acabam de ser divulgados. Em reportagem na quinta-feira (18/12), a revista Nature destacou que a maior parte da pesquisa feita nas principais instituições britânicas é considerada de alto nível.

A afirmação é do Research Assessment Exercise (RAE), análise conduzida periodicamente desde 1986 e que determinará como serão distribuídos de 2009 a 2014 e 1,5 bilhão de libras (cerca de R$ 5,3 bilhões) por ano que o governo britânico destina à pesquisa.

Participaram do levantamento 52,4 mil cientistas de 159 instituições de ensino superior. Segundo o RAE, 54% dos trabalhos são considerados de “nível internacional”, 37% de “excelência internacional” e 17% como “liderança mundial”. Apenas 2% dos trabalhos submetidos a análise foram classificados como de nível inferior.

Apesar da divulgação do RAE, as universidades terão que esperar até 4 de março de 2009 para descobrir quanto de orçamento ganharão ou perderão, com base na qualidade de seus trabalhos. “Até lá, os acadêmicos ficarão em estado de dolorosa ansiedade para saber se suas pesquisas serão apoiadas ou se seus empregos correm perigo”, destacou a Nature.

Edições anteriores do RAE levaram a cortes de pessoal em instituições cujos resultados ruins resultaram em quedas significativas no apoio financeiro governamental.

O RAE usa o sistema de análise por pares para julgar a qualidade da pesquisa em 67 áreas do conhecimento. Os avaliadores são pesquisadores britânicos e estrangeiros, de modo a permitir a comparação dos trabalhos com os feitos em outros países.

A avaliação identificou que 49 universidades têm pelo menos uma pesquisa líder mundial entre suas submissões, o que mostra que os trabalhos de qualidade não estão concentrados apenas em algumas instituições.

Uma análise dos resultados do RAE feita pelo Russell Group, que congrega as 20 principais universidades britânicas, verificou que a Universidade de Oxford está em primeiro em relação ao número de pesquisadores classificados como de classe mundial, com 713, seguida por Cambridge, com 653, e pela University College London, com 476.

“O impacto internacional e a qualidade da ciência feita em nossas universidades são uma das mais importantes vantagens econômicas do Reino Unido. Esperamos que os resultados do RAE ajudem a garantir que os fundos sejam canalizados de modo a permitir que nossos pesquisadores continuem a ser bem-sucedidos”, disse Martin Rees, presidente da Royal Society, a academia de ciências britânica.

Esta é a sexta e última edição do RAE, que será substituído a partir de 2013 por outra avaliação, o Research Excellence Framework (REF). O motivo da substituição é que o RAE, baseado na análise por pares, é caro e leva muito tempo para ser feito. Esta nova edição custou 12 milhões de libras (cerca de R$ 42,5 bilhões), mais do que o dobro da anterior. O REF usará outras métricas, como o número de citações das publicações feitas pelos cientistas.

A substituição levantou críticas de parte da comunidade britânica. “Da mesma forma que outros membros do painel [de avaliação do RAE], sinto que por mais que o processo de análise por pares seja elaborado e que consuma muito tempo, ele é muito importante. Seria muito perigoso basear julgamentos em algoritmos. Preocupa-me muito a qualidade dos ressultados de tal avaliação”, disse William Schowalter, da Universidade de Princeton, nos Estados Unidos, que avaliou a pesquisa britânica em engenharia e ciências de materiais.

Uma análise completa dos resultados da avaliação das instituições de pesquisa do Reino Unido feita pelo Research Assessment Exercise será publicada na edição de 1º de janeiro da Nature.

Fonte: Agência Fapesp, 22/12/2008.

O tempo longo dos livros

Colunista debate critério usado para avaliar obras e aferir produção intelectual nas ciências humanas.

O que faz de um livro um clássico? Para o escritor italiano Ítalo Calvino (1923-1985), clássico é o “livro que nunca terminou de dizer aquilo que tinha para dizer” (Por que ler os clássicos?, p. 10/11). Mas quem define se um texto já se calou? A resposta óbvia seria: os leitores. Se um livro continua a ser lido – ou se um texto renasce das cinzas, como acontece freqüentemente –, é porque ainda tem o que falar.

Seria bom se a resposta fosse simples assim... Mas, como os leitores só lêem os livros aos quais têm acesso, regras de mercado e políticas governamentais interferem naquilo que alguém lê ou deixa de ler.

Essa reflexão veio à tona por dois motivos: os cinqüenta anos do lançamento de Vassouras: um município brasileiro de café (1850-1900), de Stanley Stein, comemorados em 2007; e a criação do Qualis livro, novo instrumento de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), órgão do governo que, entre outras atribuições, avalia os cursos de pós-graduação do país.

Qualis é o conjunto de procedimentos utilizados para aferir a qualidade da produção intelectual de professores e alunos dos programas de pós-graduação do país. Criado inicialmente para avaliar e classificar os periódicos científicos, o Qualis hoje também passou a ser usado para avaliar livros – demanda antiga, aliás, da área de humanidades, cujos resultados de pesquisas são difundidos, em grande medida, em livros.

A questão é: como se avalia a qualidade acadêmica de um livro? A discussão esquentou um bocado nos últimos encontros do fórum de coordenadores de programas de pós-graduação em história, ligado à Associação Nacional dos Professores de História (ANPUH). Se o critério de avaliação seguir o mesmo procedimento dos periódicos, dever-se-ia avaliar um livro pelo seu meio de difusão. Ou seja, pela editora que o publica. Seria, no entanto, este um procedimento justo, uma vez que o acesso às editoras não é livre e igual para todos os autores? Para os pesquisadores da área, é consenso que não.

Então, o livro poderia ser avaliado pelo grau de impacto – positivo ou negativo – que gera. Um livro muito citado em sua área é um livro que teve grande impacto. Mas qual é o tempo necessário para um livro circular e ser absorvido em uma área? É possível avaliar o impacto de um livro no mesmo ano, ou no ano posterior, à sua publicação?

A lição de Vassouras

Hoje diversos livros estão sendo inspirados na obra de Stanley Stein, entre eles, As Memórias da Viscondessa: família e poder no Brasil Império, que conta a história de duas poderosas famílias de cafeicultores do século 19.
Voltemos à comemoração do cinqüentenário da publicação de Vassouras. Estaria ele bem classificado no Qualis livro? A julgar pelos critérios da Capes, não necessariamente. Ou, ao menos, não sempre.

Fruto de trabalho de campo realizado em 1947 pelo historiador norte-americano Stanley Stein, a obra foi defendida como tese de doutorado em 1951 em Harvard e publicada em inglês em 1957. A primeira edição brasileira saiu em 1961.

Como o próprio autor recorda, na época seu interesse era estudar a economia e a sociedade das plantations brasileiras de café. Para isso, escolheu a região de Vassouras, no Vale do Paraíba fluminense, sede de algumas das maiores fazendas cafeeiras do país e destino da maioria dos africanos escravizados trazidos para o Brasil ao longo do século 19.

Na interseção entre história e antropologia, Stein utilizou em sua pesquisa fontes até então praticamente desconhecidas pela historiografia brasileira, de inventários post-mortem, empilhados nos cartórios da região, a jongos e entrevistas com descendentes de escravos, gravados em uma pequena bobina de arame.

Comparado por Silvia Lara, professora da Universidade Estadual de Campinas (Unicamp), a uma canela, árvore alta que cresce bem devagar, o livro teve trajetória bem diferente no Brasil e nos Estados Unidos: enquanto lá foi festejado por brazilianistas e especialistas na cultura afro-americana, sendo continuamente reeditado, aqui, depois de um período de sucesso nos anos 1960, quando foi referência nas teses que enfatizavam o caráter violento da escravidão brasileira, foi aos poucos caindo no ostracismo.

Na década de 1970, época que privilegiava estudos mais engajados e debates teóricos mais explícitos, o livro já não causava o mesmo furor. Quer dizer: se fosse avaliado pelo Qualis na década de 1960, quando foi publicado em português, o livro certamente seria bem classificado. Agora, se fosse publicado na década de 1970, o destino de Vassouras seria bem outro. Longe das discussões da moda, o impacto do livro chegava apenas a algumas poucas notas de rodapé.

Moda historiográfica

No livro E o vale era o escravo – Vassouras, século XIX. Senhores e escravos no coração do Império, Ricardo Salles revisita Vassouras para estudar a classe senhorial cafeicultora.
Mas esta história não acaba por aqui. Como acontece com freqüência no mundo da alta costura, a moda historiográfica também muda. E mudou muito no final dos anos 1980, com a valorização dos estudos monográficos de áreas cafeeiras, principalmente aqueles que utilizavam documentos de maneira inovadora e criativa, como Vassouras.

Foi a partir de então que o livro voltou a ganhar a preeminência que tinha mais de vinte anos antes. Hoje, quem diria, o livro voltou a povoar a bibliografia dos cursos de história do país, influenciando novas e novíssimas gerações de historiadores. Que o digam os três livros e o filme lançados entre 2007 e 2008 e inspirados, de diferentes maneiras, no texto de Stein.

Em As Memórias da Viscondessa: família e poder no Brasil Império (Jorge Zahar, 2008), Mariana Muaze conta a história da vida privada das famílias Ribeiro de Avellar e Velho da Silva, que vieram a constituir, no século 19, o núcleo familiar cafeeiro mais poderoso da região de Paty do Alferes, vizinha a Vassouras.

Dialogando freqüentemente com o texto de Stein, Mariana é igualmente inventiva na escolha e no tratamento de suas fontes, que incluem diários, cartas, fotografias e até plantas das fazendas de café. Não é à toa que seu livro, originalmente tese de doutorado defendida na Universidade Federal Fluminense (UFF), ganhou dois prêmios: a Menção Honrosa do Prêmio Jorge Zahar deste ano e o Concurso de Monografias 2007 do Arquivo Nacional.

Diálogo ainda mais intenso é o estabelecido por Ricardo Salles em seu mais recente livro, E o vale era o escravo – Vassouras, século XIX. Senhores e escravos no coração do Império (Civilização Brasileira, 2008). Utilizando como fontes principais os mesmos inventários lidos por Stein cinqüenta anos antes, só que, desta vez, classificando-os em um grande banco de dados hoje disponível para consulta pública na internet, Salles revisitou Vassouras para estudar a classe senhorial cafeicultora, suas relações com a crise política da escravidão brasileira e as relações entre senhores e escravos na região.

O livro Memória do Jongo: as gravações históricas de Stanley J. Stein – Vassouras, 1949 fala sobre a importância das entrevistas com ex-escravos e das gravações de canções e pontos de jongo para o estudo da história e da cultura afro-brasileiras.
Por fim, em Memória do Jongo: as gravações históricas de Stanley J. Stein – Vassouras, 1949, organizado por Silvia Lara e Gustavo Pacheco (Folha Seca/ Cecult, 2007), historiadores e antropólogos, incluindo o próprio Stein, discorrem sobre a centralidade das entrevistas com ex-escravos e das gravações de canções e pontos de jongo para o estudo do que hoje veio a ser chamado de história e cultura afro-brasileira. O livro vem acompanhado de um pequeno tesouro: um CD com as próprias gravações de Stein, que por décadas ficaram guardadas em seu escritório e que pareciam não poder ser recuperadas.

As mesmas canções que inspiraram a recuperação das antigas gravações fizeram com que as historiadoras Hebe Mattos e Martha Abreu colocassem o pé na estrada, em busca dos descendentes de escravos de várias regiões do Vale do Paraíba. Queriam saber se, ainda hoje, eles se lembravam dos pontos de jongo cantados por seus pais, avós e bisavós, e o que guardavam, na memória, dos tempos da escravidão vividos por seus antepassados. O resultado da pesquisa está no DVD Jongos, Calangos e Folias: música negra, memória e poesia e na página virtual de mesmo nome.

Alguém duvida que Vassouras é um livro que não tem ponto final? O texto é o mesmo desde 1957; os leitores é que mudaram. É desejável que seja assim. Talvez o principal risco da proposta de avaliação de livros da Capes seja a possibilidade de interferência em sua trajetória futura. Voltando ao velho e bom Calvino: se o tempo das humanidades é o dos “tempos longos”, que tal considerá-lo, o tempo também, como critério de avaliação?

Keila Grinberg
Departamento de História
Universidade Federal do Estado do Rio de Janeiro
12/12/2008

Fonte: Ciência Hoje On-line, 12/12/2008.