Portal de Periódicos da CAPES

Artigo Acesso aberto Produção Nacional Revisado por pares

BIBTEX RIS

Reflexões críticas sobre os três erres, ou os periódicos brasileiros excluídos

2011; Elsevier BV; Volume: 66; Issue: 1 Linguagem: Português

10.1590/s1807-59322011000100002

1980-5322

Maurício Rocha e Silva,

Science and Science Education

Recentemente CLINICS propos para debate a ideia de que o QUALIS 2010 era passivel de aperfeicoamento, atraves do conceito dos tres erres (Remover periodicos de revisao, Reconhecer outras metricas de avaliacao, Reavaliar periodicos brasileiros).1 Submetido ao debate por pares por ocasiao do II Seminario Satelite para Editores Plenos (ABEC Novembro de 2010), concluiu‐se que idealmente haveria que focalizar num unico erre, a saber, o reconhecimento por parte da CAPES para 2013 das metricas de avaliacao SCImago (cites/document) e SciELO (Impact Factor). Ja demonstramos anteriormente que o Impact Factor ISI THOMSON, unica metrica reconhecida pela CAPES, e praticamente identico ao cites/document da SCImago. A correlacao geral por amostragem entre os dois indices e maior que 0,9 e o coeficiente angular e indistinguivel da unidade. A recente divulgacao da colecao 2009 do SCImago Journal & Country Rank2 junta‐se aos ja divulgados Fatores de Impacto JCR‐ISI e SciELO para aquele ano e permite o cotejo em tempo real dos tres indices. Salientamos que este cotejo nao se aplica a qualquer tabela QUALIS, pois a Tabela 2010 ja e historia e a Tabela 2013 sera decidida no futuro. Em outras palavras, o cotejo que se segue, relativo ao ano 2009, e oferecido como base argumentativa adequada para reivindicar a correcao de curso relativa a exclusao dos indices SCImago e SciELO. Vamos pois ao cenario 2009 como simulacao de uma hipotetica tabela Qualis: na versao 2009 do Journal of Citations Report – ISI a representacao brasileira saltou de 31 a 71 periodicos; ja no SCImago Journal Ranking essa representacao manteve‐se constante em 235 periodicos. Existem, portanto 164 periodicos brasileiros (138 com impacto maior que zero) ausentes da tabela JCR‐ISI. Mantida a norma Qualis aplicada em 2010, estes 138 periodicos cairiam nas categorias “sem fator de impacto”. A Figura 1 mostra a identidade entre ISI e SCImago para as 64 revistas incluidas nos dois indices: o coeficiente angular unitario e o elevado coeficiente de correlacao significam que, conhecendo‐se um dos indices, pode‐se estimar o outro com 95% de probabilidade de errar por menos de 5%. Figura 1 Correlacao entre fatores do impacto J. Citation Reports (ISI – Thomson) e SCImago (2009) para 64 periodicos brasileiros representados nos dois indices com valores maiores que zero. A identidade entre metricas ... A tabela 1 exibe a relacao desses 138 periodicos brasileiros com Cites/Document SCImago > zero, mas sem Fator de Impacto JCR‐ISI. Ressalte‐se que nao sao periodicos de impacto nitidamente mais baixo que os da colecao JCR‐ISI. Os quatro primeiros apresentam impacto > 1.00, o que os colocaria entre os 15 melhores do Brasil. Outros dez apresentam impacto maior que 0.50, acima da mediana dos periodicos brasileiros no JCR‐ISI. Todos os 138 titulos evidentemente fariam jus a classificacao “com fator de impacto”. Tabela 1 Cento e trinta e oito periodicos brasileiros excluidos do QUALIS com Fator de Impacto SCIMAGO (simulacao 2009). Outra correlacao interessante ocorre entre SCImago e SciELO. Em primeiro lugar vale notar que existe extensa concordância: a colecao SCImago contem 235 titulos brasileiros e a colecao SciELO contem 223. As inclusoes nao sao 100% concordante: a colecao SCImago contem 69 periodicos ausentes da colecao SciELO; reciprocamente a colecao SciELO contem 56 periodicos ausentes da colecao SCImago. Por si so esta convergencia revela a consistencia de qualidade dos periodicos incluidos na colecao SciELO. E facil intuir que, para qualquer periodico brasileiro incluido nas duas colecoes, ha que se esperar que o impacto SCImago seja maior que o SciELO, porque a colecao SCImago contem 18.732 periodicos, contra apenas 759 na colecao SciELO. Surpreendentemente, porem, o efeito dessa enorme desproporcao entre bases de dados e menor do que o esperado, como se pode ver a figura 2: dentre os 142 periodicos brasileiros presentes nas duas colecoes apenas 88 (62%) apresentam SCImago > SciELO, enquanto 45 (32%) apresentam SciELO > SCImago e nove (6%) apresentam igualdade. Esta discrepância entre o esperado e o observado merece estudo bibliometrico adicional, mas uma boa hipotese seria que artigos brasileiros citam outros artigos brasileiros com mais intensidade em virtude de um pronunciado interesse local especifico. A correlacao entre os impactos (Figura 3) e igualmente reveladora: o coeficiente angular (0,54) sugere que o impacto medio SciELO e apenas 40% menor que o impacto SCImago. Ja o alto indice de correlacao (r2  =  0.62; p SciELO a diferenca e frequentemente grande ... Figura 3 Correlacao entre fatores do impacto SciELO e SCImago (2009) para 142 periodicos brasileiros representados nos dois indices com valor maior que zero. O coeficiente angular indica um angulo de 28° e um impacto SciELO ... Caso a CAPES reconheca o Cites/Document SCImago estara resgatada a maior parte dos periodicos brasileiros com impacto > 0. Porem a Tabela 2 mostra que, se a decisao fosse tomada neste momento restariam 35 periodicos brasileiros com impacto SciELO maior que zero mas ausentes do JCR‐ISI e do SCImago. Aqui tambem encontramos impactos nao triviais: quatro periodicos apresentam impactos maiores que a mediana da colecao ISI. Sem esquecer a forte possibilidade de que estes 35 impactos SciELO infra‐estimem o que seriam seus impactos ISI ou SCImago. Tabela 2 Trinta e cinco periodicos brasileiros excluidos do QUALIS com Fator de Impacto SciELO (simulacao 2009). Desta simulacao, podemos concluir que teriamos 173 periodicos brasileiros com IMPACTO > ZERO tratados como “SEM FATOR DE IMPACTO” pelo QUALIS caso a avaliacao fosse agora e caso os criterios 2010 fossem repetidos. Sabemos que esta “simulada exclusao” nao e estatica: quando a tabela Qualis “fechar” para a proxima avaliacao muita coisa tera mudado: dentre elas, com certeza, as tabelas ISI‐JCR, SCImago e SciELO, bem como (esperamos!) os criterios CAPES de avaliacao. Mas defendemos a tese de que reconhecer tao somente o Fator de Impacto ISI‐JCR nao seria logico. Por isso entendemos que esta simulacao e a base racional para um alerta, em tempo, pela adocao de novos criterios. NOTA: este editorial e publicado por CLINICS livre de restricoes de copyright. Oferecemo‐lo aos periodicos cientificos brasileiros para reproducao integral ou parcial. Alternativamente sugerimos que apoiem esta ideia, em editoriais originais. Tais acoes sinalizarao nossa vontade politica de exercer o direito republicano de peticionar perante o poder publico em defesa desta que e uma reivindicacao legitima e generalizada da comunidade editorial cientifica brasileira.