Servicios Personalizados
Revista
Articulo
Indicadores
- Citado por SciELO
Links relacionados
- Similares en SciELO
Compartir
Biblios
versión On-line ISSN 1562-4730
Biblios no.71 Pittsburgh abr./jun. 2018
http://dx.doi.org/10.5195/biblios.2018.468
ORIGINAL
Avaliação de impacto de periódicos brasileiros de extensão universitária
Impact assessment of Brazilian university extension periodicals
Geraldo Ceni Coelho
Universidade Federal da Fronteira Sul - UFFS, Brasil
Resumo
Objetivo. Os periódicos acadêmicos multidisciplinares revisados por pares dedicados à extensão universitária (ReX) são relativamente numerosos no Brasil. Estudos sobre seu impacto são escassos. O objetivo desta investigação foi verificar se as ReX apresentam diferenças bibliométricas em relação a outros periódicos multidisciplinares brasileiros (RMulti). Método. Foram calculados índices de citação, tendo como base o mecanismo de busca Google Acadêmico (GA) para os dois grupos. Ainda, foi avaliada a relação entre os índices e a classificação WebQualis. Resultados. Verificou-se que o fator de impacto baseado nas citações do GA (FGA) é bastante variável entre os periódicos, e não difere entre os grupos. O índice h5 (GA) apresenta uma correlação não significativa com o FGA quanto se consideram todos os periódicos (r2 = 0,51, P = 0,0686). Entre as RMulti, observa-se uma alta correspondência entre a maior classificação WebQualis e o fator de impacto baseado no GA (FGA), assim como entre a mediana WebQualis e o FGA. Por outro lado, tal correspondência não é observada entre as ReX. Conclusões. As ReX tem uma valorização, no Webqualis, aquém de seu impacto.
Palavras-chave: Cientometria; Extensão universitária; Índice de Hirsch; Periódicos eletrônicos; Pós-graduação
Abstract
Objective. The academic multidisciplinary journals peer reviewed dedicated to the university extension (ReX) are relatively numerous in Brazil. Investigations on their impact are scarce. The aim of this research was to verify if the ReX present bibliometric differences in relation to other Brazilian multidisciplinary journals (RMulti). Method. Citation parameters were obtained from the search engine Google Scholar (GA) for journals of the two groups. In addition, the relation between the citation parameters and the Brazilian WebQualis classification was analyzed. Results. The impact factor based on the GA search engine (FGA) is widely variable and did not differ between the groups. The h5 index (GA) did not present a significant correlation with the FGA taking into account all the journals (r2 = 0.51, P = 0.0686). Among the RMulti there is a great correspondence between the higher WebQualis ranking and the FGA, and also between the median WebQualis ranking and the FGA. On the other hand, such relationship was not observed among the ReX. Conclusions. Considering their impact, it was concluded that the ReX is undervalued in the WebQualis.
Keywords: Electronic journals; Graduation; Hirsch Index; Scientometrics; University extension
1 Introdução
A comunicação acadêmica escrita sempre foi importante para divulgar achados científicos e opiniões. Os resultados de qualquer investigação devem ser disponibilizados publicamente, com o intuito de tornar acessível a informação e realimentar o processo de produção e comunicação científica (VANZ; CAREGNATO, 2003).
A partir do final do século XVII e a criação dos primeiros periódicos científicos, a comunicação na forma de artigos foi gradativamente crescendo em importância, ocupando espaço antes reservado aos livros e cartas. Com o crescimento da produção intelectual, surgiu também o trabalho de avaliação da qualidade dos artigos submetidos através da atuação de pareceristas e dos editores, um processo denominado avaliação por pares e amplamente usado atualmente (LETA, 2011). Estima-se que o número de artigos publicados anualmente se aproxime do montante de um milhão. Ao longo dos últimos três séculos, a humanidade ultrapassou o número de 50 milhões de artigos já publicados (JINHA, 2010).
A extensão universitária, atividade acadêmica caracterizada pela interação entre a universidade e a comunidade externa, surgiu no século XIX, e é também denominada como a terceira missão (third mission), além do ensino e da pesquisa (COELHO, 2014a, TEIXEIRA, 2015). Embora não seja, a princípio, dedicada à produção de conhecimentos novos, a comunidade extensionista passou a sentir a necessidade de comunicar experiências e observações a seus pares, buscando o aperfeiçoamento dos procedimentos metodológicos e gerando reflexões sobre as suas práticas. Além disso, a própria extensão universitária passou a se constituir um objeto de estudo, em vários aspectos: seu impacto sobre a comunidade externa, sobre a comunidade acadêmica, e a diversidade de metodologias utilizadas. A produção de comunicações em forma de artigos oriundos das experiências extensionistas ganhou mais espaço a partir da criação de periódicos especializados nesta área. O mais antigo periódico dedicado ao tema é o Journal of Extension, iniciado em 1963, nos Estados Unidos, país de grande tradição nesta atividade (COELHO, 2014b).
No Brasil, os primeiros periódicos dedicados à extensão universitária (ReX) surgem a partir do final dos anos 1980. O periódico ‘Desafio’, ativo entre 1988 e 1990, da Universidade Federal do Ceará, é possivelmente o primeiro, excetuando-se aqueles dedicados exclusivamente à Extensão Rural. Nos anos 1990, diversos periódicos de extensão universitária surgem no Brasil, embora somente três destes sejam ainda ativos: Expressa Extensão, ParticipAção Rev. do Decanato de Extensão da UnB, e Em Extensão (COELHO, 2014b).
Na década atual, o número de periódicos nesta modalidade cresceu expressivamente, chegando próximo aos 30 em atividade, em 2014. O fenômeno é digno de nota, visto que o número de ReX brasileiros é maior do que o número desta categoria de periódicos em todos os demais países da América, incluindo os Estados Unidos (COELHO, 2014b). Estudos sobre este fenômeno de publicação são escassos. Recentemente, a qualidade editorial e o conteúdo veiculado nos ReX têm atraído a atenção (FIRME et al., 2016). A inserção destes periódicos no meio acadêmico e o reconhecimento do seu valor são desafios em destaque pela comunidade de extensionistas universitários.
O impacto e a qualidade editorial dos periódicos científicos tem sido um objeto de estudo da Cientometria, campo iniciado no século XX e intensificado a partir dos anos 1960. De um modo geral, a Cientometria busca traduzir, através de números, a análise da qualidade e importância das publicações, seja de pesquisadores, periódicos ou países. As variáveis mais utilizadas nos estudos cientométricos são: a. número de publicações; b. número de co-autorias c. número de citações (LETA, 2011). Os autores produzem seus trabalhos com a contribuição de obras precedentes, o que se traduz na apresentação de uma lista de referências bibliográficas ao final dos artigos e outras produções bibliográficas. A lista de referências compõe o conjunto de citações de um trabalho (VANZ; CAREGNATO, 2003).
A mensuração do número de citações tomou forma através de diversos índices. Possivelmente, o mais popular é o Fator de Impacto, proposto por E. Garfield pela primeira vez em 1955 (GARFIELD, 2006). Atualmente, é comumente utilizado para avaliar periódicos. Além deste parâmetro, outros índices e variáveis têm sido propostos, tais como o número total de citações, a meia-vida de citação, a imediatez (immediacy index) e o índice SJR, que leva em conta o prestígio das revistas nas quais as citações são encontradas, e é calculado de forma iterativa (BOLLEN et al. 2009, DELGADO-LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013).
O fator de impacto é usualmente calculado a partir de bases bibliométricas e indexadoras, e as mais conhecidas são o JCR (Thomson Reuters) e as bases SCImago/SCOPUS. Deste modo, o valor obtido se refere apenas às citações realizadas em itens publicados nos periódicos indexados nas respectivas bases. Se, por um lado, esta indexação oferece confiabilidade ao índice, por outro lado não permite conhecer o fator de impacto de periódicos que não fazem parte das bases citadas, altamente seletivas.
Dados bibliométricos também podem ser obtidos a partir de outros mecanismos. Possivelmente, a alternativa mais popular tem sido o Google Acadêmico. A partir do lançamento do Google Metrics, o GA passou a apresentar também dados bibliométricos independentes. Na medida em que o GA não é uma base indexadora, que controla a qualidade das fontes bibliográficas, até que ponto este instrumento é confiável para gerar avaliações bibliométricas? Diversos estudos já foram publicados sobre esta matéria controversa. Embora seja possível verificar que o GA apresenta limitações por não controlar as fontes de informação, por duplicar determinadas publicações (mais de uma versão da mesma publicação), e por depender da acurácia dos metadados fornecidos pelos editores, entre outras limitações (JACSÓ, 2012, DELGADO-LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013), considera-se que os erros bibliométricos gerados são da ordem de 0,5% (HARZING, 2013).
As já consagradas bases bibliométricas SCImago e JCR incluem quase que exclusivamente literatura em língua inglesa, excluindo bibliografia importante em nível regional ou em certas áreas do conhecimento (HICKS et al., 2015). Desta forma, o uso de dados bibliométricos alternativos pode contribuir para avaliar melhor esta produção intelectual não incluída nos cálculos de fator de impacto, e outros índices bibliométricos disponíveis.
A classificação WebQualis, criada pela CAPES para avaliação da produção intelectual dos programas de Pós-Graduação stricto sensu no Brasil, utiliza diferentes índices derivados das bases SCOPUS/SCImago, JCR e ScieLO para confeccionar uma classificação dos periódicos, e assim atribuir pontuação à produção intelectual na forma de artigos (BARATA, 2016). Entre eles, ganha destaque o Fator de Impacto, o número de citações por item citável e o índice h.
Por outro lado, muitos periódicos que veiculam a produção intelectual oriunda dos Programas de Pós-Graduação, não estão indexados nas bases JCR ou SCImago. É digno de nota que, mesmo nos estratos superiores do Qualis (B1 a A1) para as diferentes áreas de avaliação (comitês), uma proporção variável de periódicos não está indexada nessas bases; este percentual varia entre 2% na área denominada Medicina III até 99% para a área de Teologia, com uma média de 36% entre as 60 diferentes áreas (SOMA et al., 2016). Assim, os comitês avaliadores devem utilizar outros critérios para estabelecer a classificação WebQualis dos periódicos. Entre estes critérios, incluem-se a indexação em outras bases, a periodicidade, a regularidade, a diversificação do Corpo Editorial, a revisão por pares e a relevância de cada periódico para a área em questão (BARATA, 2016).
Este artigo apresenta uma análise das citações e do fator de impacto de um conjunto de periódicos de extensão universitária, tendo como fonte de dados o mecanismo de busca Google Acadêmico (GA). Para fins de comparação, um conjunto de periódicos científicos de escopo multidisciplinar foi analisado segundo os mesmos parâmetros. Os dados são contrastados com a classificação WebQualis, obtida a partir da Plataforma Sucupira.
O objetivo geral do trabalho foi verificar se as revistas acadêmicas revisadas por pares e dedicadas à extensão universitária, de caráter multidisciplinar, apresentam diferenças bibliométricas em relação a outras revistas multidisciplinares.
2 Metodologia
Critérios de inclusão
Os periódicos analisados foram incluídos com base no atendimento aos seguintes critérios:
a) Ano de criação anterior a 2006 (tempo de criação > 10 anos);
b) Edição eletrônica com o uso da plataforma SEER/OJS;
c) Revisão por pares.
Sete periódicos de extensão universitária brasileiros atenderam a estes critérios. Para efeitos de comparação, cinco outros periódicos foram selecionados, com o critério adicional de terem em seu escopo uma abrangência multidisciplinar. Todos os periódicos são identificados pelo seu ISSN.
O tempo de criação foi definido como critério de seleção, pois o prestígio do periódico pode interferir na citação, e periódicos muito novos podem não ter ainda alcançado visibilidade ou reputação consolidada. O uso da Plataforma SEER/OJS foi estabelecido como critério, pois a estrutura dos metadados pode interferir no acesso aos mecanismos de busca do GA.
O fator de impacto foi calculado a partir das citações verificadas no Google Acadêmico com o uso da equação:
Fi = A / B
Na qual
F é o fator de impacto
A é o número de citações observadas no ano i para os trabalhos publicados nos dois anos anteriores
B é número de trabalhos publicados nestes dois anos anteriores
i = 2016
A intensidade de citação (Ic) foi obtida por:
Ic = D / Cj
Em que C é o número de trabalhos publicados no ano j e D é o número de citações destes trabalhos verificadas nos dois anos subseqüentes. Para este índice considerou-se j = 2014.
Este índice é similar ao chamado impacto acumulado, que pode se referir a um intervalo de citação variável em número de anos (GARFIELD, 2006).
As citações foram computadas apenas entre 2015 e 2016, ou seja, citações de 2014 e de 2017 não foram incluídas. As citações foram obtidas a partir do engenho de busca Google Acadêmico (GA), manualmente. As citações no GA podem conter erros, que superestimam ou subestimam as citações de uma publicação. Os erros de superestimação mais freqüentes são: duplicação de registros para a mesma referência, em línguas diferentes (mais comumente português e inglês ou espanhol e inglês); citações indevidas em função de erros contidos nos metadados ou similaridade entre títulos de publicações diferentes do(s) mesmo(s) autor(es) (por exemplo, uma tese e um artigo com o mesmo título); citações com ano incorreto, o que pode levar a uma citação anterior à própria publicação do trabalho (erros nos metadados é uma causa possível para isto). A subestimação também pode ocorrer por conta da ausência do campo de metadados denominado ‘Referências’ na Plataforma SEER/OJS dos periódicos avaliados. Assim como outros engenhos de busca ou bases bibliométricas, o GA utiliza preferencialmente uma busca a partir dos metadados da publicação, e não diretamente do arquivo pdf. Assim, se um determinado periódico desativa este campo de metadados, as citações podem não ser registradas. Infelizmente, isto é bastante comum entre os usuários da Plataforma SEER/OJS. Para este trabalho, as citações foram conferidas, no sentido de eliminar os casos espúrios que poderiam gerar superestimação, a partir dos exemplos citados acima.
Para as ReX,foram considerados itens citáveis, válidos para contagem artigos, relatos de experiência e entrevistas. Editoriais e resenhas não foram considerados.
As fontes de citação foram classificadas em artigos em periódicos, teses de doutorado, dissertações de mestrado, trabalhos em anais de eventos, e outros. Para verificar se há diferenças na proporção de citações oriundas de artigos em periódicos, comparou-se os dados dos dois subconjuntos de periódicos (de extensão universitária e outros multidisciplinares) através de um teste de qui-quadrado, agrupando os dados em apenas duas categorias: citações em periódicos e citações em outras fontes bibliográficas.
A classificação WebQualis foi obtida a partir da Plataforma Sucupira (CAPES, 2016), tendo como base a classificação 2015, a mais recente disponível.
3 Resultados
Para as revistas de extensão Universitária (ReX), foram computadas um total de 68 citações entre 2014 e 2016 e um total de 377 itens citáveis publicados no mesmo período. As citações em artigos publicados em periódicos predominam, com 73,5% (Figura 1). As revistas multidisciplinares (RMulti) apresentaram um total de 80 citações para 272 itens publicados, no mesmo período. As citações correspondentes a artigos em periódicos correspondem a 58,8%. Entretanto, não foi observada diferença estatisticamente significante (teste de qui-quadrado, P= 0,594) entre os dois grupos de periódicos na proporção de citações referentes a artigos em periódicos. Por outro lado, 20% das citações das ReX em artigos são citações em ReX, o que corresponde a 14,7% do total das citações.
Tendo em vista o conjunto das citações em todos os periódicos analisados, as citações referentes a artigos em periódicos revisados por pares, correspondem a 65,5%.
As citações das ReX em teses e dissertações correspondem a 10,3% e para as RMulti estas categorias corresponderam a 20,0% do total de citações dos artigos publicados.
De todos os periódicos analisados (n=12) apenas dois apresentam o campo de metadados ‘referências’. A ausência deste campo dificulta que o GA compute todas as citações efetivamente realizadas, subestimando os índices. Esta subestimativa foi confirmada por alguns testes (dados não mostrados), através dos quais verificou-se que citações presentes em arquivos pdf não foram contabilizadas pelo GA.
O número de artigos publicados entre 2014 e 2015 e não-citados é bastante variável: de 60-100 % nas ReX (média = 85,5) e de 56-98% nas RMulti (média = 80,3). Três periódicos ReX e dois periódicos RMulti apresentaram mais de 90% de artigos sem citação (Tabela 1).
Observou-se grande variação quantos aos índices Ic e FGA entre as ReX, bem como entre as RMulti (Tabela 1). O índice h5, não disponível para todos os periódicos, apresenta uma correlação não significativa com o FGA quanto se consideram todos os periódicos (n=7, r2 = 0,51, P = 0,0686).
A correlação entre Ic e FGA é alta e significativa (r2 = 0,880, P <0,0001). Entretanto, os valores de Ic tendem a ser mais altos.
Entre as RMulti, observa-se uma alta correspondência entre a maior classificação WebQualis e o FGA, assim como entre a mediana WebQualis e o FGA. Por outro lado, tal correspondência não é observada entre as ReX (Tabela 1).
4 Discussão
Entre as revistas de extensão universitária, observa-se uma grande variabilidade em termos de citações. Por que os trabalhos publicados em algumas revistas são mais citados do que os de outras? Embora à primeira vista o Fator de Impacto possa parecer uma medida da importância ou do valor de um trabalho ou um conjunto de trabalhos publicados, este julgamento pode ser precipitado. O fator de impacto é muito mais uma medida de utilidade ou relevância, especificamente aplicada ao trabalho no qual ele é citado, em lugar de ser uma medida de valor em si (GARFIELD, 1979). Existem, por outro lado, diversos fatores que levam à escolha das referências citadas: o prestígio do periódico e dos autores, ou mesmo das instituições a que estes periódicos e autores estão vinculados, ou a existência de citações anteriores por parte de outros autores de prestígio, o que leva a um efeito multiplicador: trabalhos bem citados tendem a ser repetidamente citados (WANG et al., 2013). Poderíamos acrescentar ainda a visibilidade dos periódicos e o esforço que eventualmente as equipes editoriais fazem para divulgá-los. Certos autores como Garfield (1972) e Bornmann e Daniel (2008) listam pelo menos 15 razões para explicar a citação de um trabalho. Por outro lado, estes últimos autores apontam, através de uma ampla revisão bibliográfica, que as razões assim chamadas normativas (reconhecimento do valor conceitual ou metodológico de trabalhos anteriores) são amplamente dominantes.
Supostamente, artigos publicados em ReX poderiam interessar prioritariamente a outros autores que publicam em ReX. Porém, somente cerca de 15% das citações de artigos de ReX foram citados em outras ReX. Entretanto, o universo de ReX não é tão grande (COELHO, 2014b), e uma avaliação mais profunda deste índice requer um aprofundamento e comparações com outros campos acadêmicos. Deste modo, os dados disponíveis e a análise realizada não é suficiente para esclarecer se a natureza das publicações interere na citação.
Por outro lado, um grande número de referências, sem ao menos uma citação chama a atenção. Isto poderia indicar que os autores reconhecem pouco o trabalho e as publicações de seus colegas extensionistas publicados em ReX, ou pode indicar ainda que os autores preferem se comunicar com trabalhos de sua área de conhecimento e formação acadêmica. Dentro do ISI/Web of Science, cerca de 50% dos artigos publicados não recebem citações, mesmo após um longo período (REDNER, 1998). Dados mais recentes indicam que o índice mundial de artigos não citados pode ser menor: 19% dos artigos de 2014 em periódicos indexados na base Scopus/Scimago não apresentam citação (SCIMAGO, 2017). Artigos publicados por autores brasileiros entre 2014-2015, em periódicos multidisciplinares indexados na base Scopus/Scimago (n=458), apresentam uma proporção de 48% de artigos não citados. Assim, um número superior a 90% pode ensejar preocupação em termos de critérios de aceitação por parte dos periódicos. Por outro lado, observa-se grande variação entre periódicos ReX, e dois deles apresentam uma proporção de artigos não citados inferior a 80% (a média geral é 85,5%). Razões para estas discrepâncias entre periódicos requerem mais investigação.
A ausência de correlação entre o índice h5 (GA) e o FGA pode ser explicada em boa parte pela grande proporção de artigos não citados, fator que afeta somente o segundo índice. Por outro lado, revistas mais seletivas (com maior índice de rejeição) poderão ser mais favorecidas quanto ao segundo índice, sem que isto interfira no h5. Já o Ic apresenta alta correlação com o FGA. Porém, os valores do Ic tendem a ser mais altos, o que pode favorecer a análise dos periódicos em posições inferiores, em termos de citação.
A classificação Qualis corresponde satisfatoriamente ao FGA no caso das RMulti. O mesmo não é observado para as ReX. Na avaliação Qualis, os Comitês CAPES podem levar em conta outros fatores, além do índice de impacto, da indexação e dos critérios de qualidade editorial e circulação, tais como periodicidade, regularidade, corpo editorial diversificado, revisão por pares. Entre estes outros critérios, a falta de relevância do periódico para a área pode determinar a queda da classificação de um periódico um ou dois níveis (BARATA, 2016). Se, por exemplo, um periódico deve ser classificado em B1, considerando os critérios prioritários de avaliação (fator de impacto Web of Science, indexação, estrutura editorial), pode passar a B2 ou B3 caso não apresente conexão direta com a área do conhecimento. Este procedimento atinge particularmente as revistas multidisciplinares, visto que tendem a não se conectar com nenhuma área disciplinar em específico. Porém, se compararmos o grupo das ReX com as RMulti, percebe-se que as primeiras estão sendo mais afetadas por este tipo de critério, ou critérios subjetivos adicionais. Este dado poderia corroborar a desconexão tradicional entre a extensão e a pós-graduação stricto sensu (MOITA; ANDRADE, 2009), embora esta integração seja possível e frutífera (ROCHA, 2003). Porém, os trabalhos publicados nas ReX também se incluem nas listas de referência das teses e dissertações, de acordo com os dados aqui apresentados. Por outro lado, a desvalorização da publicação em revistas multidisciplinares desconsidera o expressivo aporte do conhecimento de outras áreas para o desenvolvimento acadêmico em diversos campos (MORAES; CARELLI, 2016), além de inibir o desenvolvimento e a publicação de trabalhos multidisciplinares (BREMBS et al., 2013).
Os resultados apontam para a necessidade de novos estudos, objetivando responder por que certos periódicos de extensão possuem índices tão baixos de citação, e o que determina a alta discrepância entre eles. Preliminarmente, os editores devem estar atentos ao aprimoramento dos padrões de qualidade editorial, e à busca de divulgação mais ampla de suas publicações. Ampliar o espectro de autores e de avaliadores (incluindo os referees ad hoc), e a rede de conexões entre autores, publicações e citações (exigindo revisões bibliográficas mais amplas e qualificadas) podem ser medidas auxiliares, considerando que as citações são fortemente influenciadas pela rede de conexões e relações entre autores (BREMBS et al., 2013, LI et al., 2013).
De outra parte, os critérios WebQualis devem ser repensados, visto que a interdisciplinaridade pode estar sendo inibida, tendo em vista os critérios atuais.
5 Agradecimentos
A Paulo Roger L. Alves (UFFS), que gentilmente revisou uma versão preliminar deste artigo.
Referências
BARATA, R. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, v. 13, n. 1, p. 13-40, 2016. [ Links ]
BOLLEN, J.; VAN DE SOMPEL, H.; HAGBERG, A.; CHUTE, R. A principal component analysis of 39 scientific impact measures. PloS One, v. 4, n. 6, e6022, 2009. [ Links ]
BORNMANN, L. DANIEL, H.-D. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, v. 64, n. 1, p. 45-80, 2008. [ Links ]
BREMBS, B.; BUTTON, K.; MUNAFÒ, M. Deep impact: unintended consequences of journal rank. Frontiers in human Neuroscience, v. 7, 2013. [ Links ]
CAPES. Plataforma Sucupira. Brasilía: CAPES, 2016. Disponível em < https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/veiculoPublicacaoQualis/listaConsultaGeralPeriodicos.jsf > Acesso em: 07 maio 2017. [ Links ]
COELHO, G. C. O papel pedagógico da Extensão Universitária. Em Extensão, v. 13, n. 2, p. 11-24, 2014a. [ Links ]
COELHO, G. C. Revistas acadêmicas de extensão universitária no Brasil. Revista Brasileira de Extensão Universitária, v. 5, n. 2, p. 69-75, 2014b. [ Links ]
DELGADO-LÓPEZ-CÓZAR, E.; CABEZAS-CLAVIJO, Á. Ranking journals: could Google scholar metrics be an alternative to journal citation reports and Scimago journal rank? Learned Publishing, v. 26, n. 2, p. 101-113, 2013. [ Links ]
FIRME, S. M.; CORREA, T. P. P.; MIRANDA, A. C. D.; SHINTAKU, M. Revistas de extensão e o acesso aberto ao conhecimento: mapeamento dos periódicos eletrônicos no Brasil. Ágora, v. 26, n. 52, p. 151-178, 2016. [ Links ]
GARFIELD, E. Citation analysis as a tool in journal evaluation journals can be ranked by frequency and impact of citations for science policy studies. Science, v. 178, p. 471-479, 1972. [ Links ]
GARFIELD, E. Is citation analysis a legitimate evaluation tool? Scientometrics, v. 1, n.4, p. 359-375, 1979. [ Links ]
GARFIELD, E. The agony and the ecstasy - the history and meaning of the journal impact factor. JAMA, v. 295, n. 1, p. 90-93, 2006. [ Links ]
HARZING, A. W. A preliminary test of Google Scholar as a source for citation data: a longitudinal study of Nobel prize winners. Scientometrics, v. 94, n. 3, p. 1057-1075, 2013. [ Links ]
HICKS, D.; WOUTERS, P.; WALTMAN, L.; DE RIJCKE, S.; RAFOLS, I. The Leiden Manifesto for research metrics. Nature, v. 520, n. 7548, p. 429, 2015. [ Links ]
JACSÓ, P. Google Scholar author citation tracker: is it too little, too late? Online Information Review, v. 36, n. 1, p. 126141, 2012. [ Links ]
JINHA, A. E. Article 50 million: an estimate of the number of scholarly articles in existence. Learned Publishing, v. 23, n. 3, p. 258263, 2010. [ Links ]
LETA, J. Indicadores de desempenho, ciência brasileira e a cobertura das bases informacionais. Revista USP, n. 89, p. 62-67, 2011. [ Links ]
LI, E. Y.; LIAO, C. H.; YEN, H. R. Co-authorship networks and research impact: A social capital perspective. Research Policy, v. 42, n. 9, p. 1515-1530, 2013. [ Links ]
MOITA, F. M. G. S. C.; ANDRADE, F. C. B. Ensino-pesquisa-extensão: um exercício de indissociabilidade na pós-graduação. Revista Brasileira de Educação, v. 14, n. 41, p. 269-280, 2009. [ Links ]
MORAES, M.; CARELLI, A. E. A interdisciplinaridade na Ciência da Informação pela perspectiva da análise de citações. Em Questão, v. 22, n. 1, p. 137-160, 2016. [ Links ]
REDNER, S. How popular is your paper? An empirical study of the citation distribution. The European Physical Journal B-Condensed Matter and Complex Systems, v. 4, n. 2, p. 131-134, 1998. [ Links ]
ROCHA, P. E. D. Trajetórias e perspectivas da interdisciplinaridade ambiental na pós-graduação brasileira. Ambiente & Sociedade, v. 6, n. 2, p. 155-182, 2003. [ Links ]
SCimago. SJR - SCImago Journal & Country Rank. Disponível em: <http://www.scimagojr.com > Acesso em: 07 maio 2017. [ Links ]
SOMA, N. Y.; ALVES, A. D.; YANASSE, H. H. O Qualis Periódicos e sua utilização nas avaliações. Revista Brasileira de Pós-Graduação, v. 13, n. 1, p. 2016. [ Links ]
TEIXEIRA, P. N. Extensão universitária na europa: a terceira missão. Entrevista concedida a Manoel Maximiano Junior. Revista Brasileira de Extensão Universitária, v. 6, n. 1, p. 59-62, 2015. [ Links ]
VANZ, S. A. S.; CAREGNATO, S. E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão, v. 9, n. 2, p. 295-307, 2003. [ Links ]
WANG, D.; SONG, C.; BARABÁSI, A.-L. Quantifying long-term scientific impact. Science, v. 342, n. 6154, p. 127-132, 2013. [ Links ]
Dados do autor
Geraldo Ceni Coelho
Doutor em Ciências Farmacêuticas, Mestre em Botânica, Professor Adjunto da Universidade Federal da Fronteira Sul, campus Chapecó.
Recebido - Received: 2017-05-15
Aceitado - Accepted: 2018-01-11