10.5195/biblios.2017.358

REVIEW

Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web socialⁱ

Altmetrics: complexities, challenges and new forms of measurement and understanding of scientific communication in the social web

 

João de Melo Maricato, Dalton Lopes Martins

Universidade de Brasília – UnB, Brasil

Universidade Federal de Goiás - UFG, Brasil

---

Resumo

Objetivo. Tem como objetivo debater alguns aspectos da altmetria, área comumente associada a métricas como a bibliometria, cientometria e webometria, mas com importantes diferenças, com intuito de contribuir com o seu entendimento, institucionalização e consolidação. Método. O artigo é uma abordagem teórica sobre a temática altmetria, sendo elaborado a partir de um conjunto de textos selecionados em bases de dados internacionais. A bibliografia selecionada subsidiou análises críticas e reflexivas sobre o tema. Resultados. O texto trouxe reflexões sobre a altmetria e sua fundamenteção teórica, buscando-se discutir a definição da área sua relação com outros estudos métricos da informação e as complexidades e desafios inerentes à produção e uso de indicadores altmétricos. Conclusões. A área possui grande potencial, mas carece de mais reflexão, análises aprofundadas e discussão sobre seus fundamentos. Existem incertezas relacionadas à institucionalização da área e controvérsias sobre as possibilidades dos indicadores para medir o "impacto" da produção acadêmica.

Palavras-chave

Altmetria; Bibliometria; Cientometria; Comunicação científica; Indicadores científicos; Web social

---

Abstract

Objective. It aims to discuss some aspects of altmetria, an area commonly associated with metrics such as bibliometrics, scientometrics and webometrics, but with important differences in order to contribute to its own understanding, institutionalization and consolidation. Method. The article is a theoretical approach on the subject altmetria, being elaborated from a set of texts selected in international databases. The selected bibliography subsidized critical and reflexive analyzes on the subject. Results. The text brought reflections on the altmetria and its theoretical foundation, seeking to discuss the definition of the area, its relation with other metric studies of information and the complexities and challenges related to the production and use of altmetric indicators. Conclusions. The area has great potential, but it needs more reflection, in-depth analysis and discussion about its theoretical foundations. There are uncertainties related to the institutionalization of the area and controversies about the possibilities of the indicators to measure the "impact" of academic production.

Keywords

Altmetrics; Bibliometrics; Scientific Communication; Scientific indicators; Scientometrics; Social Web

---

1 Introdução

O interesse na medição, monitoramento e avaliação de atividades científicas e tecnológicas por meio de indicadores gerados a partir de produtos, sobretudo publicações, surge no século XX, com a proeminência de pesquisadores como Lotka, Zifp, Bradford, Nalimov, Solla Price, Eugene Galfield, personalidades que trouxeram as primeiras contribuições para a edificação das áreas de bibliometria e cientometria. Na década de 1960, o desenvolvimento dessas áreas cresceu e institucionalizou-se fortemente, muito em virtude do interesse de utilização dos seus métodos, técnicas, teorias e princípios para a gestão da atividade acadêmica e científica, diante de um cenário de escassez de recursos, além da necessidade de se mensurar a eficácia e eficiência dos investimentos feitos entre diferentes projetos, instituições e grupos de pesquisa.

Um marco histórico relevante no desenvolvimento dos indicadores bibliométricos e cientométricos foi o uso de análise de citações para avaliação e monitoramento da pesquisa científica. A análise de citações possui estreita relação com o conceito de Fator de Impacto (FI), metodologia proposta por Eugene Garfield em 1955, com intuito de qualificar revistas científicas, por meio de um índice calculado a partir do número médio de citações dos artigos publicados durante os dois últimos anos. O surgimento da informática, a popularização da Internet, a digitalização da produção científica e a implementação de bancos e bases de dados possibilitou a geração e análise de indicadores mais abrangentes, complexos, envolvendo diferentes dimensões, e com velocidade cada vez maior. Surge, nesse contexto, a base de dados Web of Science (WOS) e o Science Citation Index (SCI), que durante décadas foram praticamente as únicas ferramentas disponibilizadas para a produção de indicadores científicos.

Ao longo do tempo, outros agentes chegaram ao ambiente, ampliando as alternativas para geração e análise de indicadores de ciência e tecnologia. Alguns exemplos são a criação da base de dados Scopus e SciELO, que também passam a oferecer índices e indicadores baseados em citação, com metodologia semelhante à proposta por Eugene Garfield. Desde o início do uso de análise de citações para o monitoramento e avaliação da produção científica, são feitas inúmeras críticas a aspectos como a metodologia, as ferramentas, as diferenças entre as áreas, a qualidade dos dados, ao próprio conceito de citação, assim como as limitações para se compreender e medir o fenômeno e os vieses quanto à medição da ciência desenvolvida em países periféricos. Vale dizer que o sentido social e político desse tipo de mensuração nunca foi de consenso na comunidade acadêmica, provocando distorções e produzindo desigualdades que até hoje se tornam problemas ao se analisar políticas de distribuição de recursos, ranqueamento de pesquisadores, entre outros.

Tradicionalmente, a pesquisa acadêmica e seu "impacto" têm sido medidos e avaliados por meio da utilização de uma gama de diferentes métricas baseadas em citação, aplicadas a pesquisadores, revistas, universidades, países, etc. Uma das mais recentes métricas desenvolvidas, baseadas em misto de citação e produtividade de um pesquisador, é o índice h. Notadamente, existem limitações em qualquer tipo de indicador utilizado para representar uma realidade e os baseados em citação estão entre os mais criticados.

A bibliometria e a cientometria sofrem constantes mudanças em virtude das evoluções incessantes das tecnologias de informação e comunicação. Novos indicadores, ferramentas, metodologias, teorias e conceitos surgem, a ponto de, na atualidade, existir muita dificuldade em delimitar com precisão as métricas baseadas em informação. Surgem tentativas de classificá-las e agrupá-las (com limitado sucesso) com o uso de termos guarda-chuvas, tais como informetria e estudos métricos da informação. Com os desenvolvimentos alcançados na área, aliados ao surgimento de novas tecnologias de informação como a World Wide Web (WWW), surgem áreas como cibermetria, webometria e outras inúmeras variantes com diferentes níveis de proximidade. O desenvolvimento dessas métricas e metodologias tem sido justificado, em grande parte, pelas limitações inerentes aos métodos bibliométricos e cientométricos, especialmente os baseados em citações. Além disso, novas relações sociais mediadas pela informação surgem nesse contexto de conectividade em rede, permitindo que novos objetos digitais se tornem disponíveis com potenciais indicadores de relevância, tais como o link entre páginas web, resgatando a ideia de citação, mas agora em outro contexto sócio-técnico.

Tem-se a impressão, em determinados argumentos, que existe a tentativa de minimizar os desenvolvimentos alcançados pelas métricas "tradicionais"ii ou consolidadas. Parece haver a defesa irrefletida e o discurso de superioridade dos novos indicadores que se tornaram viáveis com os desenvolvimentos das tecnologias de informação e comunicação. Apesar de haver a necessidade de reconhecer qualidades (e limitações) dos indicadores utilizados até então, reconhece-se que os baseados em citação, sozinhos, não captam o espectro completo do "impacto" de uma pesquisa científica e que metodologias complementares devem ser consideradas. Diante dessa premissa, uma nova área emergente é a altmetria.

Apesar de a altmetria ser comumente associada a métricas como a bibliometria, cientometria e webometria, essa nova metria possui importantes diferenças quando comparada com as anteriores. Ela surge em com contexto em que a WWW passa a ser chamada de web 2.0 ou web social. Com o desenvolvimento das tecnologias de informação e comunicação e da web, novas formas de produzir, modificar, adaptar, colaborar e disseminar conhecimentos foram inauguradas. Surgiram novas fontes de informação e formatos que não existiam até então. As possibilidades de ações e reações dos atores sociais são extensas, ampliando o potencial de sociabilidade em rede até então não explorado nesse nível de escala, mas que devem ser considerados com cuidado e rigor científico quando da inauguração de novas metrias e modos de análise da informação. Com isso, vislumbra-se uma gama de indicadores completamente novos quando comparados com as métricas de informação dominantes baseadas na citação.

Essas novas métricas baseadas em mídias e redes sociais, comumente denominadas altmetrias, ou métricas da web social, foram introduzidas em 2010 por Priem e seus colegas, como uma forma alternativa de medição mais ampla dos impactos de investigação na web social, por meio de diferentes ferramentas (PRIEM, PIWOWAR e HEMMINGER, 2012). No entanto, as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas, registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências. Diante da complexidade desse contexto, concorda-se com Zahedi, Costas e Wouters (2014) que "o estudo da altmetria está em seu estágio inicial", havendo mais dúvidas do que certezas nesta nova área que floresce. É importante destacar nessa definição inicial que a socialização coberta pelas experiências de altmetria não se amplia apenas em termos de fontes de informação, mas também em termos de tipos de produção de vínculo social, tais como o surgimento de novas formas de socialização em torno de objetos digitais como a "curtida", o compartilhamento para pares e a votação.

Os objetos e fenômenos que se pretende medir pela nova área denominada altmetria ainda são pouco conhecidos e explorados. A complexidade de medição e interpretação dos públicos e suas ações e interações, das ferramentas, fontes de dados e, portanto, dos indicadores altmétricos produzidos, ainda são um desafio e carecem de desenvolvimentos teóricos, conceituais e metodológicos. Uma busca, com o termo altmetric, realizada na base de dados Web of Science (WOS), em 21 de janeiro de 2016, trouxe o total de apenas 63 artigos científicos publicados, demonstrando a imaturidade da área e, consequentemente, das reflexões sobre o tema em âmbito global.

Os indicadores altmétricos possuem um grande potencial e carecem de mais reflexão e análises aprofundadas. Diversos estudos baseados na altmetria estão sendo desenvolvidos desde uma perspectiva empírica, com baixo nível de reflexão sobre os seus fundamentos. É grande o número de artigos publicados até agora que estudam, principalmente, correlações entre citações de artigos científicos com os indicadores altmétricos, mas pouco conhecimento teórico é extraído dos seus resultados. Pode-se entender que a pesquisa se encontra ainda em seu estágio exploratório, procurando definir relações de relevância que forneçam condições de induzir perspectivas teóricas e generalizações mais abrangentes. Assim, ainda há um número de problemas que devem ser resolvidos antes que seus indicadores sejam utilizados para a avaliação da pesquisa científica e para a tomada de decisão. Como não existe interesse em substituir a bibliometria "tradicional" pelas altmetrias, as pesquisas não deveriam concentrar-se na conexão, mas nas diferenças específicas entre as duas métricas. Em que medida podem as altmetrias - ao contrário das métricas "tradicionais" – medir o "impacto" mais amplo de pesquisa? (BORNMANN, 2014). Que "impacto" está sendo medido? Que fenômenos de socialização devem ser prioritariamente considerados para a medição do impacto científico? Que objetos digitais podem e devem ser mensurados? São apenas algumas das questões a serem respondidas.

Por ser uma área emergente, inserida na dinamicidade e velocidade da WWW e de suas tecnologias, incertezas e dificuldades podem ser identificadas e merecem ser investigadas e debatidas. Algumas dessas complexidades, são a mistura de atores e públicos (cientistas, acadêmicos, profissionais, pessoal não ligado à academia); gama muito grande de possibilidades de ações e interações por parte desses atores e públicos; volume e volatilidade das informações; variedade de fontes de informação; peculiaridades de cada uma das ferramentas que produzem indicadores, a credibilidade e confiabilidade dos processos de geração, dentre outros. É possível conhecer quais são as principais ferramentas altmétricas da atualidadeiii. Apesar de serem notáveis, não existe clareza quanto ao que cada uma delas medem de fato, suas diferenças e semelhanças. Diante da quantidade de ferramentas, suas aplicações e particularidades, comparações, fontes de informação utilizadas, metodologias de construção dos índices, vantagens e desvantagens merecem uma pesquisa a parte, não sendo o objetivo central deste artigo.

Questões mais subjetivas não podem ser esquecidas. Como lembra Taylor (2013a) "pouco é o conhecimento sobre as intenções, motivos e experienciais dos usuários". Estes aspectos devem ser estudados com exaustão, antes que os indicadores resultantes sejam utilizados para subsidiar decisões e avaliações das produções científicas e dos agentes envolvidos nas pesquisas. Caso realmente se queira que estes indicadores ultrapassem as meras experimentações e estudos acadêmicos, e sejam empregados para a avaliação da atividade acadêmica, faz-se necessário resolver problemas teóricos (de significado e conceituação), metodológicos (validade das fontes) e técnicos (normalização) (TORRES-SALINAS; CABEZAS-CLAVIJO; JIMÉNEZ-CONTRERAS, 2013).

Percebe-se que ainda existe pouco debate, dentre outros aspectos, quanto aos significados "citação" e "impacto"iv nos âmbitos científico e social e, consequentemente, incertezas quanto ao que se está medindo e o significado dos indicadores produzidos. Arestas precisam ser aparadas quanto à definições e relações com a bibliometria, cientometria, webometria, dentre outras metrias. Há tentativas de invalidação de indicadores baseados em citação, tais como o FI, sem uma reflexão sobre as diferenças entre os indicadores produzidos e suas diferentes conceituações, o que não fortalece o debate. Existem incertezas relacionadas à institucionalização da área, defendida como uma solução perfeita, sem que haja uma discussão aprofundada quanto aos limites, controvérsias e novas possibilidades dos indicadores altmétricos e das ferramentas que estão sendo utilizadas para estudar o "impacto" da produção científica. Assim, a presente pesquisa, tem como objetivo debater alguns destes aspectos com intuito de contribuir com o entendimento, institucionalização e consolidação da altmetria.

2 Altmetria: surgimento e definições

Inicia-se a presente reflexão discutindo alguns aspectos históricos, definições e termos recorrentemente utilizados para conceituar esta nova área de estudo que é a altmetria. Busca-se, com isso, identificar elementos que subsidiem uma compreensão mais precisa do que se propõe a estudar, de modo a depreender aspectos centrais e, na medida do possível, refletir sobre a delimitação da área. A partir dessa análise, será possível situá-la, para, em um segundo momento, buscar inseri-la em meio às outras áreas mais consolidadas dos estudos métricos da informação, tais como, bibliometria, cientometria e webometria, identificando semelhanças e diferenças entre elas.

É possível identificar marcos históricos da altmetria ao defender a existência de relações com a bibliometria, cientometria, webometria, mas, neste primeiro momento, o interesse se volta para definições e conceituações que não se prendam a essas áreas, na tentativa de identificar aspectos particulares da própria área nascente. A altmetria é muito recente e sua história está em plena fase de construção. Alguns marcos contemporâneos importantes relacionados ao seu surgimento podem ser observados a partir das considerações feitas por Fenner (2014), que identifica pesquisas realizadas antes da proposição do termo altmetria, mas que apresentam nítida proximidade.

Assim, se destacam pesquisas que podem ser consideradas marcos da altmetria, mesmo que o termo ainda não tivesse sido empregado. Dentre esses trabalhos, Fenner (2014) a publicada em 2008 por Dario Taraborelli, defendendo o uso de ferramentas de social bookmarking para revisão de pós-publicação pelos pares (TARABORELLI, 2008). Neylon e Wu que descreveram o PLOS Article-Level Metrics (métricas em nível de artigo), serviço lançado em 2009, em artigo publicado no mesmo ano (NEYLON e WU, 2009). Priem e Hemminger publicaram um artigo em julho de 2010, em que utilizaram o termo cientometria 2.0 e estimularam o uso de novas métricas com base em ferramentas da Web 2.0 (PRIEM e HEMMINGER, 2010). Outro estudo empírico, com aplicação que hoje pode se considerar altmétrico, foi elaborado por Groth e Gurney, baseado na análise dos comentários de artigos sobre química em blogs da área, sendo os resultados apresentados em 2010 (GROTH e GURNEY, 2010).

O uso do termo altmetria propriamente dito, surge em setembro de 2010 e não poderia ter sido cunhado de maneira mais sugestiva. A primeira aparição pública ocorreu em uma postagem de Jason Priem no, Twitter, em 28 de setembro de 2010: "I like the term #articlelevelmetrics, but it fails to imply *diversity* of measures. Lately, I’m liking #altmetrics."v (PRIEM, 2010). Essa primeira aparição do termo, mesmo que historicamente importante, é um pouco vazia de significado para fins de conceituação da área.

Uma das definições mais difundidas do termo vem do texto denominado "Altmetrics: a manifesto" (Altmetria: um manifesto), lançado em outubro de 2010. Este manifesto foi disponibilizado no site altmetic.org, de responsabilidade de Priem, Taraborelli, Groth e Neylon (2010). Seus autores definem altmetria como "the creation and study of new metrics based on the Social Web for analyzing, and informing scholarship."vi. Entende-se que ao menos quatro termos são apresentados pelos autores nesta definição e merecem ser apresentados de maneira contextual, pois, sugerem elementos de identificação e constituição da área de altmetria. Assim, pode-se entender que a altmetria estaria relacionada à: criação (que indica a atividade prática), estudo (remete a uma área de estudo, o que incluiria uma carga teórica), novas métricas (que remete a produção de indicadores diferentes dos existentes), web social (onde se pode depreender a existência de ferramentas de mídia social, ações e interações de públicos) e, por fim, informações acadêmicas (delimita as análises no âmbito acadêmico, científico, mas deixa em aberto a multiplicidade de fontes).

A definição proposta pelos autores Shema, Bar-Ilan e Thelwall (2014) é de que a altmetria é um termo utilizado para descrever métricas baseadas na Web para medir o "impacto" de materiais acadêmicos, com ênfase no que é veiculado em mídias e redes sociais como fontes de dados. Com essa definição, merece destaque o termo "materiais acadêmicos", que apesar de ser um termo amplo, remete a fontes de informação resultantes de um grande conjunto de atividades de acadêmicos, não se restringindo somente aos outputs tradicionais, como, artigos, trabalhos apresentados em eventos, teses e dissertações. Podendo, portanto, incluir outros tipos de materiais que surgiram com a web, tais como as informações disponibilizadas em blogs, sistemas de gerenciamento de referências e outras mídias e redes sociais.

O termo altmetria parece estar associado a dois termos-chave que, de certa maneira, possuem íntima inter-relação e que deram origem ao conceito: "article level metrics" (métricas em nível de artigo) e "alternative metrics" (métricas alternativas). "Article level metrics" é um termo que remete à possibilidade de se produzir indicadores em nível de artigo, em oposição à metodologia correntemente adotada nas avaliações de artigos feitas a partir da revista em que foram publicados. Em outras palavras, baseado na lógica: se a revista possui qualidade, o artigo, por inferência, também possui.

Por sua vez, o termo "alternative metrics" remete à ideia de alternativa às métricas "tradicionais" desenvolvidas no âmbito da bibliometria e cientometria, especialmente o FI. O termo altmetria parece não ser dos melhores. Entende-se que estes não são os únicos capazes de medir em nível de artigos e não podem ser considerados alternativos aos outros indicadores. Com o passar do tempo, certamente, outras "alternativas" surgirão, podendo ser rotulado, pejorativamente, como uma métrica "tradicional". No entanto, aparentemente, o termo está se consolidando de tal maneira que haverá dificuldade de substituição por outro mais adequado e menos controverso. Ainda que essa crítica seja válida, é importante também ressaltar que o termo cumpre um papel, mesmo que temporário, de colocar em questão em sua própria nomenclatura a necessidade de produção de novas métricas que ampliam as atualmente mais utilizadas, declarando de partida sua insuficiência sistêmica.

Haustein, Bowman e Costas (2015) consideram que o uso do termo altmetria como uma métrica alternativa à citação é inapropriado, definindo-o como um novo grupo de métricas baseadas (em grande parte) em eventos de mídia social relativas à comunicação científica. Essa proposta de conceituação traz à luz, de modo destacado, um termo muito relevante para a compreensão da área de altmetria: comunicação científica. Tal termo é fundamental para a inserção da Ciência da Informação como um campo que deve participar das discussões sobre altmetria.

Historicamente, a Ciência da Informação tem sido um dos campos que mais se envolve nos estudos em comunicação científica, possuindo credenciais para contribuir com o seu desenvolvimento, devendo, portanto, estar aberta e atenta às inovações pertinentes. Salienta-se, ainda, que o termo altmetria nasce no contexto do campo, especialmente para compreender atividades de pesquisa e comunicação científica - uma vez que Priem, ao criar o termo, ainda era estudante de doutorado da Faculdade de Biblioteconomia e Ciência da Informação, na Universidade da Carolina do Norte, em Chapel Hill, nos Estados Unidos (ROEMER; BORCHARDT, 2015).

Priem, Piwowar e Hemminger (2012) afirmaram que as altmetrias constroem informações a partir do uso de mídias e redes sociais, sendo capazes de captar o não intencional e informal "crédito científico das ruas", ou seja, podem captar informações sobre "impacto" de diversos públicos e diversos produtos de pesquisa. A partir dessa afirmação, percebe-se um dos pontos centrais para a compreensão, que deveria constar em uma conceituação sólida de altmetria: variedade de públicos. Essa é uma característica peculiar e exclusiva das altmetrias. Diferentemente de outros indicadores comumente utilizados para a avaliação da produção científica, a altmetria capta informações de outros públicos e não somente cientistas e pesquisadores. Pode-se entender que é essa variedade de públicos que aporta não apenas um fenômeno de diversificação, mas também de escala, ampliando de forma significativa a possibilidade de circulação e apropriação social de informações acadêmicas.

Outros indícios, relevantes para a identificação de um conceito mais claro para altmetria, podem ser encontrados a partir da análise de autores como Roemer e Borchardt (2015). Os mesmos consideram que a área de altmetria não possui uma definição estrita, ou um conjunto de métricas definidas, havendo certa ênfase nas ferramentas. Ao optar por dar ênfase nas ferramentas altmétricas, na medição das ações sociais e na variedade de fontes de dados propiciadas por elas, é perceptível a importância das tecnologias de informação para a área.

Em outras palavras, as altmetrias são altamente dependentes das tecnologias de informação e comunicação e, sobretudo, das ferramentas desenvolvidas para a medição das interações dos públicos e conteúdos. Mesmo que relações e interações sociais sempre tenham existido, somente agora deixam rastros digitais em larga escala que podem ser coletados, medidos, estudados, comparados e analisados para a compreensão de aspectos sociais da comunicação da ciência. Em e-mail de divulgação da ferramenta Altmetric.com, de março de 2016, isso fica evidente com o anúncio: "Over 5 million outputs and nearly 50,000 mentions a day."vii (ALTMETRIC, 2016).

Mais recentemente, Priem (2014, p. 266) definiu a área de altmetria de maneira bastante inclusiva, havendo forte destaque para o estudo, uso e, também, para as ferramentas: "estudo e uso de medidas de "impacto" acadêmicos com base na atividade em ferramentas e ambientes on-line". No entanto, para Haustein (2015), não há um consenso geral do que constitui este novo conjunto de métricas, principalmente devido ao fato de que estão em constante mudança e expansão, sendo influenciadas por novas possibilidades técnicas - em particular a disponibilidade de interfaces de programação de aplicativos - e modelos de negócios de agregadores de dados e editores. O uso do termo "impacto", na definição de Priem (2014), pode gerar confusão quanto ao seu significado, pois o vocábulo é largamente utilizado em outros contextos com diversos significados. Essa questão será retomada neste texto, mas em outro momento.

3 Altmetria como alternativa às métricas "tradicionais"

Apesar da tentativa deliberada da presente pesquisa em isolar a altmetria de outros estudos métricos da informação, esse exercício não é trivial. Grande parte das definições, conceituações e contextualizações no entorno da altmetria é marcada pela tentativa de se fazer paralelos e aproximações com a bibliometria, cientometria, webometria, etc. Aqui, são exploradas algumas dessas tentativas de aproximação, com intuito de compreender melhor a área e suas relações com outras métricas, bem como questionar a premissa de que é uma alternativa aos indicadores "tradicionais".

Um exemplo de associação da altmetria com a área de cientometria pode ser observada nos trabalhos do próprio Priem. Antes mesmo de propor o termo, Priem, em parceria com Hemminger (2010), sugeriu uma "Cientometria 2.0", ou seja, a realização de estudos cientométricos a partir de ferramentas da Web social, com argumentos semelhantes aos utilizados para a defesa da altmetria. Algumas das justificativas de criação da área estão presentes no manifesto proposto por Priem e seus colaboradores em 2010: crise vivenciada pelos filtros "tradicionais" utilizados para determinar a qualidade da informação científica; lentidão no sistema de revisão pelos pares; limitação das análises de citação e do FI; entre outros.

Ao explorar conceitos relacionados aos estudos métricos da informação, tais como webometria, cibermetria, bibliometria e cientometria, Gouveia (2013) define a altmetria "como o uso de dados webométricos e cibermétricos em estudos cientométricos", determinando, assim, a existência de uma relação nítida entre as áreas. No entanto, apesar da proximidade, o autor não as considera sinônimas, mas sim a altmetria como um novo campo de estudo. Para reforçar esse posicionamento, o autor concorda com Björneborn e Ingwersen (2004) que consideram a altmetria situada dentro da interseção da cientometria com a cibermetria e a webometria, com sobreposições também com a bibliometria.

Para Torres-Salinas, Cabezas-Clavijo e Jiménez-Contreras (2013) a origem das altmetrias remonta aos anos 1990 com a webometria, estudo quantitativo da Web, que nasce da aplicação das técnicas bibliométricas às páginas on-line e engloba diversas disciplinas, entre elas a comunicação. Da mesma maneira, Bornmann (2014) visualiza que o uso da internet para as métricas alternativas começou com "webometria" (ou "cibermetria") através da contagem do número de vezes que um artigo foi mencionado na web ou, "citadas na web" (SHEMA, BAR-ILAN e THELWALL, 2014). Nota-se que o mesmo entendimento ocorre agora com a altmetria, que cria indicadores por meio da contagem da menção de produtos acadêmicos (sobretudo artigos), em mídias e redes sociais ou "citados" nestas.

A partir das "citações" em cada um desses contextos, alguns índices podem ser elaborados. A bibliometria possui o clássico FI, medido a partir de "citações" em artigos científicos. Na webometria, Ingwersen (1998), propôs o "Fator de Impacto Web" (WIF) calculado a partir das "citações" da web. De maneira semelhante, a altmetria está se utilizando das "citações" nas mídias e redes sociais para a criação de índices que possam ser denominados, analogamente, como Fator de Impacto Social (FIS).

O termo altmetria, ou métricas alternativas, automaticamente desperta o questionamento: alternativas com relação a que? A resposta é simples, o significado do termo surge como uma proposta de alternativa às denominadas métricas "tradicionais", como a bibliometria e a cientometria, especialmente com relação às suas métricas baseadas em citação, tal como o FI. Desse modo, por si só, o termo altmetria está conceitualmente associado aos "tradicionais" estudos métricos da informação.

O argumento de que a altmetria é uma alternativa aos indicadores bibliométricos e cientométricos tem causado inúmeros questionamentos. As críticas têm crescido a partir dos resultados dos estudos empíricos que descobriram que a maioria dos indicadores baseados em mídia social (se não forem todos) são complementares e não alternativos aos indicadores baseados em citação. Assim, autores como Rousseau e Ye (2013, p. 2) tecem críticas ao termo, afirmando que as altmetrias são "uma boa ideia, mas o nome ruim". Preferem o uso do termo influmetrics, proposto inicialmente por Elisabeth Davenport e discutido por Cronin e Weaver (CRONIN e WEAVER, 1995), por ser um termo capaz de sugerir traços difusos e imperceptíveis de influência acadêmica, que podem ser capturados para a medição e avaliação em novos ambientes (CRONIN, 2005). Elaborar uma proposta de nome capaz de incorporar, de maneira ampla, a complexidade desses novos indicadores não é fácil. Acredita-se que um termo fundamental seria web social, pois tem a capacidade de incorporar outros termos mais específicos como mídia social e rede social. Assim, uma alternativa ao vocábulo altmetria poderia ser cientometria-ws (cientometria em web social) ou, em língua inglesa sw-scientometrics (social web scientometrics).

Alguns bibliometricistas têm manifestado ceticismo quanto ao uso dos padrões altmétricos de "citação" para rastrear e identificar "impacto" acadêmico. Na mesma linha, os defensores das altmetrias fazem declarações que podem ser consideradas formas de denegrir a bibliometria em geral, e não apenas o FI, causando controvérsias na comunidade acadêmica em geral (ROEMER; BORCHARDT, 2015).

Com as críticas à defesa da altmetria como alternativa, percebe-se que o conceito inicial está sendo substituído por uma visão de complementaridade, ou seja, nas potencialidades das altmetrias em pensar novos indicadores medidos a partir de novos insights sobre e novas formas de "impacto". Com o passar do tempo, até mesmo o criador do termo altmetria e da formulação de suas conceituações iniciais passa a perceber que a nova área não é alternativa, mas sim complementar, reconhecendo a importância e subordinação às áreas consolidadas. Para o autor, a altmetria pode ser considerada, na maioria dos casos, um subconjunto da cientometria e webometria, com mais próxima à segunda. Ambas focam a medição da influência acadêmica, em que a altmetria utiliza ferramentas e ambientes on-line, em vez de na Web em geral, como na webometria (PRIEM; GROTH; TARABORELLI, 2012). No futuro, então, será possível ver a altmetria e a bibliometria tradicional trabalhando juntas como ferramentas complementares que apresentam uma visão multidimensional diferenciada de "impactos" múltiplos de pesquisa em múltiplas escalas de tempo (PRIEM; PIWOWAR; HEMMINGER, 2012). O que inclusive pode levar a produção de pesquisas experimentando índices multidimensionais e sua validade para a mensuração do impacto acadêmico da produção científica. Ao que parece, essa complementaridade de estratégias traz uma complexidade que enriquece a possibilidade de compreensão dos fenômenos por trás da comunicação científica.

A relação, intersecção e limites entre as áreas de bibliometria, cientometria, informetria, webometria, altmetria, dentre outras, permanece controverso. Estas parecem ser muito mais transversais do que hierárquicas. A partir da análise dos conceitos das mais diversas métricas da informação, observa-se que existem substanciais diferenças entre elas. As técnicas e ferramentas utilizadas para coleta e análise dos dados, as metodologias, as teorias, os objetos de análise, os atores sociais, os conceitos diferem-se de maneira significativa. No entanto, muitos princípios ou lógicas são semelhantes. Em praticamente todas essas áreas, o conceito expandido de "citação" e de "impacto" pode ser encontrado, mesmo que seja com significados diferentes entre elas.

Contudo, o ponto central que une fortemente essas métricas é a ciência, sua comunicação e os aspectos sociais envolvidos nos seus processos e a busca de formas de compreender melhor o fenômeno, sobretudo por meio do uso de indicadores. Roemer e Borchardt (2015) parte de um olhar semelhante, ao considerar que embora haja diferenças entre a bibliometria e a altmetria, o interesse central dessa área nascente permanece em grande parte congruente com o da bibliometria, pois ambas são essencialmente interessadas no que pode ser apreendido a partir da análise quantitativa das informações relacionadas com a produção e publicação acadêmica.

O posicionamento "alternativo" da altmetria, especificamente em relação à bibliometria e à cientometria baseada em citação, criou um conjunto de obstáculos para seu desenvolvimento. Obstáculos estes que a área de altmetria está tendo que repensar para avançar (ROEMER; BORCHARDT, 2015). Considerar a altmetria como uma métrica alternativa às métricas "tradicionais" pode ser uma estratégia equivocada, pois o conceito de alternativa está fortemente relacionado à superioridade, o que não necessariamente é verdadeiro. Apesar de o termo induzir a esse equívoco, está sendo aderido por pesquisadores e dificilmente será substituído por outro vocábulo. Entretanto, o conceito tem passado por melhorias, sendo necessário que a área olhe para si mesma ao invés de tentar se destacar utilizando a estratégia de minimizar áreas irmãs e negar os importantes desenvolvimentos anteriores.

A partir das considerações apresentadas, entende-se que altmetria pode ser conceituada como: uma área emergente do campo de Ciência da Informação, que se ocupa do estudo, produção e uso de indicadores científicos e tecnológicos. Baseada em ferramentas que captam informações de múltiplas fontes, que ao serem socializadas em mídias e redes sociais, geram ações e interações de uma grande variedade de atores sociais e novas formas de relacionamento com objetos digitais e entre pessoas. Área que se relaciona, transversalmente, às áreas de bibliometria, cientometria e webometria, havendo como núcleo integrador a comunicação científica, mas com novos tipos de indicadores que medem outro tipo, complementar, de citação, engajamento e impactos dos outputs acadêmicos.

Diante das considerações tecidas até o momento, constata-se a dificuldade, cada vez maior, de delimitação precisa das áreas de estudos métricos da informação (altmetria, bibliometria, cientometria, webometria, informetria, dentre outras). Entende-se que uma representação gráfica das relações entre as métricas, consolidadas ou altmétricas, pode ser pensada a partir de uma aproximação com um neurônio (Figura 1). O conjunto de métricas pode ser comparado, analogamente, a um neurônio, uma unidade básica, ou seja, uma área dentro do sistema nervoso central que seria a Ciência da Informação; o citoplasma poderia ser associado a uma região onde as métricas se encontram mescladas, interagindo de maneira transversal e, muitas vezes, fundidas; o núcleo celular poderia ser considerado a comunicação científica, circundado pelo citoplasma, indicando interação elevada, com posição central em relação às métricas da informação; os dendritos, por sua vez, seriam os prolongamentos responsáveis por receber os estímulos do ambiente, tais como, as áreas relacionadas aos estudos métricos da informação; por fim, o axônio, seria um prolongamento condutor que possibilita a ligação desta a outras áreas ou campos do conhecimento.

A Figura 1 tem por objetivo apresentar uma perspectiva sistêmica de como se pode entender a relação entre essas diferentes (porém muito próximas) áreas de pesquisa. A ideia geral que se procura explorar é a de que os estudos métricos são desdobrados em vários ramos que acabam por se especializar em ferramentas, métodos e até mesmo alguns conceitos que acabam por lhes ser específicos. No entanto, entende-se que o núcleo de tudo isso é comunicação científica, ou seja, o que permite com que esses desdobramentos se realizem é o fato de que há uma ação social que é de produzir comunicação a respeito da produção científica. Como essa comunicação acaba acontecendo por variados meios e formas, as áreas de desdobramento dos estudos métricos vão surgindo conforme esses meios se diversificam, complexificam e se desenvolvem ao longo do tempo. É, de fato, a transversalidade do conhecimento que une essas áreas, ao mesmo tempo em que outras áreas de conhecimento acabam por também se conectar. Por exemplo, é com o advento da Internet e da possibilidade técnica de produção de sítios e outros modos de comunicação que surgem a webometria e a cibermetria. Agora, com o advento e popularização das mídias sociais, surge a altmetria e suas novas possibilidades de estudos métricos. Como se pode perceber, o que se representa aqui é um organismo vivo se desenvolvendo dinamicamente e estabelecendo novos vínculos a partir de novas perspectivas de comunicação científica. Neste organismo, as relações entre as métricas da informação tornam-se cada vez mais complexas de serem classificadas de maneira rígida e simplista.

4 Altmetria, "citação" e as críticas ao Fator de Impacto

Variados são os tipos, funções e objetivos dos indicadores bibliométricos e cientométricos. Podem ser divididos, por exemplo, em indicadores de produtividade, colaboração, coocorrência e de citação. Dentro destas classificações, inúmeras variações de indicadores podem ser construídas e analisadas, sendo proeminente os indicadores baseados em citação. Muitos são os índices calculados a partir de citações e igualmente as críticas a eles. Os defensores da altmetria tecem duras críticas ao FI, um conhecido índice de citação. No entanto, pouco se discute sobre o conceito de citação e suas conceituações nos diferentes contextos. Procura-se, neste momento, elucidar alguns aspectos relacionados a essas críticas e problematizar conceitos de "citação" e "impacto" nos contextos dos indicadores "tradicionais" e nos altmétricos, acreditando contribuir com o melhor entendimento dos fenômenos medidos e suas particularidades.

Um dos principais índices de citação desenvolvidos e com importância latente, até os dias atuais, foi criado 1955, por Eugene Garfield, sendo denominado FI. Consiste em um índice calculado a partir do número médio de citações dos artigos publicados/indexados nas bases de dados desenvolvidas pelo Institute for Scientific Information (ISI)viii durante os dois últimos anos. A influência e a repercussão desse índice são tamanhas que ele passou a ser utilizado como sinônimo de índice de citação. No entanto, esse uso é equivocado, pois trata-se de uma marca registrada de um índice criado pelo instituto.

Muitas outras são as bases de dados e ferramentas que criam índices de citação com metodologia igual ou semelhante à proposta por Eugene Garfield. Os FIs oficiais são calculados pela Thomson Reuters por meio das revistas indexadas pela base Web of Knowledge e, publicadas no Journal Citation Report (JCR). Apesar de serem uma medida do "impacto" de revistas, são comumente utilizados como uma métrica que representa a qualidade de um artigo e o prestígio de seus autores. A lógica é simples: infere-se que um artigo é automaticamente bom ao ser publicado em uma revista com um índice de citações alto, gerando prestígio à revista, ao artigo e ao pesquisador. Essa forma de avaliar a produção científica historicamente tem sido criticada, no entanto, é uma prática difundida e de custo baixo para a avaliação da ciência. O próprio sistema Qualisix de periódicos, utilizado para a avaliação de programas de pós-graduação no Brasil, pauta-se no mesmo princípio. Assim, é comum ouvir um pesquisador orgulhoso dizer: "publiquei um artigo em uma revista com FI x, ou, em uma revista classificada em Qualis y".

Diante das controvérsias e críticas aos índices de citação (preocupação antiga das áreas de bibliometria e cientometria), surgem propostas hibridas. Uma das mais recentes métricas neste sentido trata-se do índice h, calculado considerando-se aspectos da produtividade e citação de um pesquisador. Trata-se de uma medida de "impacto" e produtividade do pesquisador derivado das contagens de seus artigos e citações. Pesquisadores têm um índice h se exatamente h de seus artigos publicados forem citados h ou mais vezes. Esta forma de agregação das contagens de citações indica que os pesquisadores têm de produzir uma quantidade de artigos altamente citados, a fim de alcançar uma pontuação maior, pois, uma grande quantidade de artigos pouco ou não citados não é suficiente (BALL; DUKE, 2015).

Quanto às definições, defesas e justificativas do uso de indicadores altmétricos em alternativa ao FI, observa-se um conjunto grande de equívocos. O primeiro deles é não considerar FI como sinônimo de análise de citação. Não há clareza, portanto, se a crítica feita se refere ao Science Citation Index (SCI) ou aos indicadores baseados em citação de uma maneira geral. Existe certo consenso sobre as limitações dos indicadores produzidos pela base, porém, não existe tal consenso quanto aos índices baseados em citação. Na verdade, existe certa concordância que esses indicadores são relevantes e que o desenvolvimento de novas ferramentas para análise de citações, tais como SciELO, Scopus e Google Citations, tem contribuído fortemente para diminuir as limitações impostas pelo SCI. Assim, parece não haver clareza sobre o conceito de "citação" nos discursos e uma crítica irrefletida ao FI, como se estes fossem vilões e causadores dos males de avaliação da ciência.

Algumas métricas em nível pesquisador como o h-index, g-index ou i-10 index, foram desenvolvidas na última década. Métricas em nível de artigo podem ser elaboradas por diferentes abordagens. Apesar de estarem comumente associadas com altmetria, não são sinônimas. A quantidade de citações que um artigo recebe pode ser considerada uma métrica em nível de artigo, assim como, pode-se criar um índice altmétrico para uma revista científica no seu conjunto (transformando o indicador em "nível de revista").

Nota-se que "impacto" é uma palavra que pode remeter a inúmeras possibilidades de interpretação dependendo do contexto que for utilizado: metido a força, pressionado, impelido, arremessado, afetado, influenciado, colidido, alteração de um estado para outro, modificado, etc. Não é possível medir o "impacto" se não houver clareza do seu significado. Ball e Duke (2015) consideram que em sentido figurado, "impacto" pode ser considerado "o efeito ou influência que um agente, evento ou recurso tem sobre o outro". É distinto, mas relacionado a conceitos, tais como atenção (quantas pessoas sabem sobre a entidade) e divulgação (como amplamente um recurso tem sido distribuído). Ao se propor métricas é importante compreender o que exatamente está sendo medido e a força da evidência que prevê o "impacto" da entidade que se tem interesse de medir, além disso é preciso explicitar conceitualmente, em se tratando de fenômenos informacionais, que aspectos sociais e que dinâmicas relacionais essa mensuração representa. As contagens de citação, por exemplo, são comumente utilizadas para medir a influência que um artigo possui na literatura subsequente em uma disciplina. Apesar de ter limitações, servem como uma medida útil, que representa o "impacto" para outras entidades (autores, agências de fomento, dentre outros).

Um momento emblemático de críticas ao FI foi a publicação, em 2012, da Declaração de Avaliação da Pesquisa de São Francisco (DORA), uma iniciativa mundial que visava melhorar as maneiras de como os outputs das atividades científicas são utilizados por agências de fomento, instituições acadêmicas e outros atores. Algumas recomendações da declaração, que se alinham com a lógica das altmetrias são: evite o uso de métricas de revistas para julgar artigos ou indivíduos para subsidiar decisões de contratação, promoção e financiamento; considere outros tipos de resultados de pesquisa, tais como conjuntos de dados, softwares, patentes, bem como a influência política e pratica dos pesquisadores; utilize o FI com outras métricas baseadas em nível de artigos, mais específicas que aquelas baseadas em revistas; utilize dados abertos para calcular métricas, etc. Em tese, as recomendações procuram ampliar o olhar da avaliação para outras manifestações sociais que podem indicar a relevância de um pesquisador e sua pesquisa, podendo ressaltar inclusive a sugestão de analisar a sua influência política e atuação prática.

As críticas ao FI, presentes na literatura de maneira abundante, demonstram certa dependência do uso desta ferramenta para a produção de indicadores científicos. Naturalmente o FI e, por consequência os índices de citação, não estão isentos de críticas e os indicadores altmétricos podem ajudar a complementar algumas lacunas atualmente existentes que não são do alcance e de competência dos índices de citação. Mas, não faz sentido substituir os indicadores baseados em citação por outros indicadores tais como os indicadores altmétricos (DONATO, 2014).

Índices automatizados têm possibilitado novas dimensões para análise de citação, como a análise em larga escala. O primeiro exemplo de indexador automatizado foi CiteSeer, seguido por Google Scholar. Hoje ferramentas estão disponíveis para calcular várias medidas de "impacto" e para a criação de índices de citação (DUTTA, 2014). Não se pode esquecer que, ao longo dos últimos anos, um grande número de indicadores e medidas tem sido produzido a partir de contagens de publicações e citações. Novas métricas passam a ser oferecidas a partir de outras bases de dados, fontes de informação e outros de materiais (tais como teses dissertações e livros). Alguns exemplos são os indicadores gerados pela Scopus, Google Scholar Citations, SciELO, e o próprio ISI, que também vem aperfeiçoando seus produtos. Esses importantes desenvolvimentos não podem ser minimizados.

Métricas baseadas em "citação" e revisão por pares têm uma longa tradição e são amplamente aplicadas na avaliação de pesquisa cientifica. Análise de citações é um método de medição popular e útil no contexto da política de gestão de ciência e pesquisa. As citações são geralmente consideradas como um proxy para "impacto científico" (MOED, 2005). No entanto, não são livres de limitações, pois medem um aspecto limitado da qualidade. A avaliação pelos pares também é um instrumento importante, sendo frequentemente considerada como padrão superior na avaliação da qualidade da investigação, mas também possui suas limitações. Assim, tanto as citações, quanto as revisões por pares, são consideradas indicadores parciais de ''impacto científico'', não sendo capazes de revelar suficientemente o "impacto" total da pesquisa. Dadas estas limitações, a combinação de revisão por pares com ''abordagem multi-métrica'' é proposta necessária para a avaliação da pesquisa (ROUSSEAU e YE, 2013).

Ao se buscar a inserção da altmetria no conjunto de métricas da Ciência da Informação, foca-se demasiadamente nos questionamentos sobre o FI, deixando à margem dos debates no termo central que é a "citação". Entende-se que para haver avanços na área de altmetria deve-se discutir o significado de "citação" nos diferentes contextos. A citação, do ponto de vista "tradicional", pode ser definida, sinteticamente, como a menção formal de um trabalho científico em outro trabalho científico. Este tipo de "citação" possui características que podem interferir na qualidade e confiabilidade dos índices de citação. Algumas críticas comuns são a citação política, autocitação, citações negativas, etc. Apesar das tentativas das bases de dados em minimizar estes problemas, pouco se tem avançado. Mesmo nas autocitações, tecnicamente mais fáceis de serem desconsideradas, há posicionamentos divergentes quanto à prática.

Quando se tenta fazer um contraponto ou associar os indicadores altmétricos com os indicadores baseados em "citação", podem ocorrer equívocos conceituais. A "citação" tradicional já possui arestas ásperas e pouco consolidadas, havendo lacunas teóricas sobre os seus significados. Haustein, Bowman e Costas (2015) consideram que há necessidade de uma teoria de citação. Gilbert (1977) afirmou que "nós ainda não temos uma ideia clara sobre o que exatamente estamos medindo quando analisamos os dados de citação". Desse modo, fazer a associação das altmetrias com "citação" e "impacto" parece um tanto quanto perigoso e precipitado, pois pouco se conhece sobre o fenômeno, sendo necessário ainda definir o significado dos vários indicadores agrupados sobre o termo altmetria (HAUSTEIN, BOWMAN e COSTAS, 2015).

A conceituação e o significado da altmetria não podem estar associado à citação e aos índices de citação. Há necessidade de criação de um quadro teórico-conceitual de métricas construídas a partir da mídia social. "Citação" tradicional e "citação" em mídias e redes sociais são consideravelmente diferentes, visto que as altmetrias capturam eventos em plataformas que estão em constante estado de mudança e cujo uso e comunidades de usuários são novos, diversificados e não tão bem compreendidos quanto o ato de "citar" tradicional, conhecido desde os primeiros dias da ciência moderna. As regras de "citação" já estabelecidas no contexto científico (como, o quê e quando citar) ainda não foram estabelecidas no contexto das mídias sociais, um ecossistema em estado de fluxo (HAUSTEIN, BOWMAN e COSTAS, 2015).

Diante do exposto, defende-se uma menor aproximação, tentativa de substituição ou refutação do FI e das análises de citação pela área de altmetria. A altmetria mede um conjunto de fenômenos diferentes e analogias irrefletidas com "citação", o que pode gerar atrasos no desenvolvimento dos seus métodos, técnicas e teorias. Diferentes "impactos" podem ser observados nos indicadores de "citação" gerados em bibliometria e altmetria. O primeiro refere-se ao "impacto" dentro da comunidade científica e o segundo ao "impacto" social. Portanto, as teorias utilizadas para cada um desses fenômenos devem ser diferentes. Enquanto nos estudos baseados em "citação tradicional" devem-se utilizar as teorias de "citação tradicionais", na altmetria deve-se buscar conhecimentos nas teorias sociais, sobretudo, entendendo que ela se baseia em novos processos de circulação da informação, preferencialmente em ambiente de rede. A altmetria avançará mais rapidamente se focar seus esforços na definição do significado e entendimento de qual "impacto" é capaz de medir.

O significado de "impacto" a partir da lógica da bibliometria e da cientometria difere do "impacto" na perspectiva da altmetria. Para a altmetria parece mais amplo, sendo mais próximo da visão de Neylon, Willmers e King (2014), que considera que "impacto" pode significar os efeitos da investigação para além da comunidade científica, e pode incluir influência na política, melhorias na saúde e padrões de vida, o enriquecimento cultural ou um melhor ambiente. Diferentes formas de "impacto" – e o quadro pelo qual "impacto" são avaliadas e utilizadas como recompensa – em geral, depende da missão e dos objetivos da instituição.

A tentativa de empregar um conceito amplo de "citação" pode trazer confusões conceituais e aproximações equivocadas com a análise de citações utilizadas em bibliometria e cientometria. Haustein, Bowman e Costas (2015) dizem que essas métricas são eventos em plataformas de mídia social relacionadas ao conteúdo acadêmico ou de acadêmicos, que podem ser facilmente capturados (através de APIs), e, portanto, não possui o mesmo conceito de citação mais "tradicional". Algumas novas nomenclaturas talvez mais adequadas têm sido propostas na literatura. Taylor (2013b), diante da complexidade de medir, avaliar e entender o "impacto" acadêmico na sociedade, salienta a existência de citação formal dos artigos em artigos, citação formal de artigos em plataformas acadêmicas e citação formal dos artigos em plataformas não acadêmicas. Piwowar (2013) utiliza o termo "engajamento (público)" em alternativa à citação (BORNMANN, 2014). Mesmo assim, ainda não existe uma teoria sobre o significado de "engajamento" em altmetria e o emprego do termo "citação" continua sendo largamente utilizado. Talvez, um caminho possível para essa questão, seja se voltar para as teorias de engajamento no campo das redes sociais e avaliar o significado de muitas de suas métricas em relação ao sentido que podem emprestar a análise de produção acadêmica.

5 Desafios de mensuração e compreensão dos indicadores altmétricos

A partir das discussões e debates traçados até o momento, é possível perceber que existem diversos desafios a serem transpostos para uma adequada compreensão e desenvolvimento da área de altmetria. Alguns desafios e complexidades de medição desse novo objeto são aqui explorados, dando destaque para questões centrais: novos atores sociais e tipos de produção; novas fontes de dados e ferramentas; e significados das ações nas mídias e redes sociais.

5.1 Novos atores sociais e tipos de produção

A altmetria apresenta outros desafios com a inserção de novos e incertos atores (cientistas, profissionais, estudantes, curiosos e qualquer outro tipo de pessoa), tipos de produção (científicas, culturais, artísticas, literárias, etc.), por estarem distribuídas em mídias tradicionais (livros, artigos, teses e dissertações, eventos, softwares, patentes, produções culturais, etc.) ou naquelas que surgiram com a web (blogs, mídias sociais, redes sociais, slides, ambientes de gerenciamento de referências, ambientes de avaliação pós-publicação, etc.). Com isso, o próprio conceito de comunicação científica precisará ser rediscutido, pois a altmetria traz uma mistura deste com o conceito de popularização da ciência, criando, portanto, uma interface muito forte com a área de comunicação.

Brigham (2014) esclarece que as altmetrias podem revelar como uma maior diversidade de indivíduos é afetada pelos conteúdos científicos, como profissionais, médicos, educadores e público em geral, bem como as ações e reações que podem ser realizadas com esses produtos científicos, tais como leitura, discussão, armazenamento, recomendação, etc. A variação desses públicos e usos conduziu ao conceito de "sabores de impacto", uma forma de "entender os padrões distintos nos diversos impactos de produtos individuais". O sabor do "impacto" de um produto acadêmico ou de pesquisa na mídia vai ser muito diferente de um armazenado em um gerenciador de referência ou de um trabalho citado em uma pesquisa científica.

Atualmente, não se tem conhecimento claro dos públicos afetados pelos conteúdos científicos socializados na web e, tampouco, do significado das diversas ações possíveis de serem realizadas por esses atores sociais. Os cruzamentos entre os públicos e as fontes de informação são praticamente infinitos e aumentam ainda mais a complexidade de análise dos objetos e fenômenos. Quando altmetria é posta ao lado da bibliometria e da cientometria (com suas já reconhecidas complexidades), estas parecem simples perante os novos e dinâmicos desafios. Sud e Thelwall (2014) destacam que mesmo citações, que são produzidas em um ambiente de qualidade controlada e foram pesquisadas durante décadas, são controversas. Portanto, a altmetria, com objetos ainda mais difusos quando comparados aos indicadores "tradicionais", não está suficientemente madura, o que resulta em afirmações frágeis e questionáveis.

A existência e interação de cientistas e sociedade, em um mesmo ambiente, em níveis incertos, traz muita dificuldade em entender o fenômeno e os indicadores produzidos a partir dele. Os indicadores altmétricos são capazes de compor um conjunto de indicadores mais amplos e que medem aspectos que eram difíceis ou praticamente impossíveis de serem aferidos, até então. A multiplicidade de indicadores, que podem ser gerados e combinados de maneiras diferentes dos paradigmas anteriores, é substancialmente desconhecida. Não se

sabe, na atualidade, se o "impacto" foi social (da sociedade em geral) ou entre os próprios cientistas. A altmetria não pode ser considerada, de maneira simplista, como uma evolução dos indicadores bibliométricos, cientométricos ou webométricos, pois, na verdade, o que surgiu foi uma nova forma de se medir o "impacto" da ciência. Para Torres-Salinas, Cabezas-Clavijo, Jiménez-Contreras (2013) estas medidas são aproximações quantitativas à medição do interesse, que despertam entre a comunidade científica e também entre um público generalista, transcendendo ou complementando o "impacto" dos índices de citações "tradicionais".

Diante dessa nova perspectiva, autores como Bornmann (2014) destacam que não está claro como o "impacto" da investigação em outras áreas da sociedade deve ser medida - ao contrário do "impacto" da pesquisa em si mesma. Enquanto, revisão por pares e bibliometria tornaram-se métodos padronizados para medir o "impacto" da pesquisa em outras pesquisas, não existe ainda um quadro estruturado e aceito para medir o "impacto" social. Além disso, cabe observar que os papéis e a audiência na comunicação científica mudam de acordo com o cenário, onde os cientistas também podem ser considerados parte da população em geral em assuntos que vão além da sua especialização. A questão das formas de se mensurar a relevância social, agora em um sentido mais amplo, se coloca como desafio central para a evolução da pesquisa sobre modos de utilizar as altmetrias.

As formas de calcular índices e indicadores a partir desses dados irão apresentar um determinado "impacto", mas na verdade não se sabe que "impacto" é este. Será que as medições atuais das ferramentas altmétricas não estão reproduzindo as medições feitas na bibliometria, medindo as relações entre os próprios cientistas, que estão migrando para as redes sociais? Futuros estudos de correlação de índices oriundos dessas áreas de conhecimento poderiam ajudar a avaliar essa questão. Para Thelwall et al (2013), parece que altmetrias capturaram amplo, ou pelo menos diferente, aspecto de visibilidade e "impacto" da investigação em comparação com contagens de citações. Por exemplo, "não publicadores" ou leitores "puros" são estimados em constituírem um terço da comunidade científica, podendo estes twittarem ou postarem artigos em blogs sem nunca os citar em outros artigos. Mas, a dúvida ainda persiste em certa medida e muitos estudos serão necessários para dirimi-las.

Os indicadores altmétricos criam e fortalecem diversas relações interdisciplinares. Dentre elas, uma das mais claras é relação entre a área de Ciência da Informação e de Comunicação Social. Portanto, ao debruçarmos sobre o entendimento da altmetria, faz-se necessário a apropriação de conceitos, teorias e métodos de análise dessas duas áreas do conhecimento. Existe uma diferença conceitual importante entre comunicação científica e divulgação científica. A primeira é mais fortemente ligada a Ciência da Informação e a segunda ao campo da comunicação social. O próprio cientista está sendo chamado a se aproximar da sociedade. Enquanto a primeira interessa-se fortemente pela comunicação ocorrida no interior da ciência, a segunda insere-se na sua divulgação a sociedade. Essa aproximação da ciência com a sociedade foi observada por Barros (2015), que salienta o fato de que organizações de fomento, como o CNPq, deixaram de avaliar exclusivamente a produção científica, e passaram a avaliar, também, a "divulgação" dos resultados, por meio de blogs pessoais sobre ciência e na mídia, havendo necessidade de conscientização do pesquisador sobre a importância de se fazer divulgação de seus produtos de pesquisa.

Coloca-se a necessidade de uma revisão importante conceitual dos modelos sociais que são utilizados para as pesquisas de "impacto" da produção acadêmica, entendendo que a altmetria ampliou seu espaço de sociabilidade, incluindo novos atores, novas formas de sociabilidade, novos objetos de relação e novas ferramentas como interface de conectividade. Esses novos elementos não apenas deixam a área mais complexa, mas também demandam novas epistemologias para sua melhor apropriação e interpretação analítica.

5.2 Novas fontes de dados e ferramentas

Atualmente, pouco se sabe sobre as características e interações sociais medidas pelas ferramentas altmétricas e sua capacidade de medir os diferentes objetos, ações e públicos. Mesmo que os discursos defendam que a altmetria seja uma ótima alternativa aos indicadores consolidados, por ser capaz de medir um espectro amplo do "impacto" científico na sociedade (cientistas e sociedade em geral), na verdade, isso não pode ser afirmado categoricamente, pois não existem comprovações científicas suficientes que a sustentem. Uma coisa é o conceito teórico e hipotético do significado das altmetrias, outra, é o significado empírico, científico, que ainda é objeto em construção.

A escolha de cada ferramenta altmétrica utilizada em estudos empíricos determinará níveis de participação social (e acadêmica) na comunicação científica, próprios da ferramenta adotada, não podendo ser feitas generalizações conclusivas para a área de altmetria como um todo. Cada uma possui peculiaridades e diferentes metodologias de medição dos objetos, dos fenômenos e das diferentes interações e públicos. Embora seja possível identificar o remetente em mensagens socializadas, ações e interações, atualmente, as ferramentas altmétricas não segmentam os públicos, trazendo limitações para a compreensão do que vem a ser "impacto". Não se sabe, portanto, se o "impacto" é social ou entre cientistas e os seus respectivos níveis.

Com o advento da internet e de suas constantes evoluções, cientistas de todo o mundo têm crescentemente se apropriado de ferramentas e ambientes disponíveis on-line. Ao interagirem nesses ambientes (especialmente nos relacionados a mídias e redes sociais) diversos rastros (dados e informações) são deixados, podendo as atividades ser medidas e gerar indicadores. Os antigos colégios invisíveis estão perdendo um pouco da sua invisibilidade, com as novas possibilidades de medição de ações e interações, anteriormente inimagináveis. Neste sentido, Souza (2015) salienta que os cientistas atualmente criam blogs para narrar seu cotidiano de pesquisa, usam sites de rede social para interagir com outros cientistas e com o público em geral, organizam e compartilham suas bibliografias e anotações em ferramentas on-line de gerenciamento de referências, etc. "Com isso, processos antes restritos aos bastidores da ciência ganham visibilidade e se tornam passíveis de registro e medição, abrindo uma nova frente para a realização de estudos sobre a comunicação científica."

Naturalmente, diferentes fontes de dados são capazes de medir diferentes tipos de "impacto". Por exemplo, para medir o "impacto" sobre a política, será necessário analisar documentos do governo. Para lançar o olhar sobre profissionais e a influência no trabalho, poderá ser necessário monitorar as comunidades on-line em que se reúnem. Para compreender o quão bem-sucedida tem sido a sensibilização do público, talvez seja necessário olhar para Twitter e Facebook (LIU; ADIE, 2013). Mas, essa classificação também pode ser aplicada no contexto das altmetrias? Parece não ser atividade simples, até mesmo pelo fato dessas fontes poderem estar presentes simultaneamente em um mesmo ambiente ou mídia social.

A área de altmetria pode gerar indicadores a partir de uma grande variedade de ferramentas online, incluindo sites de mídia social, sites de compartilhamento de informações, redes acadêmicas online e outros instrumentos utilizados para criar, obter, compartilhar, organizar e gerenciar múltiplos tipos de informação. Algumas ferramentas são criadas especificamente para fins altmétricos, mas, também, são utilizados dados gerados por outras fontes de dados existentes com ou sem fins acadêmicos (ROEMER; BORCHARDT, 2015)

Brigham (2014) salienta que as altmetrias cobrem mais variedades de informação acadêmica, uma vez que não medem apenas em nível de artigo, podendo capturar métricas em outras pesquisas e "produtos". Estes outros produtos de pesquisa, tais como conjuntos de dados e software, normalmente, não são captados em métricas de citação "tradicionais". De maneira semelhante Zahedi, Costas e Wouters (2014) defendem que métricas mais "tradicionais" são incapazes de medir o "impacto" on-line da literatura científica (por exemplo, via Facebook, Twitter, gerenciadores de referências, blogs ou wikis) e outras saídas, tais como conjuntos de dados, software, slides, posts, etc. Em um primeiro momento, pode-se considerar essa possibilidade interessante, mas a pulverização dessas fontes de informação dificulta categorizações e alguns tipos de análises.

Existe certo consenso de que uma das vantagens das altmetrias é a possibilidade de medir outros tipos de fontes de informação negligenciadas pelos indicadores bibliométricos consolidados, incluindo aquelas não convencionais que surgiram com a web e com as tecnologias de informação. No entanto, ao contrário dos indicadores "tradicionais", não se sabe ao certo o significado desses indicadores. O que significa "citar" um software? Quais os motivos que levam as pessoas a "citar" um blog? Não se trata de uma crítica as altmetrias, mas um alerta sobre a complexidade e os desafios para se medir essas novas fontes que até então não faziam parte das preocupações, pois tais análises não eram viáveis.

Essa dinâmica de coexistência de diferentes tipos de fontes, ferramentas, ações e interações, dificultam a construção e análise de indicadores. Muito pouco se conhece sobre o contexto de "citação" de materiais não convencionais, bem como do funcionamento e peculiaridades de cada uma das ferramentas existentes e do significado dos indicadores produzidos. A variedade de fontes e de ferramentas tornam a altmetria uma atividade complexa e delicada, carregada de questões que precisam ser investigadas.

5.3 Significados das ações e reações nas mídias e redes sociais

Outra complexidade inerente aos indicadores altmétricos é o fato de ainda não se ter clareza do significado das ações, intenções e interações nas mídias e redes sociais, bem como, dos conceitos de engajamento e citação. Algumas dessas problemáticas são apresentadas por Rasmussen e Andersen (2013). Para o autor, um aspecto dessa complexidade está relacionado à interpretação de tweets e curtidas, o que eles significam? Se um artigo é compartilhado ou comentado no Facebook ou no Twitter, isso significa que ele é de alta qualidade? Significa que a pesquisa é relevante para um grupo de pessoas? Enquanto esta é claramente uma questão do conteúdo incluído no compartilhamento e discussão, é também, uma questão de quem é o remetente e quem são os destinatários. Se, por exemplo, tweets sobre um artigo científico forem utilizados como medida de "impacto" social, esta será uma medida pobre, pois os tweets podem chegar unicamente ou principalmente a outros pesquisadores da mesma área. Vê-se aqui a necessidade da pesquisa relacionada as altmetrias dialogar com os estudos que procuram entender os fenômenos de sociabilidade em rede, agora, porém, com enfoque específico nas questões inerentes a produção científica. Essa conexão se faz fundamental e permite a elaboração de novos planos de pesquisa que permitam interpretar o significado dessas ações nas mídias e redes sociais.

Kumar e Mishra (2015) apresentam algumas definições de ações que podem ser pensadas no contexto das altmetrias. Mesmo que a classificação possa não ser perfeita e possuir limitações, é capaz de auxiliar na percepção da complexidade de se estudar a comunicação da ciência nas mídias e redes sociais, pois muito pouco se sabe sobre o que cada uma dessas ações e interações significa. Para o autor, termos surgiram com a web e as suas definições não são claras, podendo significar coisas diferentes para diferentes pessoas.

Kumar e Mishra (2015) propõem alguns termos e os seus conceitos aplicáveis às altmetrias: (1) "alcance" seria o número de pessoas que foram alertadas para a existência de uma página da Web e tiveram a oportunidade de vê-la. Neste caso "alcance" reflete o número de pessoas que poderiam potencialmente ver uma mídia social (Facebook, Twitter, LinkedIn, Google+, um blog acadêmico, etc.). Um passo mais perto de "impacto" seria o (2) "engajamento", definido como o número de pessoas que visualizam a página da web e, em seguida, houve alguma ação em resposta ao que se viu. Por exemplo, alguma pessoa pode "curtir", tweetar, re-tweetar, compartilhar o que viu com seus amigos. Outro (3) seria a "viralidade", que busca capturar um nível mais forte de engajamento e propensão da mensagem "viralizar" ou espalhar-se rapidamente. Mais um conceito proposto é o de (4) "disseminação" que significaria o número de pessoas visualizam o artigo online ou fizeram o download. (5) "impacto", da pesquisa é entendido pelo autor como o número de pessoas que mudam o seu pensamento ou prática por sua causa. Finalmente, (6) "citação" estaria relacionada à literatura baseada em revisão pelos pares.

Uma tentativa de classificar as diversas ações que podem ser medidas pelos indicadores altmétricos é proposta por Lin e Fenner (2013). Algumas das definições dadas pelo autor são: (1) Visualizar: atividade em que os usuários acessam artigos online; (2) Salvar: atividade de salvar artigos em gerenciadores online de bibliografias, que ajudam pesquisadores a organizar artigos para si próprios e para ser compartilhado a outros; (3) Discutir: discussão da pesquisa descrita nos artigos (variando a partir de um pequeno comentário compartilhado no Twitter até comentários mais profundos postados em um blog); (4) Recomendar: atividade em que um usuário formalmente endossa o artigo científico (via plataforma online tal como um canal de recomendação); (5) Citar: citação formal de um artigo em outro artigo presente em uma revista científica.

Quando se consulta um autor especializado em análise de mídias e redes sociais, mas não envolvido diretamente com as altmétricas, percebe-se que a complexidade de medição da comunicação científica na web social pode ser ainda maior do que parece. Khan (2015) traz diversas categorias de análise das ações e interações em mídias e redes sociais, sendo dos autores revisados para este trabalho aquele que apresenta amplitude em sua perspectiva dos possíveis acontecimentos em mídias sociais e suas relações com a comunicação científica: Curtir, Não curtir, Compartilhar, Visitantes, Visitas, Revisitas, Visualizar, Clicar, Marcar, Mencionar, Passar (Hovering), Realizar check-in, Fixar, Embutir, Endossar, Download (baixar) e Upload (carregar ou subir arquivo). Para o autor, essas ações são o caminho para expressar reações simbólicas para os conteúdos das mídias e redes sociais. Estas carregam emoções e comportamentos que auxiliam medir popularidade e influência. Entende-se que, não apenas a altmetria, mas todas as áreas interessadas em análise de mídias e redes sociais ainda não estão preparadas para medir essas ações e interações, havendo, no entanto, uma comunidade de pesquisadores desenvolvendo trabalhos nessa área, seja na comunicação, na computação e na interdisciplinaridade entre essas áreas. A colaboração com essa comunidade acadêmica se faz fundamental nesse momento de imaturidade da pesquisa em altmetria. Entender o significado dessas ações e interações, certamente, é um dos aspectos mais complexos e desafiadores para a área de altmetria.

O contexto apresentado na presente pesquisa aponta para a complexidade em que a área de altmetria está inserida. Observa-se um ambiente que conta com múltiplos conceitos e variáveis com inúmeras possibilidades de combinações, trazendo dificuldades de mensuração e compreensão dos fenômenos que estão sendo medidos. Pode-se tentar ilustrar graficamente esse contexto e a multiplicidade de elementos, fatores e possibilidades de combinação a partir de redes 100% conexas (Figura 2).

Na Figura 2, apresentam-se, sobretudo, aspectos destacados nesta seção: Atores sociais (verde) e tipos de produção (cinza); Fontes de dados e ferramentas (vermelho); e, significados das ações e reações nas mídias e redes sociais (azul). No entanto, salienta-se que tal imagem é apenas ilustrativa, apresentando de maneira genérica e superficial a complexidade do que se pretende apresentar. O número de nós certamente é maior do que os 30 apresentados e suas 702 conexões, além disso, os apresentados podem ser subdivididos, aumentando ainda mais a quantidade de combinações possíveis entre os nós. A Figura 2 apresenta os dados a partir de uma matriz quadrada que não confere qualquer peso aos nós, havendo, portanto, gigantescas possibilidades de ponderações entre os nós e as conformações da rede e, consequentemente, dos significados dos dados. Apesar disso, acredita-se que pode servir como uma boa representação da complexidade em que a área de altmetria está inserida e dos desafios inerentes aos indicadores produzidos, seus significados e a consolidação da área.

A ideia principal que se procura passar com a Figura 2 é que para se lidar com o tema altmetria, seja do ponto de vista da pesquisa acadêmica ou mesmo do desenvolvimento de novos produtos ou serviços para a área científica, é preciso lidar com todos esses elementos ali apresentados e, ademais, lidar com eles e suas relações entre si. A Figura 2 exalta a complexidade do tema e chama a atenção que é preciso levar em consideração a relação entre atores sociais, tipos de produção, fontes de dados e ferramentas e o significado das ações e reações nas mídias sociais. Ao colocar esses elementos todos interconectados, busca-se aqui defender uma posição de pesquisa que é a visão sistêmica de que se possui da questão, chamando a atenção de que olhar apenas para um tipo de nó em relação ao problema da altmetria é deixar de lado importantes relações que devem ser consideradas e analisadas de forma crítica para avaliação e desenvolvimento da área. Por exemplo, se forem consideradas apenas as ferramentas técnicas e as possíveis ações a serem desenvolvidas em mídias sociais sem levar em consideração que atores sociais são esses, uma pesquisa na área poderia cair no risco de imaginar que os atores se comportariam da mesma maneira e reagiriam a esse fenômeno comunicacional científico da mesma forma, o que se sabe que não ocorre. Logo, é fundamental uma posição crítica e sistêmica para o avanço da pesquisa nessa forma de estudos métricos, sobretudo levando em consideração que ela radicaliza a perspectiva de socialização das formas anteriores, ampliando consideravelmente o alcance da visibilidade da comunicação científica por meio das mídias sociais e suas múltiplas formas de apropriação social. A perspectiva da altmetria é a perspectiva que procura tornar visível essa maior complexidade de interação social na área da comunicação científica e apresentar isso a partir de uma visão sistêmica como a da Figura 2 é ressaltar essa complexidade e lhe chamar a devida atenção.

6 Conclusões

Percebe-se que o desenvolvimento da altmetria está envolto em um contexto extremamente novo e com inúmeros desafios a serem mais profundamente investigados. Sua conceituação ainda é frágil e instável, as críticas com relação à bibliometria e à cientometria parecem pouco úteis, não trazendo benefícios para a sua institucionalização e fortalecimento. As críticas focadas no FI e, por consequência, na análise de citações são estéreis, não sendo capaz de torná-la superior e não auxiliam no entendimento do fenômeno que se pretende medir.

Identificam-se novas e complexas formas de medição e compreensão de um outro e pouco conhecido tipo de "citação" e de "impacto". A altmetria traz um contexto extremamente novo e pouco explorado, até então, pelas métricas consolidadas, tais como, bibliometria, cientometria, informetria, cibermetria e, inclusive mesmo, a webometria. A simples associação (positiva ou negativa) das altmetrias com as antecessoras não é suficiente para compreendê-la e defini-la. Novos conhecimentos, até recentemente distantes das métricas consolidadas e que são um desafio até para outras áreas, precisarão ser descortinados. Exige-se um olhar interdisciplinar para melhor clareamento dos objetos ações e interações envolvidas.

As altmetrias possuem outras ferramentas, utilizam outras fontes de dados e contam com uma grande heterogeneidade de atores sociais. As métricas consolidadas, historicamente, medem a produção científica em relação aos próprios cientistas. As altmetrias medem o "impacto" social de produções científicas, oferecendo uma nova e complementar, portanto mais complexa, forma de medir o "impacto" científico. Extrapola a medição do "impacto" intrapares para extrapares ao medir o "impacto" científico na sociedade como um todo.

Existem diversas complexidades e desafios específicos da altmetria. Além da complexidade de medição dos públicos (pesquisador ou sociedade em geral e suas variações), as diferentes ferramentas e fontes relacionadas com as altmetrias, apresentam uma dificuldade ainda maior, que são as maneiras diferentes de medir essas ações e interações nas mídias e redes sociais (salvar, discutir, recomendar, citar, etc.).

Mesmo que a presente pesquisa deixe muito mais perguntas que respostas, alguns aspectos puderam ser depreendidos a partir dos resultados e refletem a visão presente que os autores do artigo fazem do campo da altmetria, a partir, sobretudo, de sua visão de pesquisa e da perspectiva sistêmica que defendem e procuram apresentar evidências ao longo deste trabalho. Alguns deles úteis para a compreensão da área de altmetria podem ser, provisoriamente, sumarizados:

• Pode ser considerada uma nova área do conhecimento e de estudo e não uma área alternativa aos indicadores "tradicionais", ou melhor, consolidados;
  
• Ocupa-se da criação e análise de um conjunto de novos indicadores, não explorados de maneira efetiva anteriormente;
  
• Utiliza métricas fortemente baseadas em ações e interações na Web Social ou web 2.0, com destaque para as mídias e redes sociais;
  
• Conta com uma grande variedade de dados e fontes de informação acadêmicas (tradicionais e que surgem com a WWW) pouco estudadas, gerando dificuldades nas interpretações das medições;
  
• As ações e interações passíveis de ocorrência, "citação" e engajamento em redes e mídias e redes sociais, são vastas e pouco se sabe sobre os seus significados, sendo um dos maiores desafios da altmetria;
  
• A área está inserida no campo de Ciência da Informação, tendo relação central o subcampo comunicação científica, mas possui relações interdisciplinares, especialmente com a área de Comunicação Social;
  
• As altmetrias não são os únicos indicadores em nível de artigo e em nível de pesquisador. A quantidade de citações em um artigo e o índice-h contraria essa afirmação;
  
• Os indicadores altmétricos não podem ser considerados alternativos, mas complementares aos indicadores bibliométricos, cientométricos, webométricos, etc., pois, cada um deles mede fenômenos diferentes. Utilizá-los de maneira conjunta, parece ser a melhor alternativa;
  
• Capta ações e interações de diversas - e incertas - fontes de vários atores sociais e não apenas de cientistas e acadêmicos, trazendo complexidades e desafios adicionais à compreensão do fenômeno;
  
• São altamente dependentes das ferramentas desenvolvidas para a medição das interações dos públicos e conteúdos acadêmicos socializados. Pouco se sabe sobre as características e funcionamento dessas ferramentas e sobre o que cada uma mede;
  
• As tentativas de definições, defesas e justificativas do uso de indicadores altmétricos em alternativa ao Fator de Impacto e aos estudos de citação não tem auxiliado na sua compreensão, havendo necessidade de maior reflexão sobre si mesma.
  
  

Não se pretendeu, nesta reflexão, esgotar o assunto, mas trazer mais elementos para o debate, em uma área que está apenas em seus momentos iniciais de desenvolvimento. Portanto, muitos outros aspectos igualmente importantes não foram objeto de análise. A discussão pormenorizada das vantagens e desvantagens, limites e possibilidades das altmetrias é enorme e foi apenas superficialmente analisada. Os tipos de indicadores que estão sendo produzidos, com suas características e formas de cálculo, merecem ser explorados em outros trabalhos. As ferramentas e características das principais fontes de informação não foram tratadas na presente pesquisa. Muitas outras questões, teóricas e empíricas, precisam ser investigadas e lacunas devem ser preenchidas. Uma janela de pesquisa gigantesca é aberta com o surgimento dessa nova área, que possui grande potencial para contribuir para a compreensão da comunicação científica, de melhores formas de se avaliar a ciência e os "impactos" na sociedade como um todo e de propiciar novas abordagens de se planejar a política científica e tecnológica.

Referências

ALTMETRIC.COM. Over 5 million outputs and almost 50,000 mentions a day [mensagem pessoal]. Mensagem enviada por <info@altmetric.com> em 3 mar. 2016. Para <jmmaricato@gmail.com>         [ Links ]

BALL, A.; DUKE, M. How to track the impact of research data with metrics. Edinburgh, UK: Digital Curation Centre, 2015.         [ Links ]

BARROS, M. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. Perspectivas em Ciência da Informação, v. 20, n. 2, 2015.         [ Links ]

BJÖRNEBORN, L.; INGWERSEN, P. Toward a basic framework for webometrics. Journal of the American Society for Information Science and Technology, v. 55, n. 14, p. 1216-1227, 2004.         [ Links ]

BORNMANN, L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of informetrics, v. 8, n. 4, p. 895-903, 2014.         [ Links ]

BRIGHAM, T. J. An introduction to altmetrics. Medical reference services quarterly, v. 33, n. 4, p. 438-447, 2014.         [ Links ]

CRONIN, B. The hand of science: academic writing and its rewards. Lanham, MD: Scarecrow Press, 2005.         [ Links ]

CRONIN, B.; WEAVER, S. The praxis of acknowledgement: from bibliometrics to influmetrics. Revista Española de Documentación Científica, v. 18, n. 2, p. 172–177, 1995.         [ Links ]

DONATO, H. Traditional and alternative metrics: the full story of impact. Revista Portuguesa de Cardiologia, v. 20, n. 01, p. 1-2, 2014.         [ Links ]

DUTTA, B. The journey from librametry to altmetrics: a look back. Kolkata, India: Jadavpur University, 2014. (In Press)        [ Links ]

FENNER, M. Altmetrics and other novel measures for scientific impact. In: BARTLING, FRIESIKE (eds.). Opening science. Springer International Publishing, 2014. p. 179-189.         [ Links ]

GILBERT, G. N. Referencing as Persuasion. Social Studies of Science, v. 7, n. 1, p. 113–122, 1977.         [ Links ]

GOUVEIA, F. C.. Altmetria: métricas de produção científica para além das citações. Liinc em Revista, v. 9, n. 1, 2013.         [ Links ]

GROTH, P.; GURNEY, T. Studying scientific discourse on the web using bibliometrics: a chemistry blogging case study. In: WebSci10: Extending the Frontiers of Society On-Line, April 26–27th 2010. Proceedings... Raleigh, NC, USA, 2010.         [ Links ]

HAUSTEIN, S.; BOWMAN, T. D.; COSTAS, R. Interpreting "altmetrics": viewing acts on social media through the lens of citation and social theories. arXiv.org, p. 1-24, 2015.         [ Links ]

HAUSTEIN, S. Scientific interactions and research evaluation: from bibliometrics to altmetrics. In: PEHAR, F.; SCHLÖGL,C.; WOLFF, C. (Eds.). Re:inventing Information Science in the Networked Society.in: International Symposium on Information Science (ISI 2015), 14. Proceedings... Zadar, Croatia, 19th-21st May, 2015. Glückstadt: Verlag Werner Hülsbusch, 2015. p. 36-42.         [ Links ]

INGWERSEN, P. The calculation of web impact factors. Journal of documentation, v. 54, n. 2, p. 236-243, 1998.         [ Links ]

KHAN, G. F. Seven Layers of Social Media Analytics: Mining Business Insights from Social Media Text, Actions, Networks, Hyperlinks, Apps, Search Engines, and Location Data. Gohar Feroz Khan, 2015.         [ Links ]

KUMAR, S; MISHRA, A. K. Bibliometrics to Altmetrics and its impact on Social media. International Journal of Scientific & Innovative Research Studies, v. 3, n.3, March, 2015.         [ Links ]

LIN, J; FENNER, M. Altmetrics in evolution: defining and redefining the ontology of article-level metrics. Information Standards Quarterly, v. 25, n. 2, p. 20, 2013.         [ Links ]

LIU, J; ADIE, E. Five challenges in altmetrics: a toolmaker's perspective. Bulletin of the American Society for Information Science and Technology, v. 39, n. 4, p. 31-34, 2013.         [ Links ]

MOED, H. F. Citation analysis in research evaluation. Berlin: Springer, 2005.         [ Links ]

NEYLON, C.; WU, S. Article-Level metrics and the evolution of scientific impact. PLoS Biology, v. 7, n. 11, 2009.         [ Links ]

NEYLON, C.; WILLMERS, M.; KING, T. Impact beyond citation: an introduction to altmetrics. Scholarly Communication in Africa Programme. Ottawa, Canada: International Development Research Centre, 2014.         [ Links ]

PIWOWAR, H. Altmetrics: Value all research products. Nature, v. 493, n. 7431, p. 159-159, 2013.         [ Links ]

PRIEM, J. Altmetrics. In: CRONIN, B.; SUGIMOTO, C. R. (EDS.). Beyond bibliometrics: harnessing multidimensional indicators of performance. Cambridge, MA: MIT Press, 2014. p. 263–287.         [ Links ]

PRIEM, J. I like the term# article level metrics, but it fails to imply* diversity* of measures. Lately, I’m liking# altmetrics. Twitter, 28 set. 2010.

PRIEM, J.; TARABORELLI, D.; GROTH, P.; NEYLON, C. Altmetrics: a manifesto. London: Altmetric.org, 2010. Disponível em: <http://altmetrics.org/manifesto/>. Acesso em: 21 mar. 2016.         [ Links ]

PRIEM, J.; PIWOWAR, H. A.; HEMMINGER, B. M. Altmetrics in the wild: using social media to explore scholarly impact. arXiv preprint arXiv:1203.4745, 2012.         [ Links ]

PRIEM, J.; GROTH, P.; TARABORELLI, D. The altmetrics collection. PloS one, v. 7, n. 11, 2012.         [ Links ]

PRIEM, J.; HEMMINGER, B. H. Scientometrics 2.0: New metrics of scholarly impact on the social Web. First Monday, v. 15, n. 7, 2010.         [ Links ]

RASMUSSEN, P. G.; ANDERSEN, J. P. Altmetrics: an alternate perspective on research evaluation. Sciecom info, v. 9, n. 2, 2013.         [ Links ]

ROEMER, R. C.; BORCHARDT, R. Introduction to altmetrics. Library Technology Reports, v. 51, n. 5, p. 5-10, 2015.         [ Links ]

ROUSSEAU, R.; YE, F. Y.A multi-metric approach for research evaluation. Chinese Science Bulletin, v. 58, n. 26, p. 3288-3290, 2013.         [ Links ]

SHEMA, H.; BAR-ILAN, J.; THELWALL, M. Do blog citations correlate with a higher number of future citations? Research blogs as a potential source for alternative metrics. Journal of the Association for Information Science and Technology, v. 65, n. 5, p. 1018-1027, 2014.         [ Links ]

SOUZA, I. V. P. Altmetria: estado da arte. Tendências da Pesquisa Brasileira em Ciência da Informação, v. 7, n. 2, 2015.

SUD, P; THELWALL, M. Evaluating altmetrics. Scientometrics, v. 98, n. 2, p. 1131-1143, 2014.         [ Links ]

TARABORELLI, D. Soft peer review: social software and distributed scientific evaluation. In: HASSANALY, P. et al. (Eds.). Proceedings of the International Conference on the Design of Cooperative Systems, 8. Proceedings... Carry-le-Rouet. Aix-en-Provence, France: Institut d’Etudes Politiques d’Aix-en-Provence, 2008. p. 99–110.

TAYLOR, M. Exploring the boundaries: how altmetrics can expand our vision of scholarly communication and social impact. Information Standards Quarterly, v. 25, n. 2, p. 27-32, 2013b.         [ Links ]

TAYLOR, M. Towards a common model of citation: Some thoughts on merging altmetrics and bibliometrics. Research Trends, v. 35, p. 19-22, 2013a.         [ Links ]

THELWALL, M. et al. Do altmetrics work? Twitter and ten other social web services. PloSone, v. 8, n. 5, p. e64841, 2013.         [ Links ]

TORRES-SALINAS, D.; CABEZAS-CLAVIJO, A.; JIMÉNEZ-CONTRERAS, E. Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. n. 41, v. XXI, Comunicar, Revista Científica de Educomunicación. p. 53-60, 2013.         [ Links ]

ZAHEDI, Z.; COSTAS, R.; WOUTERS, P. How well developed are altmetrics? A cross-disciplinary analysis of the presence of ‘alternative metrics’ in scientific publications. Scientometrics, v. 101, n. 2, p. 1491-1513, 2014.

 

Dados dos autores

João de Melo Maricato

Professor na Faculdade de Ciência da Informação (FCI), Universidade de Brasília (UnB). jmmaricato@gmail.com

Dalton Lopes Martins

Professor na Faculdade de Informação e Comunicação (FIC), Universidade Federal de Goiás (UFG).

dmartins@gmail.com

 

Recebido - Received: 2016-09-28

Aceito – Accepted : 2017-07-26

 

---

i Trabalho elaborado no âmbito do projeto Tainacan – Ministério da Cultura do Brasil. Contou com apoio da Finatec e do Decanato de Pós-graduação da UnB.

ii Como o "tradicional" pode ser utilizado de maneira pejorativa, representando a ideia de antiquado ou ultrapassado, em alguns momentos utiliza-se o termo entre aspas, ou, em alguns casos, a sua substituição pelo termo "consolidado".

iii Algumas das ferramentas altmétricas mais conhecidas na atualidade são: ImpactStory, Altmetric.com, Plum Analytics, Mendeley, Academia.edu e PLoS Article-Level Metrics.

iv O uso o termo "citação" e, por consequência, "impacto" são utilizados entre aspas quando empregados no contexto da altmetria de forma estrita, pois se entende que possuem significados substancialmente diferentes quando utilizados em outros contextos. Os conceitos de citação utilizados tradicionalmente nas áreas de bibliometria e cientometria, por exemplo, não podem ser considerados sinônimos aos utilizados na altmetria.

v Tradução livre: "Eu gosto do termo #metricasemniveldeartigo, mas ele não sugere *diversidade* de medidas. Ultimamente, eu estou gostando de #altmetria."

vi Tradução livre: "a criação e estudo de novas métricas baseadas na Web Social para analisar e disseminar conhecimento acadêmico".

vii Tradução livre: "mais de 5 milhões de outputs e aproximadamente 50.000 menções por dia".

viii Atualmente de propriedade da empresa Thomson Reuters.

ix Qualis é o conjunto de procedimentos utilizados pela Coordenadoria de Pessoal de Nível Superior do Brasil para estratificação da qualidade da produção intelectual (com destaque para revistas científicas) dos programas de pós-graduação (https://qualis.capes.gov.br/ ).