SciELO - Scientific Electronic Library Online

 
 issue67Authority control in the bibliographic domain: book and card catalogsCorrección a: Vivas Moreno, A., & Macedo, R. "Series documentales para el estudio del poder en las Universidades Hispánicas de los ss. XVI-XVIII: El caso salmantino". Biblios, no. 66, 60-85. 10.5195/biblios.2017.334 author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Biblios

On-line version ISSN 1562-4730

Biblios  no.67 Pittsburgh Apr./Jun. 2017

http://dx.doi.org/10.5195/biblios.2017.327 

10.5195/biblios.2017.327

CASE REPORT

Análise de atos normativos por meio do comportamento de busca de usuários: O caso da Agência Nacional de Energia Elétrica – Aneel

Analysis of regulatory acts through the users search behavior: the case of Agência Nacional de Energia Elétrica – Aneel

 

Roberta Penha e Silva Marins

Fernanda Passini Moreno

Universidade de Brasília – UNB, Brasil


Resumo

Objetivo. Apresenta pesquisa sobre a análise dos atos normativos emanados pela Agência Nacional de Energia Elétrica – Aneel sob o ponto de vista do usuário da informação. O objetivo geral da pesquisa foi comparar a estratégia de pesquisa que os servidores da Aneel utilizam no momento da busca de atos normativos por meio do sistema de busca da agência com os comportamentos de busca apresentados na literatura, a fim de elicitar convergências e demonstrar inconsistências na representação de conteúdo do ato normativo. Método. A pesquisa teve como ponto de referência o trabalho realizado dentro do Centro de Documentação da Agência com o tratamento e representação de atos normativos e sua recuperação pelos servidores da agência e buscou insumos na literatura sobre análise documentária, informação jurídica, Sistemas de Recuperação de Informação e comportamento de busca do usuário de informação. Apresenta como método geral de pesquisa o Estudo de Caso descritivo e utilizou como como técnica de coleta de dados a observação e o protocolo verbal pensar alto. Resultados. Os resultados demonstraram a dificuldade do usuário em recuperar os atos normativos e a constante comparação entre o sistema de busca utilizado na Aneel, com o buscador Google, que influencia o comportamento de busca dos usuários ao realizar as suas buscas no catálogo da biblioteca.

Palavras-chave

Agência Nacional de Energia Elétrica – Aneel; comportamento de busca; Google; informação jurídica; recuperação de informação; representação da informação


Abstract

Objective. It presents research on the analysis of normative acts issued by the Agência Nacional de Energia Elétrica – Aneel from the point of view of user information. The overall objective of the research is to compare the search strategy that Aneel servers use at the time of search normative acts through the agency's search engine with search behavior in the literature in order to elicit convergences and demonstrate inconsistencies in the normative act content representation. Method. The survey was to benchmark the work done within the Agency's Documentation Centre with treatment and representation of normative acts and their recovery by the agency's servers and sought inputs in literature on documentary analysis, legal information, Information Retrieval Systems and user search behavior information. Presents as a general method of research the study of descriptive case and used as data collection technique observation and verbal protocol thinking aloud. Results. The results showed the user's difficulty in recovering the normative acts and the constant comparison between the search system used in Aneel, Sophia, with the Google search engine, which influences users' search behavior to make their search in the library catalog.

Keywords

Agência Nacional de Energia Elétrica – Aneel; Google; information behavior; information retrieval; law information; representation of information


 1 Introdução

A descrição de informação, de uma maneira geral, constitui no principal instrumento para a organização e recuperação de documentos. Elaine Svenonius em seu livro The intellectual foundation of Information organization (2000) disserta que a "informação para ser organizada precisa ser descrita".

Segundo a autora, a descrição pode ser entendida como uma declaração das propriedades de um documento ou de suas relações com outros documentos que servem para identificá-lo. Diante disso, a presente pesquisa analisou um tipo de informação a informação jurídica, mais precisamente, os atos normativos, emanados pela Agência Nacional de Energia Elétrica – Aneel.

A análise da descrição dos atos, nesse projeto de pesquisa foi realizada sob o ponto de vista do usuário dessa informação, que no caso eram os próprios servidores da agência.

A pesquisa de atos normativos, pelos servidores da Aneel, constitui um ato decisório, em que o usuário diante da interface de busca, identifica a sua necessidade de informação e utilizando seus conhecimentos prévios sobre o sistema de busca e sobre o tema a ser pesquisado, traça uma estratégia de pesquisa, utilizando alguns descritores a fim de encontrar o que necessita.

As agências reguladoras, de uma maneira geral, são pessoas jurídicas de Direito Público criadas por lei, "são autarquias sob regime especial [...] criadas com a finalidade de disciplinar e controlar certas atividades" (MELLO, 2010, p.169-170).

A elas competem funções do Executivo, tais com a concessão e fiscalização de atividades e direitos econômicos, e lhes são atribuídas funções do legislativo, como criação de normas, regras, procedimentos, com força legal sob a área de sua jurisdição. Ademais, ao julgar, impor penalidades, interpretar contratos e obrigações, as agências desempenham funções judiciárias. (AGÊNCIAS, 2007, p. 16).

Apesar de desempenhar funções judiciárias, as Agências Reguladoras não são órgãos que tem como precípua a função jurídica. As agências são entes especializados em um ramo da economia do país. Dessa forma, o tipo de legislação gerada dentro desses órgãos é diferente da produzida por outros do poder legislativo e judiciário. No caso da Aneel, o ramo da economia regulado e fiscalizado é o de Energia em suas mais variadas formas.

A informação jurídica que é disponibilizada pelas agências reguladoras perpassa todo o ciclo informacional e norteará o setor regulado, ou seja, a conduta dos regulados depende da informação disponibilizada pelos órgãos.

O Centro de Documento - CEDOC é o setor responsável pelo recebimento, publicação e tratamento informacional dos mais diversos atos administrativos de competência da ANEEL, que é realizado por meio do software Sophia.

O Sophia é software de gerenciamento de bibliotecas, desenvolvido e comercializado pela empesa Primasoft Informática, que possui um módulo desenvolvido para o tratamento de legislação, ele vem sendo utilizado para esse fim, dentro da Aneel, desde junho de 2013 em sua versão 8.

O problema de pesquisa se iniciou com a prática no tratamento, disponibilização e pesquisa de atos normativos no Centro de Documentação da Aneel. Percebeu-se, durante alguns anos de prática, que o usuário dessa informação não possuía conhecimento de como realizar pesquisas utilizando os descritores assuntos das normas procuradas.

Os campos utilizados para a descrição de assunto e os termos utilizados no momento da indexação são desconhecidos para o usuário que relata sentir dificuldade em encontrar atos com base em seu conteúdo.

Diante dessas dificuldades, percebeu-se a necessidade de analisar a descrição dos atos normativos emanados pela agência tendo como ponto de vista o usuário dessa informação.

A partir do exposto, esta pesquisa buscou responder o seguinte questionamento: ao realizar uma busca de atos normativos por meio do sistema de busca on-line da Aneel, qual o comportamento de busca e recuperação do usuário no momento da pesquisa?

Assim, foi estabelecido o objetivo geral de comparar a estratégia de pesquisa que os servidores da Aneel utilizam no momento da busca de atos normativos por meio do sistema de busca da agência com os comportamentos de busca apresentados na literatura, a fim de elicitar convergências e demonstrar inconsistências na representação de conteúdo do ato normativo.

A próxima seção tratará da delimitação do tipo de ato estudado na presente pesquisa, seguida de seção sobre comportamento de busca de usuários em sistemas de recuperação da informação – SRI. Após a parte de revisão de literatura, o artigo traz as seções sobre Metodologia, Análise de Dados e Discussão de Dados respectivamente, sendo concluído com as Considerações Finais.

2 Delimitação do ato normativo na informação jurídica brasileira

A Informação Jurídica (IJ) constitui em um tipo de informação útil, construída dentro de uma sociedade, com o intuito de embasar, interpretar e regular as relações humanas constituídas dentro dessa sociedade. Ela é uma importante fonte informacional tanto para órgãos da administração pública quanto para particulares. "A Informação Jurídica é originada fundamentalmente pelo tripé informacional: legislação, doutrina e jurisprudência" (MIRANDA, 2004, p.138) sendo a legislação a fonte primária, "a lei é a fonte principal do Direito, entendida como uma norma geral, escrita, coercitiva [...]" (BARROS, 2004, p.203).

Seguindo essa linha de pensamento, Passos (1994, p.363) conceitua a Informação Jurídica (IJ) como:

(...) toda a unidade de conhecimento humano que tem a finalidade de embasar manifestações de pensamento de jurisconsultos, tratadistas, escritores jurídicos, advogados, legisladores, desembargadores, juízes e todos aqueles que lidam com a matéria jurídica, quando procuram estudar (do ponto de vista legal) ou regulamentar situações, relações e comportamentos humanos, ou ainda quando interpretam e aplicam dispositivos legais.

Ainda segundo Passos (1994, p. 363-364) a informação jurídica "pode ser gerada e recuperada, basicamente, em três formas distintas: descritiva (por meio da doutrina); normativa (pela legislação) e interpretativa (com o emprego da jurisprudência)". Essas três formas de informação são as chamadas fontes do Direito.

O presente trabalho tem como principal objeto de estudo, a informação jurídica normativa (a norma jurídica). Segundo Ráo apud Lima (2008) a lei é "a norma geral de direito formulada e promulgada, por modo autêntico, pelo órgão competente de autoridade soberana e feita valer pela proteção-coerção, exercida pelo Estado".

Miguel Reale (2006, p. 94) disserta que, o que efetivamente caracteriza uma norma jurídica, de qualquer espécie, "é o fato de ser uma estrutura proposicional enunciativa de uma forma de organização ou de conduta, que deve ser seguida de maneira objetiva e obrigatória".

A Legislação de um Estado que "corresponde ao conjunto de atos normativos emanados de autoridade competente" (GUIMARÃES, 1993, p.42), tem caráter coercitivo sobre determinada matéria e é constituída, no Ordenamento Jurídico Brasileiro, hierarquicamente pela: Constituição, Emenda Constitucional, Lei complementar, Lei ordinária, Decretos, Decreto-Lei, Resolução, Portaria, Circular, Ordem de Serviço e outros atos.

Para fins de conceituação, segundo Bobbio (1999, p.31) um ordenamento jurídico é "um conjunto de normas".

No ordenamento jurídico brasileiro, a Constituição Federal é a lei máxima, que prevalece sobre todas as outras; as leis complementares, leis ordinárias, decretos, resoluções do Congresso Nacional entre outras são as chamadas legislações infraconstitucionais; os demais tipos de legislação (demais resoluções, portarias, etc.) são as chamadas legislações infra legais, pois são, hierarquicamente, inferiores às leis.

O objeto do presente trabalho tem como fonte a legislação emanada por órgãos administrativos do Poder Executivo Federal, são os chamados Atos Normativos.

Os atos normativos podem ser entendidos segundo Vicente Paulo (2012, p.482-483) como:

(...)atos que possuem conteúdo análogo ao das leis – são "lei em sentido material". A principal diferença – além do aspecto formal – é que os atos normativos não podem inovar o ordenamento jurídico [...] os atos normativos devem detalhar, explicitar o conteúdo das leis que regulamentam e, sobretudo, uniformizar a atuação e os procedimentos a serem adotados pelos agentes administrativos, sempre que se deparem com situações concretas semelhantes.

Os atos normativos são um tipo de legislação especializada e delegada ao poder executivo. Sobre a delegação do poder de produzir norma jurídica, Bobbio (1999) faz algumas considerações:

Típico exemplo de fonte delegada é o regulamento com relação à Lei. Os regulamentos são, como as leis, normas gerais e abstratas, mas, à diferença das leis, a sua produção é confiada geralmente ao Poder Executivo por delegação do Poder Legislativo, e uma de suas funções é a de integrar leis muitos genéricas, que contêm somente diretrizes de princípio e não poderiam ser aplicadas sem serem ulteriormente especificadas.

Os atos normativos são uma espécie legislativa de hierarquia infra legal, ou seja, estão subordinados às Leis em sentido amplo que são aquelas obedece a um rito peculiar de elaboração, proveniente do processo legislativo.

Com o intuito de melhor explicar essa diferenciação entre as normas jurídicas, Reale (2006, p. 97) disserta que as normas jurídicas podem ser divididas em primárias e secundárias.

Para explicar essa divisão, Reale (2006, p. 98) busca a seguinte citação de Hart:

As normas primárias se distinguem por se referirem à ação ou criarem uma obrigação (o que, no fundo, corresponde à doutrina tradicional), enquanto que as secundárias, que se reportam às primárias e delas são subsidiárias, não se limitam a estabelecer sanções, mas são mais complexas, importando na atribuição de poderes.

Diante do exposto, tem-se que o objeto de estudo dessa pesquisa, o ato normativo, é entendido como norma jurídica de caráter secundário, ou seja, uma norma que se baseia nas normas primárias para estabelecer alguma regra ou sanção.

3 Comportamento de busca de usuários em Sistemas De Recuperação da Informação - SRI

Os Sistemas de Recuperação da Informação - SRIs são sistemas conhecidos como um intermediário entre as informações armazenadas em uma base de dados e o usuário final. Segundo Cesarino (1985, p. 157), um SRI pode ser definido como "um conjunto de operações consecutivas executadas para localizar, dentro da totalidade de informações disponíveis, aquelas realmente relevantes."

Araújo (2012, p.139) destaca que os SRIs "tratam da representação do armazenamento, da organização e da localização dos itens de informação". Um SRI, para realizar todas essas tarefas, utiliza recursos de linguagens documentárias.

Segundo Souza (2006, p.163), os SRIs organizam e viabilizam o acesso aos itens de informação desempenhado as seguintes atividades:

1) Representação das informações contidas nos documentos, usualmente através dos processos de indexação e descrição dos documentos; 2) Armazenamento e gestão física e/ou lógica desses documentos e de suas representações; 3) Recuperação das informações representadas e dos próprios documentos armazenados, de forma a satisfazer as necessidades de informação dos usuários. Para isso é necessário que haja uma interface na qual os usuários possam descrever suas necessidades e questões, e através da qual possam também examinar os documentos atinentes recuperados e/ou suas representações.

Outro conceito englobado pelo de SRI é o de catálogo online. Segundo Rowley (2002), os Sistemas de Recuperação de Informação - SRI são compostos por três etapas: a indexação, o armazenamento e a recuperação. Além disso, os SRIs, segundo a autora, podem ser divididos em 5 tipos: Serviços de busca em linha, Cederrom, Internet, Catálogos em linha de acesso público e Sistemas de gerenciamento de documentos.

No caso do projeto de presente pesquisa, o modo de organização, armazenamento e recuperação dos atos normativos é realizado por meio de um catálogo em linha de acesso público, conhecido pela sigla OPAC (online public access catalog).

De acordo com Baeza-Yates e Ribeiro-Neto (1999, p. 7), as bibliotecas estão entre as primeiras instituições a adotar Sistemas de Recuperação de Informação.

A evolução dos catálogos é comumente explicada na literatura por meio de gerações, na primeira geração, esses sistemas consistiam basicamente na automação com tecnologias já ultrapassadas (ex: catálogos em fichas) e basicamente permitia pesquisas por meio do nome do autor e título. Na segunda geração, outras funcionalidades foram adotadas pelos catálogos que passaram a permitir buscas por cabeçalhos de assuntos e palavras-chave. Já na terceira geração, que ainda estava se desenvolvendo à época, o foco está no desenvolvimento de interfaces gráficas, ferramentas de hipertexto, formas eletrônicas e arquitetura de sistemas abertos.

Atualmente, os catálogos já estão evoluindo para uma nova geração. Segundo Moreno (2011, p. 37),

A literatura recente é prolífica quando se pensa na nova geração de catálogos (next generation), às vezes aderindo ao termo "Catálogos 2.0", em referência às transformações ocorridas na Web, como por exemplo as redes sociais, a geração de conteúdo por usuários, blogs, wikis, alertas de indicação de conteúdo, etc.

Após a conceituação dos Sistemas de Recuperação de Informação e seus tipos e objetivos, apresenta-se as características dos estudos de usuários em SRIs com o enfoque na recuperação de informações.

Em estudos na área de Biblioteconomia e Ciência da Informação, duas abordagens básicas são usadas para classificar os SRIs: a centrada no sistema e a centrada no usuário.

Na visão de Baeza-Yates e Ribeiro-Neto (1999, p. 7), na abordagem centrada no sistema, os problemas de recuperação de informação se concentram principalmente em construir índices eficientes, buscadores com grande performance e desenvolvimento de algoritmos para a melhora da "qualidade" das respostas. Já na abordagem centrada no usuário os problemas se concentram principalmente em estudos de comportamento do usuário, entender suas principais necessidades e em determinar com esse entendimento afeta a organização e a operação do sistema de recuperação.

Segundo Taylor (1999, p.112), essa categorização não é mutuamente exclusiva, há problemas e interconexões que perpassam as duas categorias, como por exemplo, o comportamento de busca do usuário final frente às funcionalidades de um sistema de busca.

Além dessas duas abordagens, há também, em estudos de recuperação de informação, a abordagem cognitiva, proposta por Ingwersen, para ele, quando um SRI é visto pela perspectiva cognitiva, todas as interações entre o sistema e a busca de informação podem resultar em processo de cognição, que pode ocorrer em todos os processamentos de informações envolvidos.

Em um estudo sobre personalização na recuperação de informação, Pasi (2010) disserta que muitos SRIs e mecanismos de busca, nos dias atuais, são construídos segundo a abordagem centrada no sistema. Nesse tipo de abordagem, os sistemas se comportam de forma padronizada, pois produzem a mesma resposta para uma mesma pergunta independentemente do contexto em que o usuário está inserido.

Kuhlthau (1991) já demonstrava a necessidade da mudança de paradigma dos sistemas de informação. Para ela "os sistemas de informação e os seus mediadores seguiam o paradigma bibliográfico, centrado em coletar e classificar textos, além de conceber estratégias de pesquisa para a recuperação desses textos".

Em SRIs centrados no sistema, a informação utilizada é percebida pela perspectiva do sistema e não pela perspectiva dos usuários dos sistemas. O pensamento de Araújo Júnior (2007, p.75) vai ao encontro da afirmação acima em que a principal função do SRI é a de "levar ao usuário/demandante o documento certo que irá satisfazer a sua necessidade específica de informação".

Para que um SRI tenha seu foco centrado no usuário é necessário que ele seja construído de acordo com as necessidades deles. Segundo Petrelli (2004) para que um sistema de informação seja efetivo, ele deve ser fiel ao real contexto de seus usuários finais. O desenho de um sistema centrado no usuário requer que o usuário esteja envolvido em todo o processo.

O comportamento de pesquisa do usuário de informação é fonte importante para se saber como desenvolver um SRI.

Segundo Hildreth (1997), há dois métodos de pesquisa: questão de pesquisa (querying); e navegação (browsing). A questão de pesquisa, pode ser tanto uma frase quanto uma palavra-chave e normalmente tem melhores resultados quando os usuários sabem exatamente o querem encontrar.

Já a pesquisa por navegação, pode ser dividida em duas categorias: A pré-sequencial; e a Não linear ou multidirecional. Enquanto a primeira se caracteriza por ser mais estruturada e permitir ao usuário pesquisar em listas de termos e cabeçalhos de assuntos para encontrar tópicos ou itens de interesse; a segunda se caracteriza por ser menos estruturada e faz com que o usuário navegue entre vários itens de forma aleatória.

Entre os modelos utilizados para recuperação de informação Baeza-Yates e Ribeiro-Neto (2013, p.249-253) destacam que o modelo booleano é a abordagem mais antiga para combinar consultas por palavras-chave. A consulta por meio de operadores booleanos consiste no uso de expressões que aprimoram o resultado das pesquisas.

Os operadores booleanos mais utilizados durante uma pesquisa, dadas duas consultas básicas ou subexpressões booleanas e¹ e e² são, segundo Baeza-Yates e Ribeiro-Neto (2013, p.249-253):

OR: a consulta (e¹ OR e²) seleciona todos os documentos que satisfazem e¹ ou e². Duplicatas são eliminadas.

AND: A consulta (e¹ AND e²) seleciona todos os documentos que satisfazem e¹ quanto e².

BUT: a consulta (e¹ BUT e²) seleciona todos os documentos que satisfazem e¹, mas não e². Perceba que a lógica Booleana clássica usa uma operação "NOT", onde (NOT e²) é válido sempre que e² não o for. Neste último caso, todos os documentos que não satisfazem e² devem ser recuperados o que pode retornar uma grande quantidade de texto e provavelmente não é o que o usuário deseja. O operador BUT, por outro lado, ajusta o universo dos elementos recuperáveis para o resultado de e¹.

Outros modelos também são apresentados pelos autores, como a consulta por palavras e consultas contextuais.

A consulta por palavras, é considerada a mais básica que pode ser formulada em um sistema de busca textual e consiste em uma única palavra.

Já no modelo contextual, o sistema de buscas tem a habilidade de procurar palavras em um dado contexto, ou seja, perto de outras palavras. O contexto é utilizado, nesse caso, no sentido de proximidade física no texto. "Palavras que aparecem próximas umas das outras podem indicar maior probabilidade de relevância do que palavras que aparecem separadas". (Baeza-Yates e Ribeiro-Neto, 2013, p.249-253).

Outro modelo de pesquisa, o truncamento, é explicado por Taylor (1999, p.119-120). Nesse modelo o usuário deve inserir um símbolo que pode ser um asterisco (*), um sinal de dólar ($) ou outro símbolo utilizado pelo sistema. Por exemplo, em uma busca por "catálog#", o sistema de buscas pode retornar os seguintes termos: catálogo, catálogos, catalogação, catalogador e outros.

Após as considerações acima sobre SRIs, catálogos e modelos de busca, para entender como os usuários de informação interagem com os Sistemas de Recuperação de Informação apresentam-se alguns estudos que vêm sendo realizados, partindo de vários enfoques.

Svenonius (2000, p.70) relata que, em vários estudos de comportamento de busca de usuários realizados nos trinta últimos anos do século XX, descobriu–se que os usuários tendem a usar um número limitado de metadados na hora da busca, e que normalmente utiliza metadados bibliográficos, como autor, título, data e editora para realizar suas pesquisas.

Outra característica relatada, foi que os usuários encontram problemas em fazer com que os sistemas de recuperação de informação entendam o vocabulário utilizado por eles e traduza esse vocabulário em termos que o sistema reconheça.

Em estudo de Hildreth (1997), feito com usuários do catálogo da universidade de Oklahoma, foi descoberto que os usuários frequentemente realizam pesquisas mais por meio de palavras-chave do que outro tipo de pesquisa.

Lachake e Potdar (2014), observou o mesmo comportamento em estudo sobre personalização de buscas na Web, eles relataram que ao realizar uma pesquisa, o usuário se limita ao uso de duas ou três palavras.

No mesmo estudo, os autores também listaram alguns outros problemas encontrados ao se realizar pesquisas na WEB. Entre os problemas está a dificuldade encontrada pelos usuários em estruturar perguntas ao sistema de busca, especialmente em utilizar operadores booleanos (ex: AND, OR, NOT) e modificadores (ex: ´+`, ´!`).

Em estudo sobre o uso de vocabulário controlado por usuários de sistemas de informação, Rondeau (2013) relata que os usuários não entendem como o índice de assuntos pode ajudá-los em suas pesquisas.

A autora ainda pontua que os usuários dos sistemas de buscas estão muito acostumados a realizar pesquisas na WEB utilizando palavras-chave e, por causa disso, acabam tendo o mesmo comportamento ao realizar buscas em catálogos on-line. Isso se deve ao fato de que atualmente, a maioria dos catálogos estão disponíveis via WEB e o usuário não dispõe da ajuda de um intermediário humano para auxiliá-lo em uma pesquisa.

As informações disponibilizadas por meio desses estudos, permite conhecer quais são as principais questões pertinentes à busca de informações pelo usuário.

De maneira geral, pode-se dizer que os principais problemas encontrados pelos usuários na hora de formular sua questão de busca são: traduzir para o sistema a sua necessidade de informação e conseguir tirar proveito de todas as ferramentas que o sistema de busca possui para chegar ao seu objetivo.

4 Metodologia

A presente pesquisa se caracteriza por ser um Estudo de Caso descritivo. De acordo com Yin (2001), o estudo de caso "permite uma investigação para se preservar as características holísticas e significativas dos eventos da vida real".

Sobre o caráter descritivo do estudo de caso, Baxter e Jack (2008) dissertam que, o estudo de caso descritivo é aquele usado para descrever uma intervenção ou fenômeno e seu contexto na vida real.

Outro ponto a ser abordado é a natureza qualitativa da pesquisa. Segundo Connaway (2010, p. 77-78) a pesquisa qualitativa "concentra-se em entender como os participantes agem diante de um fenômeno. Tende a dar mais atenção a aspectos subjetivos do comportamento e experiência humana"

Sobre a relação entre estudo de caso e a pesquisa qualitativa, Sekaran (2003, p.36) disserta que "a pesquisa de estudo de caso normalmente produz mais dados qualitativos do que quantitativos para análise e interpretação".

Quanto a coleta de dados, esse projeto de pesquisa levou em consideração o tipo de abordagem escolhida combinado com os objetivos da pesquisa.

Segundo Sekaran (2003, p.5) em pesquisas qualitativas os dados são coletados geralmente por meio de respostas amplas para questões específicas em entrevistas, ou por perguntas abertas em um questionário, ou através de observação, ou por informações recolhidas em várias outras fontes.

Diante desse contexto, dois tipos de coleta de dados se apresentaram mais pertinentes ao caso: a observação e a técnica de protocolo verbal "pensar alto".

A observação foi escolhida como meio de coleta de dados por permitir que um participante realize uma dada pesquisa no sistema de busca de atos normativos da Aneel de maneira natural. Enquanto ele realiza a busca, o observador pode ter uma ideia mais real sobre como o participante utiliza os termos e os campos do sistema de buscas para procurar a informação desejada.

Como se trata de uma observação estruturada, os instrumentos de coleta de dados utilizados foram uma ficha que continha uma cópia da tela de pesquisa do terminal de busca on-line do software Sophia e uma caneta para anotar os descritores e os campos que estavam sendo utilizados.

A utilização do Pensar Alto como meio complementar de coleta de dados foi utilizada para captar informações espontâneas dos participantes, pois, foi percebido ao final do pré-teste que os participantes sentiam necessidade de falar espontaneamente sobre a experiência que acabaram de vivenciar ao tentar encontrar o ato requerido.

Por esse motivo, após pesquisar na literatura, optou-se por utilizar a técnica para coleta de dados chamada Pensar Alto para captar o que participante achou da experiência.

Essa técnica, segundo Fujita (1999, p.106) é uma técnica introspectiva de auto revelação. "No Pensar alto, o pensamento é direto e automaticamente externalizado, os dados obtidos são espontâneos, autênticos, sem análise nem edição" (COHEN e HOSENFELD apud FUJITA, 1999).

Com a ajuda da literatura sobre métodos de seleção de amostra, optou-se pela seleção não-probabilística intencional. Creswell (2010) disserta que "a ideia que está por trás da pesquisa qualitativa é a seleção intencional dos participantes ou dos locais que melhor ajudarão o pesquisador a entender o problema e a questão de pesquisa".

Para Walliman (2001, p. 232) a amostra não-probabilística baseia-se no julgamento do pesquisador ou por um acidente, e geralmente não é utilizada para fazer generalizações sobre toda a população.

Para a realização da análise de dados foi utilizado o método da categorização dos dados.

De acordo com Flick (2009. p. 132):

A codificação e a categorização são formas de analisar que podem ser aplicados a todos os tipos de dados e não se concentram em um método específico de coleta. Essa não é a única maneira de analisar dados, mas é a mais destacada quando os dados resultam de entrevistas, de grupos focais ou de observações. [...]. As principais atividades são buscar partes relevantes dos dados e analisá-los, comparando com outros dados e lhes dando nomes e classificações.

Considerando a citação acima, foi realizada uma categorização dos dados obtidos pela observação para a identificação das seguintes variáveis:

a) Quais termos são utilizados pelos participantes para recuperar a resolução escolhida;

b) Com qual frequência alguns termos são utilizados pelos participantes;

c) Quais são os campos mais utilizados para a realização da busca;

d) Se os termos são utilizados isoladamente ou combinado com outros termos;

e) Se os campos são utilizados isoladamente ou combinado com outros campos;

f) Se há ou não uso de truncamento de pesquisa, e se em caso positivo, quais são os truncamentos utilizados.

g) Se há ou não uso de operadores booleanos, e se em caso positivo, quais são os operadores booleanos utilizados;

h) Quais termos utilizados pelos participantes são termos constantes do vocabulário controlado da agência;

i) Em quais campos os termos utilizados aparecem.

Das categorias levantadas acima, algumas foram analisadas com base na revisão de literatura sobre comportamento de busca do usuário em Sistemas de Recuperação da Informação. A tabela 1, apresenta a relação das categorias e embasamento teórico das mesmas.

Após a coleta de dados realizada durante a pesquisa, foi realizada a análise dos dados utilizando a categorização proposta na tabela 1.

Para a realização da pesquisa, foram realizadas, ao total, 21 (vinte e uma) observações de servidores da Agência Nacional de Energia Elétrica – Aneel. Esses servidores foram monitorados enquanto realizavam a pesquisa de uma Resolução Normativa. Ao mesmo tempo em que era realizada a observação, suas manifestações espontâneas de pensamento eram gravadas, conforme explicitado anteriormente.

O procedimento da observação foi realizado da seguinte maneira:

A pesquisadora levou para o participante, em mãos, uma amostra de 2 (duas) resoluções pré-selecionadas sobre assuntos variados. Após a escolha do ato normativo a ser buscado, foi explicado que o participante deveria realizar uma pesquisa com o uso de descritores que remetessem ao conteúdo do ato, utilizando os seguintes campos: Todos os campos; Ementa; Texto Integral; e Assuntos. Como mostrado na Figura 1.

Para a realização da busca, o participante não poderia utilizar como termo de pesquisa o número da norma e o ano em que foi publicada, somente termos que remetessem ao conteúdo da norma.

Durante a coleta de dados, foram apresentadas aos participantes, 2 (duas) resoluções:

  • Resolução normativa nº 414 de 2010, que disserta sobre as condições gerais de fornecimento de energia, embasa todo o funcionamento do setor elétrico; e

  • Resolução normativa nº 63 de 2004, que aprova procedimentos para regular a imposição de penalidades aos concessionários, permissionário, autorizados e demais agentes de instalações e serviços de energia elétrica.

Após a explicitação das regras para a pesquisa, foi solicitado aos participantes que realizassem uma consulta por meio do terminal de busca on-line da resolução escolhida utilizando a estratégia de pesquisa que mais lhe fosse conveniente.

O objetivo da investigação era promover a recuperação da norma escolhida.

Foram realizadas, no máximo, até 3 tentativas de encontrar o ato selecionado, caso remetessem ao seu conteúdo: Todos os campos, Ementa, Texto Integral e Assuntos.

Os participantes foram instruídos a utilizar como argumento de pesquisa termos que remetessem ao conteúdo da norma.

Foram anotados em fichas separadas todos os refinamentos ou novas pesquisas realizadas pelos participantes. As manifestações espontâneas dos participantes foram gravadas.

5 Resultados e discussão

De acordo com os dados obtidos, foram utilizados no total 76 (argumentos) diferentes para a realização das pesquisas.

Onze participantes escolheram pesquisar a Resolução Normativa nº 414, enquanto 10 (dez) participantes escolheram a Resolução Normativa nº 63.

Os argumentos de pesquisa mais utilizados foram respectivamente: Penalidade, Penalidades, Fornecimento Energia, Consumidor contrato adesão.

Tendo como base os resultados obtidos, percebeu-se que os respondentes, em sua maioria, utilizaram o campo "Todos os Campos" para realizar a sua pesquisa. Esse dado pode ser melhor visualizado por meio da tabela 2:

Por meio da tabela 2, percebe-se que o campo "Todos os Campos", foi o mais pesquisado, o que equivale a mais de 46% (quarenta e seis por cento) das pesquisas realizadas. Já o campo "Assuntos" que remete diretamente para os descritores retirados do Vocabulário Controlado da ANEEL para representar a norma, foi escolhido em 8 tentativas, o que representa, pouco mais de 10% (dez por cento) de todas as tentativas.

Sobre o pouco uso dos demais campos, alguns participantes relataram não conhecer sua finalidade. Em uma das observações, o participante U relatou que não conhecia, o campo assuntos e achava que todas as normas só eram representadas apenas por um termo, pois no primeiro resultado, só aparece o primeiro termo representado.

Em alguns relatos, participantes declararam não saber para que serviam os outros campos de pesquisa, por isso, eles sempre tendiam a utilizar somente o campo "Todos os Campos" para realizarem suas pesquisas.

Outro dado coletado sobre esse comportamento de busca do usuário é que em apenas 11 (onze) das 63 (sessenta e três) tentativas os participantes combinaram campos para realizar a sua pesquisa.

Sobre o comportamento acima, o participante N declarou utilizar somente o campo "Todos os Campos" por considerar ser o "que mais funciona".

Sobre o resultado das buscas, de todas as tentativas, 23 (vinte e três) delas não retornaram resultado algum; e em 4 (quatro) resultados, a norma não figurava na primeira página, que exibe por padrão 50 (cinquenta) resultados por página.

Ao pesquisarem a Resolução Normativa nº 414, apenas em 4 (quatro) resultados a norma figurou entre os 10 (dez) primeiros resultados. No caso da Resolução Normativa nº 63, a norma apareceu entre os 10 primeiros resultados em 12 (doze) tentativas.

Muitos participantes relataram que a norma, na maioria das vezes, estava entre os últimos resultados; isso se deve ao fato de o sistema de busca apresentar os seus resultados ordenados por data de publicação decrescente.

Como as normas datam do ano de 2010 (no caso da REN nº 414) e 2004 (no caso da REN nº 63) e, posteriormente, sofreram várias alterações por servirem de base para a edição de outras resoluções mais novas, acabaram figurando entre os últimos resultados da pesquisa.

Alguns participantes também sugeriram que a pesquisa trouxesse resultados por relevância, o que ainda não é possível por meio da versão do sistema de busca utilizado à época da coleta de dados.

Outro dado relevante foi o número de palavras que foram utilizadas em cada tentativa, em média cada participante utilizou 2,02 (dois vírgula zero dois) palavras.

Sobre a indexação das normas, muitos participantes consideraram que os termos utilizados não representam o conteúdo das normas. Foi declarado, pelo participante G, que os termos utilizados como assunto "não representam os assuntos que os usuários necessitam, ou alguns assuntos eram muito genéricos e retornaram normas demais. [...] a construção dos assuntos não está adequada, eles não declararam de forma eficiente o que tem no documento".

Uma dificuldade muito relatada pelos participantes foi a de não saber quais os termos utilizar no momento da busca. Para alguns participantes é difícil encontrar as palavras que foram escolhidas para representar a norma pesquisada. Nas palavras do participante E, "é difícil "casar" os termos com a busca no catálogo".

Nenhum participante utilizou operadores booleanos, truncamento de pesquisa, ou recurso das aspas para realizar as suas pesquisas.

Sobre o uso das aspas, dois participantes, P e U, relataram não usar esse recurso, pois já tinham tentado utilizá-lo em pesquisas anteriores e não conseguiram o efeito esperado.

Destaca-se tembém um outro comportamento observado, que foi a constante comparação entre o catálogo de busca em que as normas estão inseridas e o buscador Google.

A maioria dos participantes realizou, espontaneamente, pesquisas no Google como teste para saber se, por meio dele, seria mais fácil recuperar a norma. O participante J, inclusive, realizou duas tentativas utilizando o campo "Todos os Campos", como não obteve êxito na pesquisa, não quis concluir as suas tentativas e preferiu realizar sua pesquisa no buscador da Internet e concluiu que foi mais fácil recuperar a norma pesquisada.

Ao realizar a pesquisa utilizando o buscador Google o participante utilizou o argumento de pesquisa "direito do consumidor aneel" entre aspas: o primeiro resultado foi remetido para a página "Espaço do Consumidor" no sítio da ANEEL, ou seja, não remetido diretamente para a norma desejada.

O participante B achou a pesquisa pelo Google melhor, por que segundo ele, o Google tem funcionalidades como "sugestão de assuntos", "categorização da busca" e "correção dos termos buscados".

Outros participantes declararam que se precisam realizar alguma pesquisa por palavras-chave ou por assunto, recorrem primeiro ao buscador Google, pois o consideram mais eficiente.

Para alguns participantes, o catálogo da biblioteca é mais efetivo quando já se sabe o número ou o ano do ato desejado, quando não se sabe essas informações, eles consideram muito difícil encontrar o que se procura.

Dentre as pesquisas realizadas para a recuperação das duas normas, os usuários tiveram a tendência de utilizar poucas palavras como argumento de pesquisa, em média 2,02.

Esse comportamento vai ao encontro do que relatou Jansen et al (2000), em estudo sobre comportamento de pesquisa de usuários, em que a maioria dos participantes inseriam duas ou três palavras em suas pesquisas utilizando Sistemas de Busca de Informação.

Em um outro estudo de realizado com universitários norte-americanos, Spink (2001) relatou que a média de palavras utilizadas para a realização de pesquisas foi 2.3 palavras.

Um dos motivos pelo qual os usuários utilizam poucas palavras para a realização de pesquisas está no hábito já adquirido por eles de realizarem pesquisas em sites da internet. Sobre esse tema, Park, Lee e Bae (2005) dissertam que os usuários de internet não utilizam muito estratégias avançadas de pesquisa, pois isso é o oposto das pesquisas básicas na internet.

A internet também influencia no comportamento de busca do usuário no que diz respeito ao uso dos campos disponíveis para pesquisa. Segundo os resultados obtidos no presente trabalho, a maioria dos participantes utilizam o campo "Todos os Campos" para realizar as suas pesquisas. Esse comportamento se deve ao fato de os motores de busca na internet utilizarem em sua maioria apenas uma caixa de pesquisa para que o usuário realize suas buscas.

Para Mi e Weng (2008) quando o usuário realiza uma pesquisa, procura uma caixa de busca única onde possa inserir palavras e clicar no botão "pesquisar" para obter os resultados da busca.

De acordo com Swanson e Grenn (2011), o advento do Google tornou a pesquisa em caixa única fácil e com resultados que parecem ser exatamente o que o pesquisador tinha em mente.

Em buscas realizadas pela internet, o usuário está acostumado a realizar pesquisas utilizando palavras-chave e não outros tipos busca. Esse comportamento também foi constatado por Hildreth (1997), em que os usuários da universidade de Oklahoma, realizavam mais suas pesquisas por meio de palavras-chave do que outro tipo de pesquisa.

Esse tipo de comportamento também serve para explicar o fato de os participantes observados não utilizarem operadores booleanos para realizar as suas pesquisas por meio do catálogo da biblioteca. De acordo com Mi e Weng (2008), "a base dos atuais catálogos on-line é a lógica booleana", porém a facilidade de uso do Google, em que o operador booleano "AND" está implícito na busca, acaba eliminando a necessidade de se inserir conectores booleanos (E, OU, NÃO) entre os termos da pesquisa".

Sobre o uso de operadores booleanos, Lachake e Potdar (2014), relataram que os usuários encontram dificuldades em estruturar perguntas ao sistema de busca utilizando os operadores booleanos e de modificadores como "+" e "!".

Cunha (2008) afirma que o usuário, na hora de realizar uma pesquisa, "preza pelo princípio do menor esforço" não realizando pesquisas muito elaboradas para recuperar a informação desejada.

Um outro problema levantado por alguns participantes foi o de que eles consideraram que os termos utilizados para representar as normas, não refletia o conteúdo da norma, e que os usuários deveriam ser levados em consideração no momento da representação do conteúdo.

A ordenação do resultado da pesquisa foi outra observação apontada pelos participantes, alguns sugeriram que se a ordenação fosse por relevância, a norma talvez, fosse mais facilmente recuperada.

Sobre essa afirmação, ao realizar testes, foi constatado que a busca do Sophia não permite o uso desse recurso para melhorar a sua recuperação.

De acordo com Ballard e Blaine (2011), o conceito de relevância tem dois significados principais. O primeiro tem a ver com a proximidade dos documentos recuperados com base nos assuntos ou outros atributos dos documentos. O segundo mede o valor ou a utilidade de cada documento para o usuário que fez a consulta.

Segundo Yang (2010), a expectativa de que os resultados de uma pesquisa sejam ordenados por relevância também foi criada pelo uso constante de ferramentas de busca na internet, em que os resultados são ordenados baseados na frequência e na posição dos termos nos registros bibliográficos.

Outro comportamento que chamou muito atenção entre os participantes, foi a constante comparação entre o sistema de buscas de atos normativos utilizado pela ANEEL e a ferramenta de buscas na WEB, Google.

Esse tipo de comparação está cada vez mais comum entre os usuários de bibliotecas. Em estudo de 2011, Hariri percebeu que o Google influenciava a forma como os estudantes realizavam pesquisas no catálogo de biblioteca. Para ele, isso se deve à facilidade de pesquisa no buscador que possibilita a realização de buscas em apenas um passo.

Em estudo de 2004, por exemplo, Fast e Campbell (2004), apresentaram sua análise de um estudo exploratório das percepções de busca e pesquisa em Catálogos Online de estudantes universitários, em que os usuários expressaram maior preferência pelos motores de busca na internet do que dos catálogos de bibliotecas, pois eles consideravam os catálogos "difíceis de usar de forma eficaz".

Asher; Duke e Wilson (2013), também dissertam sobre essa característica dos usuários em bibliotecas universitárias. Para eles, os usuários esperam ter uma experiência com os catálogos de bibliotecas, simplificada, rápida e com tudo incluído, que espelhe a maneira Google de pesquisar.

Ao elaborar uma pesquisa sobre o comportamento de estudantes universitários, em relação à busca de informação na web (ferramentas de busca) e bases de dados específicas, Griffiths e Brophy (2005), mostraram que 45% (quarenta e cinco por cento) dos estudantes utilizaram o Google como primeira opção para busca de informação. Ele ainda relatou que os estudantes consideram que esta ferramenta é de uso fácil e que, por isso, tiveram sucesso na busca.

De acordo com um estudo sobre o comportamento de estudantes, usuários de biblioteca, conduzido pela ProQuest em 2007 e relatado por Burke (2010), 60% dos estudantes consideraram o Google o "lugar" mais fácil para se começar uma pesquisa, em comparação com apenas 20% que preferiram utilizar os catálogos de bibliotecas. Porém, entre os entrevistados, 80% declararam considerar o catálogo da biblioteca uma fonte superior de qualidade de conteúdo. Diante desses dados Burke (2010) conclui que os estudantes "querem usar a biblioteca, mas eles procuram simplicidade".

Já para Nazim (2008) a popularidade do Google se deve a várias razões, como ampla cobertura, atualidade, rápido acesso, interface amigável, links para outros sites e interfaces separadas para imagens, notícias, entre outros.

Ao se confrontar outros estudos com os resultados obtidos por meio do presente trabalho foi possível perceber que o comportamento apresentado pelos participantes dessa pesquisa é similar ao relatado em outros estudos, ainda que em diferentes ambientes.

A importância de se confrontar os resultados com outros estudos é que, por meio deles, pode-se entender melhor os motivos que levaram os usuários a realizarem as suas buscas de uma determinada forma.

6 Considerações finais

Por meio da presente pesquisa, pode-se perceber alguns comportamentos do usuário ao buscar atos normativos.

De uma maneira geral houve uma grande inclinação de os usuários utilizarem um número baixo de termos para realizar as suas pesquisas, além de terem uma tendência a utilizarem somente o campo mais abrangente de busca como meio de recuperação dos atos pesquisados.

Os usuários também quase não utilizaram truncamentos, operadores booleanos ou aspas para melhorarem suas pesquisas.

Quanto à avaliação da indexação das normas, vários participantes reclamaram que os assuntos utilizados para representar as normas não eram adequados, e que o usuário deveria ser levado em consideração no momento da escolha dos termos.

O tipo de ordenação do resultado e o fato de o uso de aspas não recuperarem o termo exato foi outra constatação feita pelos participantes.

Porém, o comportamento e o assunto mais recorrente em todas as observações foi a frequente comparação do sistema de pesquisa utilizado pelo centro de documentação da ANEEL com o buscador Google.

Esse tipo de comparação não é novidade, uma vez que o buscador já está em funcionamento desde o ano de 2004 e antes dele já existiam outros buscadores semelhantes.

Moreno (2010) em sua tese, Em busca dos objetivos bibliográficos, já observou esse comportamento e citou o estudo de Fast e Campbell (2004) em que eles buscavam entender como os estudantes percebiam e reagiam a ferramentas de buscas na Web em OPACs. Entre os resultados, se destacou que os catálogos eram reconhecidos e admirados, porém os estudantes preferiam usar a Web para suas pesquisas.

Esse comportamento foi o mesmo detectado pelos servidores da ANEEL, que foram os participantes da pesquisa. Eles reconhecem a importância da organização dos atos normativos para o seu trabalho, porém realizam constantes comparações entre o catálogo disponível com o buscador Google.

No caso do catálogo estudado, a falta de uma ordenação por relevância foi um dos pontos que dificultou a recuperação mais fácil da norma, pois, por serem normas mais antigas, sempre figuravam entre as últimas.

Outro ponto negativo foi o fato de não haver a busca por termo exato, o que gerava um número muito alto de revocação.

Quanto à indexação, foi constatado que vários termos utilizados para descrever a norma não tinham nenhum sentido para o usuário, além de haver um número muito grande de termos para descrevê-las, levando também a uma alta revocação.

Vários participantes também ressaltaram que ao pesquisar esse tipo de informação, eles preferem utilizar dados descritivos em suas pesquisas, como título, número e ano da norma, raramente pesquisam dados que remetam ao seu conteúdo. Percebe-se então que para os usuários esse tipo de metadado é mais efetivo para se encontrar um ato. Porém, se o usuário não souber essas informações a pesquisa se torna muito difícil.

Por meio desse estudo pode-se depreender que o uso da internet promoveu uma mudança no comportamento do usuário de catálogos de bibliotecas, que buscam uma experiência cada vez mais parecida com a que têm com os buscadores da internet.

Essa mudança mudou a percepção do usuário desde o momento de inserir os assuntos no campo de pesquisa até a maneira como a resposta aparece para ele na tela. Diante disso, as Bibliotecas e Centros de Informação não podem fechar seus olhos para essa mudança e devem buscar uma maior interação com esse usuário.

Cumpre destacar, que todos os participantes ressaltaram a importância que a organização do tipo de informação estudada tem para eles, pois, ela serve de insumo para os trabalhos realizados dentro da agência. Portanto a correta descrição e recuperação dessa informação é um assunto sensível.

Outros órgãos da Administração Pública também já se preocupam com a organização de atos normativos, como é o caso da Agência Nacional de Telecomunicações – ANATEL, que teve sua legislação organizada por meio da Coleção Brasileira de Direito das Telecomunicações, que reúne a legislação inerente ao setor realizando a correlação de normas e julgados vinculados à estrutura normativa da Lei Geral de Telecomunicações.

Outros exemplos são a Biblioteca Digital Jurídica – BDJur, do Superior Tribunal de Justiça – STJ e a Biblioteca Digital do Ministério Público Federal – MPF digital.

Apesar de ainda escassos, os estudos sobre a organização de informação jurídica têm crescido no Brasil, entre eles destaca-se o de João Alberto de Oliveira Lima, sobre o modelo genérico de relacionamentos na organização da informação legislativa e jurídica que serviu de inspiração para a criação do portal LexML, que é um portal em que é possível realizar a pesquisa de vários tipos de legislação, das esferas federal, estadual e municipal, utilizando como base de sua organização o modelo conceitual FRBR.

Com o aumento do número de bibliotecas que organizam e disponibilizam informação jurídica haverá, também, uma maior preocupação com a descrição e recuperação desse tipo de informação.

 

Referências

AGÊNCIAS reguladoras e reforma do estado no Brasil: inovação e continuidade no sistema político-institucional. Rio de Janeiro: Garamond, 2007.         [ Links ]

ARAÚJO, Vera Maria Araújo Pigozzi. Sistemas de recuperação da informação: uma discussão a partir de parâmetros enunciativos. TransInformação, Campinas, 24(2):137-143, maio/ago. 2012.         [ Links ]

ARAÚJO JÚNIOR, Rogério Henrique da. Precisão no processo de busca e recuperação da informação. Brasília: Thesaurus, 2007.         [ Links ]

ASHER, Andrew D; DUKE, Lynda M.; WILSON, Suzanne. Paths of Discovery: Comparing the search effectiveness of EBSCO Discovery Service, Summon, Google Scholar, and conventional library resources. College & Research Libraries. v. 74, p. 464-488, september 2013. Disponível em: http://crl.acrl.org/content/early/2012/05/07/crl-374.full.pdf+html . Acesso em: 12 ago. 2015.         [ Links ]

BAEZA-YATES, Ricardo; RIBEIRO-NETO, Berthier. Modern Information Retrieval. Nova York: ACM Press, 1999.         [ Links ]

_____________. Recuperação de informação: conceitos e tecnologias. 2.ed. Porto Alegre: Bookman, 2013.

BALLARD, Terry; BLAINE, Anna. User search-limiting behavior in online catalogs: Comparing classic catalog use to search behavior in next-generation catalogs. New Library World, vol.112(5/6), p.261-273, 2011. Disponível em: http://www.emeraldinsight.com/doi/pdfplus/10.1108/03074801111136293 . Acesso em: 12 ago. 2015.         [ Links ]

BARROS, Lucivaldo. Fontes de informação jurídica. In: PASSOS, Edilenice. (Org.). Informação jurídica: teoria e prática. Brasília: Thesaurus. 2004. p. 201-225.         [ Links ]

BAXTER, Pamela; JACK, Susan. Qualitative case study methodology: study design and implementation for novice researches. The Qualitative Report. V.15, n.4, p. 544-559, dec./ 2008. Disponível em: http://www.nova.edu/QR/QR13-4?baxter.pdf . Acesso em: 20 abr. 2015.         [ Links ]

BOBBIO, N. Teoria do Ordenamento Jurídico. 10 ed. Brasília: Editora UnB. 1999. 184 p.         [ Links ]

BRASIL. Agência Nacional de Energia Elétrica. Resolução Normativa nº 414 de 15 de setembro de 2010. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, 09 set. 2010. Seção 1, p. 73-76.         [ Links ]

BRASIL. Agência Nacional de Energia Elétrica. Resolução Normativa nº 63 de 13 de maio de 2004. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, 12 maio 2004. Seção 1, p. 115-136.         [ Links ]

BURKE, J. Discovery versus disintermediation: the new reality driven by today’s end–user. Paper presented to the VALA2010: connections, content, conversations. 15th biennial conference and exhibition, Melbourne, Victoria, 2010. Disponível em: http://www.vala.org.au/vala2010/papers2010/VALA2010_57_Burke_Final.pdf . Acesso em: 25 nov. 2015.

CARDOSO, Olinda Nogueira Paes. Recuperação de Informação. INFOCOMP: Journal of Computer Science, v. 2, n. 1, 2000. Disponível em: http://www.dcc.ufla.br/infocomp/index.php/INFOCOMP/article/view/46 . Acesso em 25 nov. 2015.         [ Links ]

CESARINO, M. A. Sistemas de recuperação da informação. Revista da Escola de Biblioteconomia da UFMG, Belo Horizonte, v.14, n.2, p.157-168, set. 1985.         [ Links ]

CONNAWAY, L. S.; POWELL, R.R. Basic research methods for librarians.5th ed. Santa Barbara, Califórnia: Greenwood. 2010.         [ Links ]

CRESWELL, John. W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 3.ed. Porto Alegre: Artimed, 2010.         [ Links ]

CUNHA, Murilo Bastos da. Das bibliotecas convencionais às digitais: diferenças e convergências. Perspectivas em Ciência da Informação, v. 13, n. 1, p. 2-17, jan./abr. 2008.         [ Links ]

FAST, K. V.; CAMPBELL, D. G. I stiil like Google: University student perceptions of searching OPACs and the web. In: Proceedings of the 67th ASIS&T Annual Meeting. Anais... . v.41, p.138-146, 2004. Disponível em: http://onlinelibrary.wiley.com/doi/10.1002/meet.1450410116/pdf . Acesso em: 12 ago. 2015.         [ Links ]

FLICK, Uwe. Uma introdução à pesquisa qualitativa.3.ed. Porto Alegre: Bookman, 2009.         [ Links ]

FUJITA, Mariângela Spotti Lopes. A leitura do indexador: estudo de observação. Perspect. cienc. inf., Belo Horizonte, v. 4, n. 1, p. 101 - 116, jan./jun.1999.         [ Links ]

GUIMARÃES, José Augusto Chaves. Formas da informação jurídica: uma contribuição para sua abordagem temática. R. bras. Biblio. e Doc., São Paulo, v. 26, n.1/2, p.41-54, jan./jun. 1993. Disponível em: http://www.brapci.ufpr.br/brapci/index.php/article/download/19240 . Acesso em: 30 jul. 2015.         [ Links ]

GRIFFITHS, J. R.; BROPHY, P. Student searching behavior and the web: use of academic resources and Google. Library Trends, Chicago, v. 53, n. 4, p. 539-554, Spring 2005. Disponível em: http://hdl.handle.net/2142/1749 . Acesso em: 25 nov. 2015.         [ Links ]

HARIRI, Nadjla. Relevance ranking on google: are top ranked results really considered more relevant by the users? Online Information Review, v.35(4), p.598-610, 2011.         [ Links ]

HILDRETH, C. R. The use and understanding of keyword searching in a university online catalog. Information Technology and Libraries, v. 16, n.2, p. 52, June/1997.         [ Links ]

JANSEN, Bernard J; SPINK, Amanda; SARACEVIC, Tefko. Real life, real users, and real needs: a study and analysis of user queries on the web. Information processing & management, v.36, n.2, p. 207-227, 2000.         [ Links ]

KUHLTHAU, Carol. C. Inside the search process: Information seeking from the user´s perspective. Journal of the American Society for Information Science, v. 42, n. 5, p. 361-371, 1991. Disponível em: http://faculty.washington.edu/harryb/courses/INFO310/Kuhlthau.pdf . Acesso em: 30 jul. 2015.         [ Links ]

LACHAKE, R. S.; POTDAR, G. P. A survey on personalized search: an web Information retrieval system. International Journal of Computer Science and Information Technologies, v. 5, n. 2, 2014, p. 1120-1127. Disponível em: http://www.ijcsit.com/docs/Volume%205/vol5issue02/removed_article%3F%3F((*)&*%5E)ijcsit2014050236.pdf . Acesso em: 01 ago. 2015.

LIMA, João Alberto de Oliveira. Modelo genérico de relacionamentos na organização da informação jurídica e legislativa. 2008, 289 f. Tese (Doutorado em Ciência da Informação) - Universidade de Brasília, Brasília, 2008.         [ Links ]

MELLO, Celso Antônio Bandeira de. Curso de direito administrativo. 27 ed. São Paulo: Malheiros, 2010.         [ Links ]

MI, Jia, WENG, Cathy. Revitalizing the Library OPAC: Interface, searching, and display Challenges. Information Technology and Libraries. v.27, n.1, march. 2008.         [ Links ]

MIRANDA, Ana Cláudia Carvalho de. A política de desenvolvimento de coleções no âmbito da informação jurídica. In: PASSOS, Edilenice. (Org.). Informação jurídica: teoria e prática. Brasília: Thesaurus. 2004. p. 137-152.         [ Links ]

MORENO, Fernanda Passini. Em busca dos objetivos bibliográficos: um estudo sobre catálogos. 2011. 162 f., il. Tese (Doutorado em Ciência da Informação) - Universidade de Brasília, Brasília, 2011.         [ Links ]

NAZIM, M. Information searching behavior in the Internet age: a users’ study of Aligarh Muslim University. The International Information & Library Review, 40(1), p. 73-81, 2008. Disponível em: http://www.sciencedirect.com/science/article/pii/S1057231707000562 . Acesso em: 25 nov. 2015.

PARK, S; LEE, J.H., BAE. End user searching: a web log analysis of NAVER, a Korean web search engine. Library of Information Science Research, 27(2), p203-221, 2005. Disponível em: http://www.sciencedirect.com/science/article/pii/S0740818805000083 . Acesso em: 07 nov. 2015.         [ Links ]

PASI, Gabriella. Issues in personalizing Information retrieval. IEEE inteligent informatics bulletin, v.11, n.1, Dec. / 2010. Disponível em: http://www.comp.hkbu.edu.hk/~iib/2010/Dec/article1/iib_vol11no1_article1.pdf . Acesso em: 10 out. 2015.         [ Links ]

PASSOS, E. O controle da informação jurídica no Brasil: a contribuição do Senado Federal. Ciência da Informação, Brasília, v. 23, n. 3, p. 363-368, set./dez. 1994.         [ Links ]

PAULO, Vicente; ALEXANDRINO, Marcelo. Direito constitucional descomplicado. 20 ed. São Paulo: Método, 2012.         [ Links ]

PETRELLI, Daniela; et al. Observing users, designing clarity: a case study on user-centered design of a cross-language Information retrieval system. Journal of the American Society for Information Science and Technology, v.55, n.10, p.923-934, 2004. Disponível em: http://onlinelibrary.wiley.com/doi/10.1002/asi.20036/full . Acesso em: 06 nov. 2015.         [ Links ]

REALE, Miguel. Lições preliminares de direito. 27. ed. São Paulo: Saraiva, 2006. 291 p.         [ Links ]

RONDEAU, Wendy. Making use of existing tools for unknown item needs: improving subject retrieval in online catalogues. Feliciter, v. 59, Issue #4, 2013. Disponível em: http://connection.ebscohost.com/c/articles/89745324/making-use-existing-tools-unknown-item-needs-improving-subject-retrieval-online-catalogues . Acesso em: 06 nov. 2015.         [ Links ]

ROWLEY, Jennifer. A biblioteca eletrônica. Brasília: Briquet de Lemos, 2002.         [ Links ]

SEKARAN, Uma. Research Methods for Business: A Skill Building Approach. 4th ed. Wiley. 2002.         [ Links ]

SOUZA, Renato Rocha. Sistemas de recuperação de informações e mecanismos de busca na web: panorama atual e tendências. Perspect. ciênc. inf., Belo Horizonte, v.11 n.2, p. 161 -173, maio/ago. 2006. Disponível em: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/320/940 . Acesso em: 05 nov. 2015.         [ Links ]

SPINK, A.; WOLFRAM, D.; JANSEN, M. B. J.; SARACEVIC, T. Searching the web: The public and their queries. Journal of the American Society for Information Science, 53(2), 226-234, 2001. Acesso em: https://comminfo.rutgers.edu/~tefko/JASIST2001.pdf . Disponível em: 12 ago. 2015.         [ Links ]

SVENONIUS, Elaine. The intelectual foundations of Information organization. Cambridge, MA: MIT Press, 2000.         [ Links ]

SWANSON, Troy A.; GREEN, Jeremy. Why we are not Google. Lessons from a library web site usability study. The Journal of Academic Librarianship, v. 37, n. 3, p. 222–229, march 2011.         [ Links ]

TASSO, Carlo; VENUTI, Fábio; BRAJNIK, Giorgio; MIZZARO, Stefano. Strategic help in user interfaces for information retrieval. Journal of the American Society for Information Science and technology, v.53, n.5, p. 614-635, 2003. Disponível em: http://onlinelibrary.wiley.com/doi/10.1002/asi.10035/full . Acesso em: 12 ago. 2016.         [ Links ]

TAYLOR, Arlene G. The organization of information. 2. ed. Libraries Unlimited: Westport, Connecticut. 1999. 259 p.         [ Links ]

WALLIMAN, Nicholas. Your research Project: a step-by-step guide for the first-time researcher. London: Sage Publications, 2001.         [ Links ]

YANG, S. Q.; HOFMANN, Melissa A. The next generation library catalog: a comparative study of the OPACs of Koha, Evergreen and Voyager. Information Technology and Libraries, Vol. 29 No. 3, 2010. Disponível em: http://ejournals.bc.edu/ojs/index.php/ital/article/view/3139/2753 . Acesso em: 12 ago. 2015.         [ Links ]

YIN, Robert. K. Estudo de caso: planejamento e métodos. 2.ed. Porto Alegre: Bookman. 2001.         [ Links ]

 

Dados dos autores

Roberta Penha e Silva Marins

Mestra em Ciência da Informação pela Universidade de Brasília. Analista da área de biblioteconomia do Superior Tribunal de Justiça – STJ. robertamarins@hotmail.com

Fernanda Passini Moreno

Professora Adjunta do Programa de Pós-graduação em Ciência da Informação da Universidade de Brasília (PPGCINF/UNB). fernandam@unb.br

 

Recibido - Received: 2016-06-10

Aceitado - Accepted: 2017-04-24

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License