SILVA, Rafael Tavares; DIAS, Marcelo Tibau de Vasconcellos; SIQUEIRA, Sean W. M.. Operacionalização da Métrica Degree of Knowledge Gain (DKG) e Avaliação Empírica Preliminar de seu Comportamento. In: 25ª Jornada de Iniciação Científica da UNIRIO (JIC 2026), 25. , 2026, Rio de Janeiro/RJ. Anais […]. Rio de Janeiro: UNIRIO, 2026 . p. 1-2.
🏆 Operacionalização da Métrica Degree of Knowledge Gain (DKG) e Avaliação Empírica Preliminar de seu Comportamento
Autores
Rafael Tavares da Silva (UNIRIO)
Marcelo Tibau de Vasconcellos Dias (UNIRIO)
Sean Wolfgand Matsui Siqueira (UNIRIO)
Resumo Estendido
A busca na Web deixou de ser compreendida apenas como recuperação de informação e passou a ser vista como um processo de construção de conhecimento, uma perspectiva consolidada pelo paradigma Busca como um “Processo de Aprendizagem” (do inglês Searching as Learning – SaL). Um desafio central nessa área é avaliar o quanto o usuário efetivamente aprende durante uma sessão de busca. Indicadores comportamentais, como cliques, tempo de permanência e reformulações de consulta, são escaláveis, mas capturam apenas indiretamente a mudança conceitual, enquanto testes estruturados de conhecimento oferecem evidência mais direta, a custo de maior intrusividade. A métrica Degree of Knowledge Gain (DKG) foi proposta para enfrentar essa tensão, modelando a aprendizagem como a redução da incerteza.
O objetivo deste trabalho foi operacionalizar a DKG em ambientes de busca e realizar uma avaliação empírica preliminar de seu comportamento, transformando uma formulação originalmente conceitual em uma infraestrutura aplicável e verificando seu comportamento diante de medidas externas de aprendizagem e de diferentes estratégias de busca.
A metodologia envolveu o desenvolvimento e o teste de dois artefatos tecnológicos, dos quais o primeiro foi um protótipo de ferramenta de busca com o cálculo da métrica embutido. Este artefato inicial funcionou como uma prova de conceito, mas apresentou limitações de escalabilidade. O segundo foi uma extensão para o navegador Google Chrome capaz de estimar a métrica em tempo real enquanto o participante utilizava seu buscador habitual, de forma não intrusiva. Um experimento com cinco participantes voluntários, com aprovação ética, combinou três tarefas de busca de complexidade crescente, pré- e pós-testes e o protocolo Think-Aloud. Os dados quantitativos, incluindo a pontuação de Transfer of Learning (ToL) e os valores da métrica, foram triangulados com a codificação qualitativa das transcrições, segundo referenciais de estratégias de busca e de estados de consulta.
Observou-se uma associação positiva entre ToL e a DKG, com diferenças sistemáticas de escala entre as medidas, mas com padrões relativos consistentes entre os participantes. A análise qualitativa indicou, nos casos analisados, maior DKG em estratégias como a especialização de consultas, a avaliação de fontes e a persistência na reformulação, enquanto sinais de desorientação e menor regulação cognitiva resultaram em ganhos mais modestos.
Concluiu-se, então, que a métrica DKG apresenta potencial como instrumento avaliativo e diagnóstico para estudos de SaL, sendo sensível a variações nas estratégias de busca em condições próximas ao uso real. Devido ao caráter exploratório e à amostra reduzida, os achados devem ser interpretados como preliminares. Como trabalhos futuros, prevê-se a ampliação da amostra, a análise de confiabilidade e a investigação de sistemas de busca adaptativos que utilizem a métrica para apoiar a aprendizagem.
🏆 = Prêmio de Melhor Trabalho da Jornada de Iniciação Científica da UNIRIO (Ciências Exatas, da Terra e Engenharias)
🏆 = Menção de Melhor Trabalho da Sessão
