Avaliação de modelos de IA Generativa no contexto da LGPD aplicada ao desenvolvimento de um Chatbot especializado

Abstract

Com o crescimento das IAs generativas, empresas ainda enfrentam dificuldades em compreender e aplicar corretamente a Lei Geral de Proteção de Dados Pessoais (LGPD), gerando riscos de violações e penalidades. Diante da ausência de instrumentos validados para medir a qualidade dessas respostas, existe o risco de decisões baseadas em interpretaçõesincorretas da lei. O objetivo foi propor e desenvolver um chatbot jurídico baseado em IA generativa, voltado ao apoio à interpretação de cenários práticos da LGPD. Para fundamentar o desenho da solução, realizou-se previamente uma análise exploratória do comportamento de modelos de IA generativa, especificamente ChatGPT e Gemini, em situações jurídicas relacionadas ao domínio estudado, a partir de um instrumento de avaliação desenvolvido para esse fim. Essa análise permitiu identificar particularidades, limitações e padrões relevantes nas respostas dos modelos, cujos achados subsidiaram as decisões de projeto, escopo e funcionamento do chatbot proposto. A metodologia consistiu na aplicação do instrumento a profissionais do Direito, utilizando critérios como acurácia legal e completude em escala Likert, seguida pela implementação técnica do Chatbot utilizando N8N integrado ao WhatsApp. Os resultados principais referem-se à validação prática do Chatbot desenvolvido, a avaliação por profissionais confirmou que o chatbot apresentou uma estrutura de resposta mais adequada do que os modelos genéricos. Os avaliadores destacaram a coerência na fundamentação jurídica, validando a ferramenta como um suporte qualificado para orientação inicial e aprendizado. Conclui-se que o estudo oferece tanto uma métrica confiável para avaliação de LLMs quanto um artefato tecnológico, contribuindo para mitigar riscos de desinformação no domínio jurídico.