RELATÓRIOS GERENCIAIS E EXAME DE SUFICIÊNCIA: UMA ANÁLISE DOS CONTEÚDOS DAS DIRETRIZES CURRICULARES DE CIÊNCIAS CONTÁBEIS FRENTE ÀS EXIGÊNCIAS PROFISSIONAIS
Palavras-chave:
Inteligência Artificial, Exame de Suficiência, Modelos de Linguagem, Educação Contábil, RAGResumo
O uso crescente da Inteligência Artificial Generativa levanta questões sobre a capacidade técnica desses sistemas em exames de qualificação profissional. Este estudo analisa o desempenho de dois Modelos de Linguagem de Grande Porte (LLMs), Gemini 3.1 Flash-Lite e GPT-5.4 Nano, na resolução e classificação de 434 questões válidas do Exame de Suficiência do Conselho Federal de Contabilidade (CFC) entre 2022 e 2026. Com base na Teoria do Capital Humano e na Economia da Sinalização, a pesquisa utilizou Retrieval-Augmented Generation (RAG) para fornecer suporte teórico aos modelos, simulando o acesso a normas e livros-texto. Os resultados indicam desempenho excepcional do Gemini, que alcançou precisão de 89,40% em zero-shot e 89,63% com RAG. Esses números superam significativamente as taxas de aprovação humana, que variaram entre 12,1% e 48,2% no período. O GPT obteve 74,65% de precisão, mostrando capacidade de aprovação, mas evidenciando diferenças entre as ferramentas. O RAG gerou "alucinação induzida" no GPT, reduzindo seu desempenho para 73,04%, o que confirma teorias sobre o excesso de contexto. A concordância inter-modelos (Kappa de Cohen) foi alta na classificação por área (Kappa = 0,77), confirmando a concentração em Contabilidade Geral. No entanto, foi baixa na autoavaliação de dificuldade e na aderência às Diretrizes Curriculares Nacionais. Conclui-se que os LLMs possuem capacidade técnica para atuar como tutores especialistas, exigindo reflexão dos órgãos reguladores sobre a avaliação dos futuros profissionais contábeis diante da automação.
