Pular para o conteúdo

Além do Throughput

Por Que Quase Todos os LLMs Open-Source Falham na Realidade Brasileira (Direito, Tributário e Soberania Territorial)

Nos últimos meses, a corrida pelos modelos de linguagem de código aberto (open-weights) tem sido pautada quase exclusivamente por benchmarks sintéticos globais: MMLU, GSM8K, HumanEval e métricas brutas de inferência (tokens por segundo). No ambiente corporativo real, contudo, a régua é outra. Quando colocamos esses modelos para atuar como assistentes consultivos de RH, Departamento Pessoal, Finanças, Contratos, Compliance, Logística e Governança, o abismo entre "gerar texto rápido" e "compreender a realidade regulatória e geográfica do Brasil" torna-se evidente — e operacionalmente perigoso.

Submetemos mais de 10 arquiteturas open-weights a um teste prático de estresse em ambiente corporativo local, dividindo a avaliação em três baterias temáticas independentes:

  1. Bateria 1: Rotina Trabalhista (CLT/TST) e Direito Comercial/Societário (Código Civil e CPC)
  2. Bateria 2: Reforma Tributária (EC 132/2023), Sistema Financeiro (Bacen/Pix) e Fiscalização Institucional (PROCON, SUSEP e CREA)
  3. Bateria 3: Territorialidade, Malha Logística, Climatologia e Pragmatismo Cultural Regional

O resultado expôs um cenário crítico de alucinações normativas, invenção de leis e precedentes fantasmas, deslocamento arbitrário de fronteiras soberanas, colapsos em fusos horários e apenas duas famílias que realmente se provaram aptas para produção corporativa local no país.

O Setup do Benchmark e a Metodologia

O experimento simulou um pipeline local de atendimento e consultoria corporativa (orquestrado via LiteLLM/Ollama), processando conversas encadeadas em que o contexto acumulado ultrapassava 15.000 tokens.

  • Infraestrutura de Hardware: Todos os testes foram executados localmente em uma GPU dedicada NVIDIA Tesla V100 (32 GB VRAM), permitindo avaliar acurácia, latência real, consumo de memória e estabilidade térmica sob contexto denso e ativações MoE (Mixture of Experts).
  • O Objetivo de Engenharia ("Bate-Pronto"): O foco deliberado foi avaliar o comportamento nativo (zero-shot/out-of-the-box) dos modelos. O objetivo não foi aferir o desempenho de pipelines complexos de recuperação, mas descobrir qual arquitetura possui a menor taxa de alucinação basal antes da injeção de contexto externo.
Ressalvas Metodológicas:
  1. Mitigação via RAG: Em pipelines corporativos de produção, grande parte dessas falhas pode ser mitigada com arquiteturas avançadas de RAG (Retrieval-Augmented Generation), injeção de chunks normativos e guardrails semânticos.
  2. O Risco da Base: Avaliar o modelo "no osso" é vital: um modelo cuja parametrização interna alucina artigos inexistentes ou inverte fusos horários tende a distorcer ou ignorar documentos recuperados via RAG quando submetido a prompts adversariais ou raciocínios interpretativos cruzados.

BATERIA 1: CLT, Direito Comercial e Societário

Os 8 Cenários de Estresse
  1. Gestão e Fracionamento de Férias: Proposta irregular de gestor para fracionar férias em 5 + 5 dias e "comprar" 20 dias de colaborador com 22 meses de casa (Arts. 134 e 143 da CLT).
  2. Absenteísmo Recorrente e Presunção de Veracidade: 18 faltas em 40 dias com atestados médicos de curto período, frente à intenção de demissão imediata por desídia ou desconto preventivo (Lei 605/49 e Art. 462 da CLT).
  3. Contrato de Experiência e Aborto Espontâneo: Avaliação de estabilidade provisória e postergação do termo prefixado na 14ª semana (Art. 395 da CLT vs. ADCT).
  4. Teletrabalho, "Cargo de Confiança" e Estafa: Profissional rotulado como "Coordenador", cumprindo 13h diárias em home office sem poder de mando real (Art. 62, II da CLT).
  5. Cláusula Penal em SaaS B2B: Multa rescisória de 150% do contrato cumulada com reparação integral sob pretexto da Lei de Liberdade Econômica (Arts. 412, 413 e 421-A do CC).
  6. Desconsideração da Personalidade Jurídica (IDPJ): Execução de R$ 850 mil contra sociedade limitada sem bens; tentativa de executar contas pessoais dos sócios pela mera dissolução irregular (Art. 50 do CC e Teoria Maior).
  7. Exclusão Extrajudicial de Sócio Minoritário: Controladores expulsando sócio de 25% em café, alterando a Junta Comercial e parcelando haveres em 36 vezes pelo balanço contábil defasado (Arts. 1.085 e 1.031 do CC).
  8. Executividade de Confissão de Dívida Eletrônica: Cobrança assinada com certificado avançado sem testemunhas; escolha entre Execução direta ou Ação Ordinária (Art. 784, § 4º do CPC / Lei 14.620/23).
O Museu de Aberrações Jurídicas (Bateria 1)
  • O Delírio Penal do Llama 2 13B: Redefiniu a sigla IDPJ (Incidente de Desconsideração da Personalidade Jurídica) como "Indiciação de Delito Penal", orientou contratação de advogados criminais, afirmou que o Art. 50 do CC trata de crime por falta de liquidez, traduziu SLA como "Serviços de Lançamento Agreido" e fundamentou contratos privados de software na Lei das Estatais (Lei 13.303/2016).
  • A Penhora na SUSEP do WizardLM-2 7B: Rebatizou o IDPJ como "Injúcio ao Desembargador de Direito Público", mandou penhorar contas de sócios na SUSEP chamando-a de "Sistema de Proteção ao Crédito Líquido" e aconselhou cobrar contrato comercial na Prefeitura.
  • A Biologia Societária do Hermes 3 8B: Forjou o Artigo 1.102 do Código Civil estipulando a responsabilidade solidária dos sócios pelos "atos puerperais da sociedade" (termo médico para o pós-parto), forjou teto fictício de 30% no Art. 413 do CC e fundamentou contratos digitais no Art. 1.015 do CPC (rol de Agravo de Instrumento).
  • A Arqueologia do Aya 8B: Fundamentou a recusa de uma cláusula na "Lei de Contratos de 1929 (Lei nº 5.459/29)", sustentou que contratos de TI precisam de homologação no INMETRO (Resolução nº 23/2018), invocou a Lei de Microcrédito e colocou o Min. Luís Roberto Barroso no STJ.
  • A Execução Fiscal de Fintech do DeepSeek-R1 8B: Mandou uma fintech privada ajuizar Execução Fiscal (rito privativo da Fazenda Pública) para penhorar bens na Junta Comercial com base na Lei 11.442/2006 (lei do transporte rodoviário de cargas).
  • O Falso Erudito do Olmo 3.1 32B: Forjou ações diretas de inconstitucionalidade com 7 dígitos atribuídas ao STJ ("ADI 6.158.874/2019 (STJ)"), rotulou a LGPD como "Lei de Assinatura Eletrônica" e prometeu que Ação Ordinária se resolve em 3 meses no Brasil.
  • O Falsificador Serial do Ornith 1.5 9B: Inventou o Artigo 50-A do Código Civil com incisos forjados entre aspas e afirmou que a Súmula 516 do STJ proíbe exclusão extrajudicial de sócio (a súmula real trata de contribuição previdenciária devida ao INCRA).
  • A Invenção do Phi-4 14B: Inventou o Artigo 1.791-A do Código de Processo Civil — em um código cuja numeração termina no Artigo 1.072.
  • A Fritura Térmica do Qwen 3.8 27B: Passou minutos deliberando em inglês para forjar o "Parágrafo Único do Artigo 50 do Código Civil", inventar a Súmula 414 do STJ e congelar a inferência.

BATERIA 2: Tributário, Meios de Pagamento e Fiscalização Institucional

Os 5 Cenários de Estresse
  1. Arquitetura do IVA Dual e Competências Federativas (EC 132/2023): Proposta de CFO para extinguir de imediato ISS e ICMS recolhendo apenas a CBS federal, alegando centralização total na União e que o IPI virou Imposto Seletivo mantendo fato gerador e alíquotas.
  2. Limites Regulatórios do MED do Pix (Resolução BCB nº 1/2020): Cliente exigindo abertura imediata de MED e bloqueio de conta da loja por insatisfação com a cor do chassi de servidor entregue, equiparando o MED ao chargeback.
  3. Poder de Polícia do PROCON vs. Reserva de Jurisdição: Diretor de PROCON municipal aplicando multa de R$ 450 mil por atraso pontual de entrega a um consumidor, determinando rescisão forçada do contrato e devolução em dobro por força própria.
  4. Proteção Veicular vs. Monopólio Regulatório da SUSEP: Associação sem fins lucrativos comercializando cobertura de colisão, furto e perda total alegando dispensa de reservas técnicas e da SUSEP pelo Art. 53 do Código Civil (Tema 1039 do STF e DL 73/66).
  5. Obrigatoriedade de Registro no CREA (Lei 6.839/80): Auto de infração contra consultoria de software exigindo registro de PJ, contratação de engenheiro com ART e anuidade por gerenciar servidores e redes lógicas.
O Museu de Aberrações Institucionais (Bateria 2)
  • O Homicídio Consumerista e o COREN Elétrico do Qwen 3.5 9B: Fundamentou a devolução de compras e repetição de indébito no Art. 121 do Código Penal (Homicídio); colocou o COREN (Conselho Regional de Enfermagem) como entidade reguladora de engenharia elétrica e redes; citou a Súmula Vinculante 24 do STF (crime tributário) para justificar multas do PROCON; e invocou a ANACOM (regulador de Portugal) para fiscalizar TI no Brasil.
  • O MED por Insatisfação e a "Solidão" do Llama 2 13B: Cravou que a Resolução BCB nº 1/2020 foi feita para devolver dinheiro por "insatisfação comercial e defeito"; afirmou que o Tema 1039 do STF libera seguro clandestino; e exigiu que associações cumpram normas de "segurança e solidão" (tradução literal espúria de solvency / solvência).
  • A Reforma no Espaço Schengen do Hermes 3 8B: Afirmou que a Emenda Constitucional brasileira nº 132/2023 estabeleceu o novo sistema tributário para o Espaço Schengen e para os países da Zona do Euro; criou o conselho regional fictício "CERB"; e inventou tetos fictícios em reais no CDC.
  • A "Lei de Consumidor Fenômeno" do WizardLM-2 7B: Rebatizou o CDC como "Lei de Consumidor Fenômeno" e "Código de Defesa da Consciência e da Cidade (CDCC)"; colocou o CONAR (publicidade de TV) para ajuizar ação rescisória de contrato de compra e venda; inventou a "Resolução CPF nº 3.751/2019"; e afirmou que anuidade do CREA é doação voluntária.
  • O Estatuto da Criança e a 17ª Turma do STF do DeepSeek-R1 8B: Fundamentou a competência da SUSEP e a ART do CREA no Art. 12 e Art. 29 da Lei 8.069/90 (ECA - Estatuto da Criança e do Adolescente), chamando-a de "Estatuto da OAB"; inventou a "Décima Sétima Turma do STF"; e forjou o brocardo "Princípio da Oportunidade Fina (Súmula 396 do STF)".
  • O Precedente Fabricado de R$ 100 do Ornith 1.5 9B: Forjou um acórdão completo do STJ (AgInt no AREsp 1842262/RS) com os valores exatos do prompt (R$ 450 mil e R$ 12 mil) dizendo que o tribunal reduziu a multa para R$ 100; forjou os Arts. 3º a 5º na Lei 6.839/80 (que só tem 2 artigos); e chamou a lei de tutela contra a Fazenda de "Lei do PROCON".
  • O Habeas Corpus contra o PROCON e o ICMS Imortal do Qwen 3.8 27B: Sugeriu impetrar Habeas Corpus contra multa do PROCON por risco de "prisão do sócio por inadimplência"; jurou que o ICMS nunca será extinto pela reforma tributária; e forjou a Súmula 712 do STJ.
  • O CFC de Informática do Cogito 14b: Afirmou que profissionais de TI respondem ao "Conselho Federal de Informática (CFC)" (CFC é Contabilidade); citou Habeas Corpus de processo penal para debater servidores de TI; e trocou a Lei da Ação Civil Pública pela regulação de seguros.
  • A Falsificação Estruturada do GPT-OSS 20B: Formatou tabelas executivas perfeitas para alucinar que a CBS é imposto sobre "compras feitas por órgãos públicos"; inventou o § 9º da Resolução 1/2020 com 8 alíneas autorizando MED para erro de frete; e reciclou o mesmo número de processo inventado (REsp 1.545.000) para o PROCON, para a SUSEP e para o CREA.

BATERIA 3: Territorialidade, Malha Logística e Brasilidades

Para avaliar o comportamento dos modelos fora do ambiente puramente textual-normativo, aplicamos um teste prático de planejamento operacional cruzando cinco capitais e extremos regionais: São Paulo, Rio de Janeiro, Florianópolis, João Pessoa e Rio Branco.

Os 5 Cenários de Avaliação Territorial
  1. O Grande Roteiro Nacional: Ordem lógica anti-zigue-zague, distinção entre trechos rodoviários viáveis e voos comerciais mandatórios, e cálculo da defasagem real de fuso horário entre os extremos (PB vs. AC).
  2. Climatologia Operacional de Julho: O contraste real entre o inverno úmido com frentes frias de Florianópolis, a estação seca no Rio de Janeiro, o pico do inverno chuvoso de João Pessoa e a estiagem amazônica em Rio Branco.
  3. Fronteiras Vizinhas nos Extremos: Países limítrofes reais a partir de Santa Catarina (via Dionísio Cerqueira) e Acre (Assis Brasil e Brasiléia), e verificação do mito de fronteiras diretas com Chile e Equador.
  4. Gastronomia Autêntica sem Estereótipos: Identificação de ingredientes e pratos nativos (ostras/tainha em SC; carne de sol com macaxeira e feijão verde na PB; baixaria e pirarucu/tambaqui no Acre).
  5. Pragmatismo Linguístico Regional: Decodificação contextual de expressões locais em SC ("môquirido"), RJ ("coisa mandada, já é"), PB ("ô bicho de uma égua, isso tá é estribado") e AC ("vou merendar uma baixaria agorinha mesmo").
O Museu de Aberrações Geográficas e Culturais (Bateria 3)
  • O Falso "Enclave" Catarinense do Gemma 4 26B e Gemma 4 12B: Apesar do desempenho superior nas baterias jurídicas, ambos os modelos afirmaram categoricamente que Santa Catarina "não faz divisa com nenhum outro país e está protegida por São Paulo e RS", apagando a aduana internacional e a fronteira seca real entre Dionísio Cerqueira (SC) e Bernardo de Irigoyen (Misiones, Argentina). O 12B ainda deslocou a fronteira de Assis Brasil para Desaguadero (no Lago Titicaca) e reduziu o fuso do Acre para UTC-4.
  • O Colapso Planetário e a Bahia Catarinense do DeepSeek-R1 8B: Garantiu que o Rio de Janeiro e Florianópolis distam apenas 100 km e pertencem ao mesmo estado; cravou que o fuso do Acre é UTC-1 (jogando o estado para o meio do Oceano Atlântico); negou que o Brasil faça fronteira direta com a Bolívia (exigindo passar pelo Peru); colocou a cidade litorânea de Torres (RS) no Paraná fazendo divisa com o Paraguai; serviu acarajé como comida nativa da "região de Angola, no noroeste de Santa Catarina"; afirmou que o falar de Florianópolis vem do "Baixo-Sul da Bahia" onde môquirido significa "entulho"; e jurou que a gíria do Acre vem do "Quechua dos índios aimorés", mandando o viajante "tomar um baitchau".
  • O Trem Rio-Cumbica e a Ponte de Colônia do GPT-OSS 20B: Em tabelas executivas impecáveis com colunas de custos em reais, orientou o passageiro no centro do Rio a pegar a "Line 3 de trens urbanos" para ir direto ao Aeroporto de Guarulhos (em SP, a 430 km); inventou uma ponte de 5 km ligando Rio Grande (RS) a Colônia del Sacramento (Uruguai, a 800 km de distância); inventou o salgado "Tufas" e serviu frango com quiabo em Florianópolis; e cravou que estribado na Paraíba é uma gíria carioca para coisa quebrada.
  • A Fritura Cartográfica e o Pico da Neblina no Acre do Qwen 3.8 27B: Queimou ciclos longos na V100 para convidar o turista a caminhar "à beira do Rio Madeira, em Rio Branco", recomendou trilhas no "Pico da Neblina nas proximidades do Acre" (que fica no extremo norte do Amazonas) e no "Parque do Rio Formoso" (no MS); criou a cidade fronteiriça fictícia de "Santiago do Brasil" em Cruz Alta (no meio do RS); transformou a bebida cajuína em molho de moqueca; e definiu a gíria estribado como uma máquina quebrada.
  • A Cachaça Acreana e o Trem Rio-SP do Phi-4 14B: Sugeriu viajar de trem regular de passageiros entre São Paulo e Rio; elegeu o Rio de Janeiro (e não João Pessoa) como o ponto mais a leste de uma rota que continha a Paraíba; conectou o Chuí a Monte Caseros (Argentina) por uma ponte internacional inexistente; e cravou que "merendar uma baixaria" no Acre significa "beber uma dose de cachaça imediatamente".
  • O Oceano a Oeste e o Chile no Panamá do Qwen 3.5 9B: Afirmou textualmente que o Oceano Atlântico fica a oeste de Santa Catarina; mandou viajar de carro do Rio a Florianópolis passando pela Bahia; esticou o Chile até a fronteira com a Colômbia e o Panamá; alertou sobre a "toxicidade do polvo gigante de SC"; e definiu a "égua" na Paraíba como um termo afetuoso para companheiros de infância.
  • A Metrópole de 'Joinholm' e o Inventor do Catupiry do Ornith 1.5 9B: Inventou a cidade fictícia de "Joinholm" em Santa Catarina com seu próprio Círio de Nazaré; forjou a biografia de que o requeijão Catupiry foi inventado em João Pessoa em 1958 por "Antônio Catupiry de Sá" (criado em 1911 em MG por Mário Silvestrini); cravou fronteira do Brasil com o Equador; e transformou o prato baixaria em uma metáfora para "engolir sapo".
  • O Colapso Espaço-Temporal do Cogito 14B: Inverteu a rotação terrestre ao afirmar que Rio Branco está 1 hora à frente de São Paulo (o sol nascendo primeiro no Acre); transferiu o Chuí para Santa Catarina; mudou o Círio de Nazaré de Belém para a Paraíba; inventou o peixe "Lagarto com Banana"; e listou o próprio "Brasil (região amazônica)" na lista de países estrangeiros que fazem fronteira com o Brasil.
  • O Acre Enclausurado do Hermes 3 8B: Esqueceu Florianópolis no roteiro; declarou que o Acre "está completamente cercado por outros estados brasileiros e não faz divisa com nenhum país"; colocou o Chuí em Santa Catarina como "a única fronteira terrestre do Brasil na América do Sul"; e inventou o "pato no chá com vinho branco" em Rio Branco.
  • A Comédia Diplomática do WizardLM-2 7B: Alertou que as noites de julho no Rio chegam a 0°C (congelamento); colocou Florianópolis no verão em julho; mandou viajar de carona de João Pessoa ao Acre parando em Salvador; colocou o Chile "a leste do Peru"; e definiu o tacacá como um doce de leite de coco com goiaba e carne moída.
  • A Guerra Diplomática e a 'Baixaria Armada' do Aya 8B: Cravou categoricamente que o Brasil tem fronteira terrestre com o Chile no Acre e com o Equador no Amazonas; mandou viajar de ônibus de João Pessoa a Rio Branco por terra; e traduziu o ato de comer uma baixaria como uma declaração de que a pessoa está saindo armada para arrumar briga de rua.
  • A 'Égua Voadora' e o Adaptador de Fuso do Llama 2 13B: Mandou o usuário levar um "adaptador de fuso horário" na mala para ajustar a eletricidade entre as cidades; colocou Porto União no litoral sul catarinense fazendo divisa com o Uruguai; transformou o chimarrão em café com leite e açúcar; e, ao explicar a gíria paraibana "bicho de uma égua", definiu a égua formalmente como "uma ave conhecida por sua capacidade de voar rapidamente".

O Quadro Geral Consolidado do Benchmark

Avaliados sob condições idênticas na GPU dedicada NVIDIA Tesla V100 (32 GB VRAM), quantizações oficiais FP16/Q4_K_M e mesmo pipeline local:

Arquitetura / ModeloTipo / TamanhoThroughput MédioNota CLT / ComercialNota Tributário / InstitucionalNota Geografia / BrasilidadesDiagnóstico Executivo Consolidado
gemma4:26b26B MoE~103,4 tok/s9.959.908.80Vencedor Absoluto em Produção. Gabaritou CLT, CC, EC 132, MED, fusos, clima e decodificou a "baixaria" acreana. Perdeu pontos pontuais pelo lapso na fronteira de SC com a Argentina.
muse-glimmer:30b30B Denso~34,8 tok/s9.158.809.00Auditor Territorial Sênior. Único modelo a gabaritar a fronteira internacional de SC (Dionísio Cerqueira) e o inverno chuvoso de João Pessoa; pecou apenas na subestimação de km rodoviários e no sentido vernacular de "estribado".
gemma4:12b12B Denso~72,2 tok/s8.259.107.80Melhor Compacto Local. Respostas limpas, taxatividade cirúrgica no MED e gastronomia regional sólida. Pecou no fuso do Acre (UTC-4), na confusão fronteiriça de Assis Brasil e na etimologia de "môquirido".
phi4:14b14B Denso~58,6 tok/s2.754.801.80Polido Inseguro. Texto bem diagramado mascarando erros primários: trem regular Rio-SP, Chuí ligado à Argentina, pizza em Floripa e transformou a "baixaria" acreana em cachaça.
qwen3.8:27b27B CoT~40,0 tok/s2.752.401.50Fritura Cartográfica Lenta. Minutos de deliberação para colocar o Rio Madeira e o Pico da Neblina no Acre, inventar "Santiago do Brasil", transformar cajuína em molho de peixe e errar fusos.
gpt-oss:20b20B MoE~106,3 tok/s3.402.501.20Falsificador Estruturado. Tabelas perfeitas mascarando aberrações: trem urbano do Rio a Cumbica, ponte Rio Grande a Colônia del Sacramento, tacacá de praia com abóbora e "môquirido" como pessoa pretensiosa.
qwen3.5:9b9B Denso~85,0 tok/s2.254.501.40Executivo Ilusório. Visual impecável mascarando o Oceano Atlântico a oeste de SC, Chile fazendo divisa com o Panamá, toxicidade de polvo gigante e "égua" como amigo de infância.
ornith-1.5:9b9B CoT~25,0 tok/s2.303.400.80Falsificador Serial de Cidades. Inventou a metrópole de "Joinholm" em SC com seu próprio Círio de Nazaré, forjou a invenção do Catupiry por "Antônio Catupiry de Sá" na Paraíba e cravou fronteira com o Equador.
cogito:14b14B Denso~17,3 tok/s2.054.500.50Alucinador Espacial. Inverteu fusos (sol nascendo no Acre), botou o Chuí em SC, mudou o Círio de Nazaré para a PB e fez o Brasil fazer fronteira com o Brasil.
olmo-3.1:32b32B CoT~27,0 tok/s1.253.400.40Falso Erudito Lento. Mais de 18 min de inferência na GPU para colocar Niterói nas montanhas, pão de queijo nativo de SC e "mermão" derivado de palavrão escatológico.
hermes3:8b8B Denso~80,0 tok/s1.304.100.30Ficcionista Geográfico. Esqueceu SC no roteiro, afirmou que o Acre é um enclave sem fronteiras internacionais e serviu acarajé em Florianópolis e pato ao vinho branco no Acre.
wizardlm2:7b7B Denso~95,0 tok/s1.001.300.20Colapso Geopolítico. Congelou o Rio a 0°C, colocou Floripa no verão em julho, mandou carona de 5.000 km até o Acre e colocou o Chile a leste do Peru.
aya:8b8B Multi~75,0 tok/s1.452.200.15Cego Regional Terminal. Criou fronteiras terrestres com Chile e Equador, serviu caril caribenho em João Pessoa e traduziu o prato "baixaria" como crime de rixa pública.
llama2:13b13B Denso~65,0 tok/s0.900.800.10Inapto Absoluto. Criminalizou dívida civil, exigiu "adaptador de fuso horário" na mala, inventou chimarrão de café com leite e definiu a égua como uma ave de voo veloz.
deepseek-r1:8b8B CoT~70,0 tok/s1.202.500.10Colapso Planetário. Rio e Floripa vizinhos a 100 km, fuso UTC-1 no Acre, negou fronteira Brasil-Bolívia, acarajé nativo de SC e mandou "tomar um baitchau".

Os Três Vencedores: Quem Realmente Opera no Terreno Nacional

Apenas três soluções demonstraram ancoragem sólida o suficiente para operar em pipelines corporativos locais:

1. O Campeão Absoluto: gemma4:26b (Google)

O modelo MoE foi o destaque inequívoco do benchmark. Além de sustentar mais de 100 tokens por segundo na Tesla V100 mantendo estabilidade térmica excelente, dominou a dogmática nacional:

  • CLT e Comercial: Cravou o teto da cláusula penal (Art. 412 do CC), desarmou a falácia da Lei de Liberdade Econômica com o Art. 421-A, estruturou o balanço de determinação a valor de saída com pagamento em 90 dias (Art. 1.031) e dominou os requisitos cumulativos do cargo de confiança (Art. 62, II).
  • Tributário e Institucional: Explicou com perfeição a dualidade CBS vs. IBS e a extrafiscalidade do Imposto Seletivo; cravou a taxatividade do MED (fraude e falha técnica), rechaçando o chargeback; barrou a usurpação jurisdicional do PROCON; aplicou o Tema 1039 do STF contra seguros clandestinos; e demonstrou a inaplicabilidade do CREA para empresas de software.
  • Território: Ordenou a rota logística sem zigue-zague, acertou a defasagem de 2 horas entre PB e Acre, cravou a dinâmica climática de julho e decodificou a "baixaria" acreana com perfeição. Perdeu pontos apenas pelo lapso na fronteira de SC com a Argentina.
2. O Auditor Doutrinário e Territorial: muse-glimmer:30b

Operando na faixa de 35 tokens/s (modelo denso), revelou a formação mais próxima de uma banca formal sênior:

  • Soberania e Fronteiras: Foi o único modelo de todo o benchmark a não apagar a fronteira de Santa Catarina com a Argentina, identificando a aduana de Dionísio Cerqueira e Bernardo de Irigoyen.
  • Climatologia Real: Não caiu na armadilha da "seca nordestina em julho", explicando que a costa de João Pessoa vive seu pico de chuvas de inverno nesse período.
  • Prudência Processual: Foi o único a articular com precisão as Súmulas 435 e 480 do STJ, desfazendo a confusão entre dissolução irregular fiscal e civil. Cometeu apenas lapsos secundários na subestimação de quilometragens rodoviárias e na interpretação formal de termos populares.
3. O Melhor Custo-Benefício Local: gemma4:12b

Com 72 tokens/s e ocupação moderada de VRAM, provou que densidade intermediária não precisa significar alucinação:

  • Zero leis ou artigos forjados nas baterias jurídicas.
  • Superou modelos maiores no MED do Pix: enquanto modelos de 30B caíram na armadilha de achar que "erro de digitação de chave" dá direito ao MED, o Gemma 12B manteve a taxatividade estrita da Resolução BCB nº 1/2020.
  • Mapeou pratos autênticos (ostras em Floripa, bode guisado na PB) e manteve postura executiva sóbria, demandando apenas camadas leves de RAG para dados factuais secundários (como o fuso do Acre e postos de fronteira).

Lições Finais para a Engenharia de IA Corporativa

  1. Métricas Globais São Cegas para a Realidade Local: Um modelo com notas recordes no MMLU ou HumanEval pode, no Brasil, orientar sua empresa a cometer fraudes trabalhistas, impetrar Habeas Corpus contra o PROCON, planejar rotas de trem inexistentes, colocar o Oceano Atlântico a oeste do Sul ou classificar uma égua como ave de voo veloz.
  2. Pensamento Prolongado (CoT) Sem Base Regional Apenas Amplifica o Erro: Os casos de DeepSeek-R1 (usando o ECA para justificar o CREA e inventando fronteira com o Chile), Qwen 27B (colocando o Pico da Neblina no Acre após minutos de deliberação) e Olmo 3.1 (inventando ADIs no STJ e colocando Niterói nas montanhas) provaram que deixar um modelo deliberando sem conhecimento da jurisdição apenas amplia o volume, a lentidão e a convicção das alucinações.
  3. A Estética Corporativa é uma Armadilha de Confiança: GPT-OSS 20B e Qwen 3.5 geram tabelas executivas, matrizes de decisão e estimativas de custos impecáveis que mascaram falsificações completas de leis, precedentes e rotas de transporte. Em pipelines corporativos, o design visual do output nunca deve ser confundido com fidelidade aos fatos.
  4. MoE é a Arquitetura da Eficiência em Produção: A ativação esparsa de parâmetros no Gemma 4 26B provou que é possível ter a profundidade analítica de um modelo de grande porte com a latência, o consumo de memória e a temperatura de um modelo muito menor, viabilizando pipelines consultivos de alta performance em GPUs locais.

Para empresas brasileiras que constroem assistentes de DP, finanças, contratos, compras, logística e compliance, o benchmark deixa um veredito definitivo: especificidade regional, densidade cultural e fidelidade dogmática superam o tamanho bruto do modelo e qualquer métrica sintética de inferência.