Avaliação de LLMs de Borda em Hardware de Consumo Legado

Introdução e Objetivo do Estudo

A corrida pelo desenvolvimento de Modelos de Linguagem de Grande Porte (LLMs) gerou soluções corporativas massivas baseadas em nuvem. No entanto, o custo financeiro recorrente, a dependência de conexão à internet e as crescentes preocupações com a privacidade de dados impulsionaram o interesse por IAs de borda (On-Device/Edge AI).

O objetivo deste estudo foi avaliar o desempenho prático, a utilidade cotidiana e as capacidades cognitivas dos principais Modelos de Linguagem Pequenos (SLMs) do mercado, rodando de forma 100% local e offline. Buscou-se identificar quais modelos entregam a melhor experiência interativa para tarefas cotidianas em um hardware de uso comum, sem qualquer investimento em GPUs dedicadas ou chips modernos com aceleradores de IA.

Metodologia e Ambiente de Testes

Para garantir o isolamento do ambiente, a portabilidade e a facilidade de reprodução dos testes, utilizou-se uma infraestrutura baseada em contêineres sobre um sistema operacional macOS legado.

Especificações do Hardware:

• Dispositivo: Apple Mac Pro (Modelo 2017)
• Memória RAM: 16 GB DDR3 (Frequência padrão da geração)
• Processador (CPU): Intel Xeon / Core de arquitetura correspondente à geração 2017, sem aceleração gráfica unificada (Apple Silicon) ou NPU dedicada.
• Gargalo Arquitetural: Largura de banda restrita da memória RAM DDR3 para alimentar os registradores da CPU com os pesos quantizados dos modelos.

Arquitetura de Software (Pilha de Execução):

1. Camada de Virtualização: Docker Desktop para Mac gerenciando o ciclo de vida dos contêineres.
2. Motor de Execução de IA: Imagem oficial do Ollama rodando em contêiner, utilizando como backend o motor otimizado llama.cpp. A inferência foi executada utilizando instruções vetoriais da CPU (como AVX2 suportado pelo hardware).
3. Interface de Usuário: Open WebUI implantado em um contêiner Docker separado, conectado à API local do Ollama, fornecendo um ecossistema visual fluido e registro de logs de processamento.
4. Quantização dos Modelos: Todos os modelos testados utilizaram a quantização padrão do ecossistema Ollama (predominantemente Q4_K_M de 4 bits), reduzindo o tamanho de armazenamento e a ocupação em memória para patamares entre 500 MB e 2.5 GB.

O Teste de Estresse Cognitivo (Prompt Padrão):

Para medir o alinhamento de instrução, a persistência de contexto e a barreira linguística, todos os modelos foram submetidos ao mesmo prompt complexo em português brasileiro (PT-BR):

"Pode me ajudar a montar um planejamento de viagem pela europa, passando Portugal, Espanha, Itália e Grécia?"

Para modelos baseados em raciocínio hibridizado (Thinking Models), um segundo prompt foi aplicado para validar flexibilidade linguística e gerenciamento de contexto: "Pode traduzir para o português?".

Contexto Técnico e Dados Públicos dos Modelos

Antes de analisar os resultados empíricos, é fundamental mapear as especificações públicas e o propósito de design declarado pelos desenvolvedores para cada família de modelos avaliada:

• Família Gemma 3 (Google DeepMind): Projetada com o estado da arte em destilação de conhecimento da família Gemini. O grande trunfo público do Gemma 3 é o seu Tokenizador Multilíngue Avançado de 262.144 entradas, treinado nativamente em mais de 140 idiomas (incluindo o português de forma profunda) e sua janela de contexto de até 32K que utiliza uma arquitetura de Atenção Intercalada para otimizar o uso do KV Cache em memórias restritas.
• Família Llama 3.2 (Meta AI): Modelos compactos focados em alta eficiência e portabilidade para dispositivos móveis Android/iOS. Possuem uma janela de contexto de 128K, mas o vocabulário público de 128K tokens é altamente otimizado para o inglês, o que força o modelo a quebrar palavras em português em múltiplos sub-tokens (sub-word tokenization), gerando maior esforço computacional por caractere em nossa língua.
• Família Phi-3.5 e Phi-4-mini (Microsoft): Treinados intensivamente com a filosofia de "dados sintéticos de alta qualidade" (textbooks are all you need). São modelos altamente focados em raciocínio lógico puro, matemática e geração de código em inglês, deixando a naturalidade de línguas latinas como objetivo secundário de ajuste fino.
• Família Qwen 2.5 e Qwen 3 (Alibaba Cloud): Modelos líderes mundiais em benchmarks abertos de matemática e programação. A linha Thinking/Preview introduz uma arquitetura hibridizada de Cadeia de Pensamento (CoT - Chain of Thought) focada em agir como agentes autônomos (tool-use/function calling).
• Hermes 3 (Nous Research): Um ajuste fino (fine-tune) comunitário aclamado da arquitetura Llama/Qwen, otimizado especificamente para obediência estrita de prompts de sistema, escrita criativa, RPG e ausência de filtros corporativos rígidos.
• Orca-Mini (OpenOrca): Modelo gerado a partir de treinamento especializado imitando os rastros de pensamento de modelos proprietários gigantes. Seu foco público é a capacidade de síntese e utilidade textual direta.

Tabela Comparativa de Resultados Práticos

Os dados abaixo consolidam as métricas de velocidade extraídas diretamente da API do Ollama e a avaliação qualitativa do comportamento cognitivo de cada modelo frente ao hardware de memória DDR3:

🏆 Ranking Definitivo de LLMs Locais em CPU (Mac Pro 2017 - 16GB DDR3)

Discussão e Descobertas de Arquitetura de IA

Os testes em hardware com largura de banda de memória limitada (DDR3) revelaram fenômenos críticos sobre a engenharia de software atual das IAs de borda:

A. O Impacto Destrutivo do "Overthinking" Local

O estudo comprovou que a tendência atual de embutir Cadeias de Pensamento (CoT - Chain of Thought) em modelos ultracompactos (família Qwen 3/3.5) é inviável para execução interativa local em CPU. No cenário 5, o Qwen 3.5:2B demonstrou inteligência conceitual ao processar seu rascunho interno em inglês para traduzir a saída de forma limpa para o português, mas o custo disso foram 9 minutos de CPU em estresse total. Para o usuário final na borda, a latência anula o ganho de privacidade ou autonomia.

B. O Paradoxo do Raciocínio Desligado

Ao desligar o mecanismo de Thinking dos modelos hibridizados da Alibaba (Qwen) para recuperar velocidade de escrita, os modelos sofreram um colapso imediato de ancoragem factual. Sem os freios e contrapesos do processamento oculto, o Qwen 3.5 entrou em loop de repetição textual obsessiva (preso em rodovias portuguesas, esquecendo a Itália e a Grécia) e o Qwen 3:1.7B operou delírios geográficos graves (trocando idiomas oficiais de nações europeias). Isso prova que esses modelos menores não possuem conhecimento de mundo consolidado em seus pesos base, dependendo umbilicalmente do tempo gasto "pensando" para ajustar seus parâmetros em tempo de execução.

C. A Engenharia Superior de Tokenização do Google no Gemma 3.

O sucesso estrondoso do Gemma 3:1B (sustentando confortavelmente 10.7 tokens por segundo em leitura fluida e confortável em uma CPU de 2017) reside primariamente em seu tokenizador nativo de 262K.

Modelos como o Llama e o Phi quebram termos em português em múltiplos fragmentos menores porque suas matrizes de vocabulário focam maciçamente no inglês. Como consequência, para processar a palavra "planejamento", esses modelos realizam múltiplos ciclos de leitura e escrita na RAM DDR3 lenta. O Gemma 3 enxerga palavras e sílabas latinas de forma íntegra, reduzindo drasticamente o consumo do cache e contornando o gargalo físico do hardware legado.

Conclusão

Para usuários, desenvolvedores e entusiastas que buscam implementar assistentes inteligentes locais rodando estritamente em CPU de computadores de uso comum ou laptops antigos através do ecossistema Docker + Ollama, a métrica isolada de contagem de parâmetros ou benchmarks matemáticos de nuvem é ela mesma uma ilusão.

Modelos maiores de 3B ou 3.8B (como Phi-4 ou Llama 3B) geram um peso computacional severo que derruba a performance para taxas inutilizáveis de 2 a 3 tokens por segundo na arquitetura DDR3 2133, sem entregar um incremento proporcional em inteligência prática. Modelos hiper-otimizados para código e agentes (família Qwen) sofrem de vieses severos de chamadas de função e latência insustentável.

O Gemma 3:1B do Google consolidou-se como o campeão indiscutível e a escolha padrão para IA de borda em hardware de consumo. Ele provou que uma calibração refinada de instruções, um vocabulário multilíngue nativo robusto e uma arquitetura focada no alinhamento humano e na "empatia de design" conseguem extrair uma experiência de uso rápida, interativa e cognitivamente útil de uma máquina fabricada há quase uma década.