O Milagre do Xeon de R$ 1.500

Introdução e Objetivo do Estudo

Dando continuidade ao nosso estudo sobre a viabilidade de Modelos de Linguagem de Borda (SLMs) em hardware de consumo comum, este segundo artigo eleva o nível da infraestrutura. Deixamos de lado o ambiente virtualizado e limitado de notebooks legados para analisar uma plataforma de processamento pesado de baixo custo: o aclamado "Kit Xeon" do AliExpress.

O objetivo deste laboratório foi puramente arquitetural: destrinchar a curva de eficiência de threads em processadores multicore, identificar o impacto físico da largura de banda da memória RAM (Single-Channel vs. Dual-Channel) na taxa de geração de texto e avaliar como o estrangulamento do barramento afeta a estabilidade lógica e cognitiva de uma Inteligência Artificial operando de forma 100% local e offline.

Metodologia e Especificações da Bancada

Para eliminar qualquer perda de desempenho por camadas de abstração, removemos a virtualização por contêineres e executamos o ecossistema diretamente sobre o metal.

A. A Engenharia do Hardware (Investimento Total: R$ 1.530,00)

• Processador, Placa-Mãe e Cooler: Intel Xeon E5-2676v3 (12 núcleos físicos / 24 threads via Hyper-Threading, arquitetura Haswell-EP) + Placa X99-PR3 + Air Cooler — R$ 500,00
• Memória RAM: 64 GB distribuídos em 2 pentes de 32GB Hynix LRDIMM DDR3 4Rx4 14900L (Módulos de alta densidade para servidores em Quad-Rank) — R$ 500,00
• Armazenamento: SSD SATA Consumer de 480GB — R$ 300,00
• Fonte de Alimentação: Mancer 400W — R$ 170,00
• Gabinete: Modelo básico padrão — R$ 60,00

B. Pilha de Software e Parâmetros de Controle

• Sistema Operacional: Windows 11 Pro.
• Motor de Inferência: Ollama instalado via Windows Installer nativo (utilizando instruções vetoriais AVX2 via llama.cpp).
• Interface e Logs: Open WebUI versão Desktop.
• O Teste de Estresse Cognitivo (Prompt Padrão): "Pode me ajudar a montar um planejamento de viagem pela europa, passando por portugal, espanha, italia e grecia?"

Matriz de Resultados Absolutos (O Placar Geral da Bancada)

Os dados abaixo foram colhidos de forma empírica e cirúrgica, alterando a alocação de threads diretamente no interpretador do Ollama e alternando a disposição física dos pentes de memória para isolar os barramentos:

Discussão e Descobertas Arquiteturais

A. A Ilusão do Hyper-Threading e o Efeito de Contenção (Thread Contention)

O senso comum de hardware assume que alocar o maior número de threads lógicas (24 threads no caso do Xeon v3) extrairia o máximo desempenho. Nosso benchmark provou o oposto. Ao forçar a execução com o Hyper-Threading ativado em capacidade quase máxima (como no teste com 20 threads), múltiplos fluxos virtuais passaram a compartilhar recursos de execução de ponto flutuante dentro do mesmo núcleo físico. Isso gerou um atraso considerável por troca de contexto (context switching), além de uma disputa agressiva por memória, derrubando a performance para 24.00 tokens/s.

O "ponto doce" (sweet spot) do processador foi encontrado em 10 threads. Ao utilizarmos menos do que o limite de 12 núcleos físicos reais da CPU, deixamos núcleos totalmente livres para gerenciar as demandas do sistema operacional Windows 11 e do Open WebUI Desktop. Essa folga arquitetural eliminou a disputa de cache L3 e permitiu que o processador elevasse a frequência de clock (Turbo Boost) ao patamar máximo permitido por núcleo ativo, destravando o recorde de 27.62 tokens/s no Gemma 3:1B.

B. Memory-Bound versus Compute-Bound nos Modelos SLM

A dinâmica de threads revelou a diferença de comportamento matemático entre as variantes de tamanho:

• Gemma 3:1B (Memory-Bound): Por ter uma matriz de parâmetros leve, ele processa os cálculos matemáticos de forma instantânea e passa a maior parte do ciclo de clock esperando a memória entregar dados. Por isso, reduzir de 12 para 8 threads quase não alterou sua velocidade (de 26.80 para 27.41 tokens/s), já que o gargalo era puramente físico do barramento de memória.
• Gemma 3:4B (Compute-Bound): Possuindo quase quatro vezes mais densidade matemática por token gerado, as operações de matrizes dividem o protagonismo com o barramento. Por essa razão, ele escalou positivamente com o acréscimo de núcleos reais, saltando de 9.21 tokens/s (8 threads) para seu ápice de 9.36 tokens/s (10 threads), perdendo rendimento imediatamente ao sofrer a interferência do Hyper-Threading (14 threads).

C. O Veredito Científico: Largura de Banda de RAM dita a Sanidade da IA

O xeque-mate do estudo ocorreu ao removermos fisicamente um dos pentes de memória, forçando o hardware a operar em Single-Channel (1x32GB) e cortando a taxa de transferência de dados pela metade.

No modelo de 1B, a performance desabou de 27.62 tokens/s para 15.28 tokens/s (uma perda massiva de 44,6%). No modelo de 4B, o impacto foi ainda mais violento, caindo de 9.36 tokens/s para 4.92 tokens/s (uma queda drástica de 47,4%). Isso prova empiricamente que quanto maior a densidade de parâmetros de um LLM, maior é a sua dependência física de um barramento de dados largo.

O reflexo mais alarmante, no entanto, foi o colapso cognitivo provocado pelo gargalo de RAM. Sob o estresse do atraso na busca de dados na memória, os pesos dos modelos perderam estabilidade de contexto. O Gemma 3:1B passou a operar delírios factuais absurdos, como sugerir partidas de pólo na ilha de Santorini e mover a Muralha de Adriano (Reino Unido) para a Grécia. O colapso atingiu o ápice com o Qwen 3.5:2B em Single-Channel, que sob estresse de memória anexou a Cidade do México ao território da Espanha e teletransportou as Pirâmides do Egito para o centro de Atenas. Quando os canais de memória são asfixiados, o atraso de dados corrompe a própria lógica do raciocínio interno do modelo.

A Projeção do Próximo Nível: O Poder Oculto do Quad-Channel

Embora a placa-mãe utilizada neste teste específico (X99-PR3) limite o barramento ao Dual-Channel físico (o que já garantiu os excelentes 27.62 tokens/s no Gemma 1B), a arquitetura dos processadores Intel Xeon E5 v3 esconde um trunfo que muda as regras do jogo: o suporte nativo a Quad-Channel real.

No mercado atual de plataformas recicladas, um investimento marginal de apenas R$ 100 a mais permite substituir a placa-mãe básica por modelos ligeiramente mais robustos, como a  X99-XD3 ou XD4 ou similares com 4 ou 8 slots de memória reais. Ao espalhar os mesmos 64GB de RAM LRDIMM em quatro módulos idênticos (4x16GB) para ativar o Quad-Channel, a largura de banda teórica de transferência de dados dobra novamente, saltando da faixa de ~34 GB/s para impressionantes ~68 GB/s.

Essa métrica de largura de banda coloca um computador completo de R$ 1.650,00 a R$ 1.700,00 em patamar de igualdade direta com o barramento de memória de desktops modernos topo de linha operando com memórias DDR5 em Dual-Channel convencional (que giram em torno de 50 a 65 GB/s em frequências padrão).

Como os modelos compactos locais (SLMs) são totalmente limitados pela velocidade de leitura da RAM (memory-bound), o Quad-Channel em memórias DDR3 de servidor anula a desvantagem geracional do hardware de 2017. Ele permite que uma máquina "Frankenstein" de baixo custo alimente os núcleos da CPU sem qualquer retenção de dados, empurrando as taxas do Gemma 3:1B para além dos 35-40 tokens/s e estabilizando o Gemma 3:4B em patamares de altíssima interatividade — uma eficiência que, até então, o mercado acreditava ser exclusividade de hardwares super caros de última geração ou chips proprietários unificados.

Conclusão e Viabilidade Comercial

O estudo de caso consolidado em nossa bancada de R$ 1.530,00 redesenha o entendimento sobre a Inteligência Artificial local de baixo custo. A inferência de SLMs na CPU não é uma questão de força bruta computacional, mas sim de equilíbrio e harmonia de arquitetura.

Muitos usuários assumem que para extrair respostas úteis de modelos de ponta locais, é obrigatório investir em assinaturas caras de nuvem ou em GPUs dedicadas que sozinhas ultrapassam a marca dos R$ 3.000,00. Nosso laboratório prova o contrário. Montamos uma plataforma baseada em hardware de servidor reciclado gastando exatamente R$ 1.530,00.

Ao otimizarmos as linhas de execução para 10 threads físicas em Dual-Channel, destravamos 27.62 tokens/s com privacidade total, zero mensalidades e zero dependência de internet.

A conclusão é implacável: travar o motor do Ollama na faixa cirúrgica de 10 threads físicas e garantir a ativação do barramento em Dual-Channel com memórias de alta densidade (Quad-Rank) é o único caminho para manter o modelo de 1B ultra-rápido e garantir que a variante de 4B funcione com precisão enciclopédica absoluta e alta utilidade no cotidiano. No ecossistema de baixo custo, a estrada onde os dados viajam (RAM) importa muito mais do que a quantidade bruta de operários (núcleos).