Descubra qual IA pode ser executada localmente no seu dispositivo — Frandroid

Executar inteligência artificial diretamente no seu próprio dispositivo está atraindo cada vez mais usuários, com novas ferramentas como o OpenClaw, da qual o Clubic está dando uma grande demonstração.

Este método garante total confidencialidade das trocas e permite trabalhar sem qualquer ligação à Internet. Porém, diante da complexidade técnica dos modelos de linguagem (os famosos LLMs, que são os motores de computador por trás das ferramentas de geração de texto), muitas vezes é muito difícil saber se sua máquina possui ombros largos o suficiente para suportar tamanha carga computacional.

Para resolver esse problema, o site CanIRun.ai oferece uma solução de diagnóstico diretamente no navegador.

Diagnóstico de hardware claro e sem jargões

Se você conhece videogames de computador, provavelmente conhece as plataformas que analisam sua configuração para informar se um título recente funcionará corretamente. CanIRun.ai pega exatamente esse conceito, mas o aplica à inteligência artificial local. Seu objetivo é escanear seu hardware para listar os modelos abertos que podem ser instalados sem deixar seu computador de joelhos.

Agora é a hora PERFEITA para comprar um Nintendo Switch 2

Lançado há menos de um ano, o Nintendo Switch 2 custa menos de 400€ graças ao código FRAS60. A oportunidade perfeita para começar agora no Pokémon Pokopia ou Resident Evil Requiem!

A interface da ferramenta tem o mérito de deixar de lado o jargão bruto para classificar os modelos segundo critérios de fluidez. Em vez de se afogar em cálculos complexos envolvendo VRAM (a memória de vídeo dedicada em sua placa gráfica) ou quantização (métodos de compressão computacional que reduzem o peso dos modelos de IA para encaixá-los na memória), o site oferece um veredicto simples.

Os modelos são classificados desde os mais confortáveis ​​até os completamente fora de alcance, recorrendo a um vasto catálogo de opções de código aberto como Llama, Qwen, Mistral ou mesmo Gemma.

Desempenho na prática: o exemplo concreto do Llama 3.1

Para compreender completamente a utilidade desta abordagem, é interessante observar as estimativas de desempenho geradas para o Llama 3.1, um modelo de linguagem com 8 bilhões de parâmetros. O indicador de benchmark exibido pela ferramenta é o número de tokens por segundo (tok/s), métrica que corresponde esquematicamente à velocidade de geração e exibição de palavras na tela.

Em um laptop MacBook Pro equipado com chip Apple M1 Pro com 16 GB de memória, a velocidade estimada pela ferramenta é de 28 tokens por segundo. Ao mudar para um chip M1 Max com 32 GB, essa taxa aumenta para 57 tokens por segundo.

Uma configuração como um MacBook Air integrando um chip M5 de 16 GB exibe 22 tokens por segundo. Na frente de PCs estacionários com verdadeira força de ataque gráfico dedicado, os números disparam, já que uma placa Nvidia RTX 5070 Ti atinge 136 chips por segundo.

A ferramenta também leva em consideração os smartphones: um iPhone 17 Pro com 8 GB de RAM gera 31 tokens por segundo, mas vale ressaltar que esse cálculo se aplica a um modelo significativamente mais leve, o Llama 3.2 com 1 bilhão de parâmetros.

Vantagem de hardware e proteção de dados da Apple

A operação do CanIRun.ai destaca uma particularidade da arquitetura de hardware da Apple. Ao contrário da maioria dos PCs Windows tradicionais, que separam fisicamente a RAM do processador e a memória de vídeo da placa gráfica, os Macs recentes usam a chamada memória unificada.

Segundo observações veiculadas pela Numerama, os criadores da ferramenta enfatizam que “ um modelo pode usar até aproximadamente 75% da memória total “, o que dá uma vantagem mecânica aos Macs bem dotados de RAM quando se trata de carregar modelos pesados ​​de IA.

Mas os Macs não são os únicos, cada vez mais PCs chegam com memória unificada, nomeadamente com chips AMD Ryzen, como o Desktop Framework e os seus 128 GB de RAM utilizáveis ​​diretamente pela GPU para IA.

A questão da recolha de dados pessoais continua obviamente central quando um site analisa os componentes da sua máquina. No entanto, os desenvolvedores querem ser muito claros sobre a metodologia utilizada. “ Quando você visita o site, usamos as APIs do seu navegador para detectar sua GPU, CPU e memória e, em seguida, calcular quais modelos de IA podem ser executados em seu hardware e em que velocidade. Nenhum dado é enviado para um servidor. Tudo é calculado do lado do cliente », Especificam na página inicial da plataforma.