O DeepSeek pegou usuários e mercado de inteligência artificial (IA) de surpresa nesta semana. O que surpreende na IA chinesa é uma combinação de fatores. Primeiro, ela aparentemente ser tão boa quanto seus rivais estadunidenses (ChatGPT, por exemplo). Segundo, seu desenvolvimento ter sido mais barato em comparação a modelos de IA dos EUA. Mas como isso é possível? Pesquisadores da Apple explicam.

Vale explicar: a Apple não tem ligação com a DeepSeek. A big tech toca suas próprias pesquisas de IA regularmente. Por isso, fica de olho em trabalhos de empresas tanto dos EUA quanto de fora do país – como a startup de IA chinesa.

O relatório no qual os pesquisadores explicam o “molho secreto” do DeepSeek, intitulado “Parâmetros vs FLOPs: Leis de Escala para a Esparsidade Ótima para Modelos de Linguagem Mistos de Especialistas“, foi publicado na semana passada – antes do “boom”, veja você – no servidor de pré-impressão arXiv. De tudo que você acabou de ler neste parágrafo, guarde apenas este termo: esparsidade.

Segredo do DeepSeek é a esparsidade – mas o que isso significa (e como é aplicado) na IA chinesa?
O termo “esparsidade” pode parecer estranho, mas existe (confira exemplos aqui e aqui). É um fenômeno explorado por uma abordagem ampla dentro da aprendizagem profunda (deep learning). O objetivo é simples: extrair mais dos chips de computador.

Justamente por integrar uma abordagem ampla, a esparsidade se apresenta de várias formas. Às vezes, envolve eliminar partes dos dados usados pela IA quando eles não afetam materialmente o resultado do modelo. Outras vezes, envolve cortar partes de uma rede neural, se isso não afetar o resultado final.

A DeepSeek fez o segundo no desenvolvimento do DeepSeek R1, “motor” do chatbot que ficou popular nesta semana. O autor principal do artigo em questão, Samir Abnar, da Apple, e outros pesquisadores da big tech estudaram como o desempenho variava à medida que exploravam a esparsidade desligando partes da rede neural. Harshay Shah, do MIT, também colaborou.

O principal avanço identificado na DeepSeek é que ela pode ligar e desligar grandes seções dos “pesos” ou “parâmetros” de uma rede neural. Os parâmetros são o que molda como uma rede neural pode transformar a entrada – o comando (prompt) que você digita – em texto ou imagens.

Usar alguns dos parâmetros totais de um modelo de linguagem grande e desligar o restante é um exemplo de esparsidade. E ela pode ter um grande impacto no orçamento computacional de um modelo de IA.

O que pesquisadores da Apple investigaram
Abnar e sua equipe realizaram seus estudos usando uma biblioteca de código lançada em 2023 por pesquisadores de IA da Microsoft, Google e Stanford, chamada MegaBlocks. Mas eles deixam claro que seu trabalho é aplicável ao DeepSeek.

Eles questionam se há um nível “otimizado” para a esparsidade no DeepSeek e modelos semelhantes. Em outra palavras: para uma quantidade dada de poder computacional, existe um número ideal de pesos neurais para ligar ou desligar?

Para uma rede neural de um tamanho dado em parâmetros totais, com uma quantidade dada de computação, são necessários cada vez menos parâmetros para atingir a mesma ou melhor precisão em teste de benchmark de IA, como matemática ou perguntas e respostas.

Simplificando: seja qual for o seu poder computacional, você pode desligar partes da rede neural e obter os mesmos resultados (ou até melhores).

Outra inovação do DeepSeek é um truque matemático chamado “atenção latente multi-cabeça”. Em suma, a atenção latente multi-cabeça é usada para comprimir um dos maiores consumidores de memória e largura de banda: o cache de memória que mantém o texto mais recente de um prompt, conforme explicado no Epoch AI.

O que você precisa entender
Essa descoberta explica como o DeepSeek consegue ter menos poder computacional e alcançar o mesmo ou melhor resultado. O segredo é: desligar mais e mais partes da rede neural.

“A esparsidade é uma espécie de dial mágico que encontra a melhor combinação do modelo de IA que você tem e o poder computacional disponível”, conforme explicado pelo ZDNet.

O que tudo isso significa: o DeepSeek é um exemplo saído de uma área ampla de pesquisa já explorada por muitos laboratórios. Agora, muitos outros provavelmente irão segui-la para replicar o sucesso do DeepSeek. A ver quais ideias vão vingar.

_{Fonte: Olhar Digital}