A inteligência artificial consome muitos recursos energiaou melhor, este é o caso dos supercomputadores em que é executado. Porém, existem maneiras de reduzir esse consumo. Uma delas é fazer redes neurais funcionarem em uma arquitetura de computação analógico na memória baseada em memristores.
Memristores são resistores equipado com memória. Os cálculos são realizados localmente usando suas propriedades físicoem vez de depender de processadores e chips gráficos como acontece atualmente. Tradicionalmente, o treinamento é feito em um computador ou supercomputador convencional e, em seguida, os pesos da IA são transferidos diretamente para os memristores. Porém, existe um grande obstáculo: esses componentes são imperfeitos e geram ruído, o que induz erros reduzindo consideravelmente o desempenho e a estabilidade da IA.
EaPU: transformando a imperfeição em um ativo
Num artigo que acaba de sair na revista Comunicações da Naturezapesquisadores do laboratório de Zhejiang, na China, desenvolveram uma nova técnica de treinamento muito promissora. É chamada de atualização probabilística com reconhecimento de erro (EaPU), ou atualização probabilística levando em consideração erros. A IA aceita pequenos erros abaixo do limite de tolerância dos memristores, e evita atualizar os parâmetros para a menor variação. Em vez de atualizar todos os parâmetros em cada etapa do aprendizado, a rede neural atualiza menos de 0,1% deles. Este detalhe é crucial quando sabemos que escrever um memristor consome muito mais energia do que ler.
O resultado é uma redução consumo de energia para acionamento por um fator de 50 em comparação com outros métodos com memristores. Além disso, com menos desgaste devido à escrita, oexpectativa de vida dispositivos é multiplicado por 1.000! O método EaPU aumenta a precisão em 60%, novamente em comparação com outros métodos baseados em memristores, tornando-o semelhante ao de um supercomputador clássico. Segundo os pesquisadores, o consumo de energia é dividido por seis ordens de grandezaou cerca de um milhão, em comparação com um sistema baseado em chips gráficos.
Uma técnica aplicável aos LLMs?
Os pesquisadores já validaram seu método em uma matriz de 180 memristores. nanômetrostreinando redes neurais para tarefas de remoção de ruído e super-resolução de imagens, obtendo resultados semelhantes aos obtidos com métodos convencionais, usando muito menos energia.
Os pesquisadores estavam limitados por seu hardware, mas acreditam que a técnica EaPU deve funcionar em grandes modelos de linguagem (LLMs), algo que planejam testar no futuro. Eles também acham que não se limita aos memristores, e também poderia ser usado em outras tecnologias, como transistores ferroelétricos e BATER magnetorresistivo (MRAM).
Embora a Costa Leste dos EUA possa em breve sofrer cortes rotativos de energia devido à demanda de energia de centros de dadosde acordo com o Jornal de Wall Streettal redução no consumo de IA viria realmente no momento certo. Ainda precisará ser adotado em larga escala.