Pioneirismo em inovações de aprendizado profundo: novo algoritmo da EPFL para redes neurais que economizam energia

por Manoel Costa
5 comentários
Analog Neural Networks

Pesquisadores da EPFL criaram um novo algoritmo que treina redes neurais analógicas com a mesma precisão que as digitais, apresentando uma alternativa de economia de energia aos sistemas convencionais de aprendizagem profunda. Esta abordagem está mais alinhada com os processos naturais de aprendizagem humana e demonstra resultados encorajadores em sistemas físicos que utilizam fenómenos baseados em ondas, com o objetivo de minimizar a pegada ambiental das redes neurais profundas. (Imagem conceitual DALL-E 3 gerada por IA mostrando ondas de luz interagindo com um sistema físico.) Crédito: © LWE/EPFL

A equipe da EPFL introduziu um algoritmo projetado para treinar redes neurais analógicas, fornecendo uma opção mais eficiente em termos de energia em comparação com o hardware que consome muita energia usado no aprendizado profundo.

Redes neurais profundas como Chat-GPT, que processam dados extensos por meio de aprendizado algorítmico em vez de programação tradicional, parecem ter um potencial ilimitado. No entanto, à medida que estes sistemas se expandem em âmbito e influência, a sua dimensão, complexidade e consumo de energia também aumentaram, levantando preocupações sobre a sua contribuição para as emissões globais de carbono.

Contrariamente à tendência comum de transição do analógico para o digital nos avanços tecnológicos, os investigadores estão agora a explorar alternativas físicas às redes neurais profundas digitais para resolver estes problemas. Romain Fleury, do Laboratório de Engenharia de Ondas da Escola de Engenharia da EPFL, junto com seus colegas, delinearam em uma publicação da revista Science um algoritmo para treinar sistemas físicos. Este método mostra maior velocidade, melhor robustez e menor consumo de energia em comparação com as técnicas existentes.

Ali Momeni, autor principal e pesquisador da LWE, explica: “Aplicamos nosso algoritmo de treinamento em três sistemas físicos diferentes baseados em ondas que utilizam ondas sonoras, ondas de luz e microondas para transmissão de informações em vez de elétrons. Nossa metodologia adaptável é aplicável para treinar qualquer sistema físico.”

Um método “mais biologicamente plausível”

O treinamento de redes neurais envolve orientar sistemas para aprender valores de parâmetros ideais para tarefas como reconhecimento de imagem ou fala. Isso normalmente inclui uma passagem direta, onde os dados fluem pela rede e uma função de erro é calculada com base no resultado, e uma passagem reversa (também conhecida como retropropagação ou BP), onde o gradiente da função de erro relativo a todos os parâmetros da rede é calculado.

Através de ciclos repetidos, o sistema se autoajusta com base nesses cálculos para produzir valores mais precisos. No entanto, este processo não só exige energia, mas também é inadequado para sistemas físicos. O treinamento de sistemas físicos muitas vezes requer uma contrapartida digital para a etapa de BP, levando à ineficiência e a possíveis discrepâncias entre a realidade e a simulação.

Os cientistas propuseram substituir a etapa BP por outra passagem direta através do sistema físico para atualizações da camada de rede local. Isto reduz o consumo de energia e elimina a necessidade de um gêmeo digital, refletindo com mais precisão os processos de aprendizagem humana.

Momeni acrescenta: “Embora as redes neurais sejam inspiradas no cérebro, é improvável que o cérebro aprenda através da BP. Nosso conceito é treinar cada camada física localmente com nosso sistema real, em vez de construir uma versão digital. Nossa abordagem está, portanto, mais próxima da plausibilidade biológica.”

A equipe da EPFL, em colaboração com Philipp del Hougne do CNRS IETR e Babak Rahmani da Microsoft Research, empregou seu algoritmo físico de aprendizagem local (PhyLL) em sistemas acústicos e de micro-ondas experimentais, e um sistema óptico simulado, para tarefas de classificação de dados como sons de vogais e reconhecimento de imagem. Seu método, comparável em precisão ao treinamento baseado em BP, mostrou adaptabilidade e robustez, mesmo sob perturbações externas imprevisíveis, e superou os métodos existentes.

Prevendo um futuro analógico?

Embora o método do LWE seja o treinamento inicial independente de BP de redes neurais físicas profundas, algumas atualizações de parâmetros digitais ainda são necessárias. Momeni observa: “É uma técnica de treinamento híbrida, mas nosso objetivo é minimizar ao máximo a computação digital”.

Os pesquisadores pretendem agora aplicar seu algoritmo a um sistema óptico compacto, visando melhorar a escalabilidade da rede.

“Para nossos experimentos, usamos redes neurais com até 10 camadas. O desafio é ver se isso funciona com redes com 100 camadas e bilhões de parâmetros. A próxima fase envolve abordar as restrições técnicas dos sistemas físicos.”

Referência: “Treinamento sem retropropagação de redes neurais físicas profundas” por Ali Momeni, Babak Rahmani, Matthieu Malléjac, Philipp del Hougne e Romain Fleury, 23 de novembro de 2023, Science.
DOI: 10.1126/science.adi8474

Perguntas frequentes (FAQs) sobre redes neurais analógicas

Qual é o novo algoritmo desenvolvido pelos pesquisadores da EPFL?

Os pesquisadores da EPFL criaram um algoritmo inovador que treina redes neurais analógicas de forma eficiente, oferecendo uma alternativa de economia de energia às redes digitais tradicionais. Este método se alinha mais estreitamente com os processos de aprendizagem humana e é particularmente eficaz em sistemas físicos baseados em ondas.

Como o novo algoritmo EPFL impacta o meio ambiente?

O novo algoritmo desenvolvido pelos pesquisadores da EPFL visa reduzir o impacto ambiental das redes neurais profundas. Ao treinar redes neurais analógicas de forma mais eficiente, apresenta uma alternativa energeticamente eficiente às redes digitais, reduzindo assim potencialmente as emissões globais de carbono associadas a sistemas de IA em grande escala.

Quais são as vantagens do algoritmo EPFL sobre os métodos tradicionais?

O algoritmo EPFL para treinamento de redes neurais analógicas oferece diversas vantagens sobre os métodos tradicionais, incluindo maior velocidade, maior robustez e redução do consumo de energia. Também elimina a necessidade de um gêmeo digital, tornando o processo mais eficiente e reduzindo o risco de discrepâncias entre a realidade e a simulação.

O que a pesquisa sugere sobre o futuro treinamento de redes neurais?

A pesquisa da EPFL sugere uma mudança em direção a métodos biologicamente mais plausíveis de treinamento de redes neurais. O novo algoritmo treina cada camada física localmente, refletindo mais de perto o aprendizado humano natural e oferecendo uma abordagem mais sustentável e eficiente ao aprendizado profundo.

Quem colaborou nesta pesquisa e onde ela foi publicada?

A pesquisa foi um esforço colaborativo envolvendo cientistas da EPFL, incluindo Romain Fleury, Ali Momeni e parceiros como Philipp del Hougne do CNRS IETR e Babak Rahmani da Microsoft Research. As descobertas foram publicadas na revista Science.

Mais sobre redes neurais analógicas

você pode gostar

5 comentários

Sara_84 Dezembro 21, 2023 - 10:27 pm

Leitura interessante. Mas eu me pergunto quando veremos essas redes analógicas em ação? parece que ainda há muito a fazer.

Responder
Mike Johnson Dezembro 22, 2023 - 1:47 am

uau, isso é uma grande notícia! a eficiência energética na IA é tão crucial neste momento, fico feliz em ver que a EPFL está liderando o caminho.

Responder
Emily Verde Dezembro 22, 2023 - 10:46 am

Este artigo é um pouco difícil de seguir para um leigo? precisa de mais simplificação, especialmente ao explicar os aspectos técnicos.

Responder
TechGeek101 Dezembro 22, 2023 - 2:38 pm

devo dizer que estou impressionado com a colaboração entre a EPFL e a Microsoft Research. mostra como a academia e a indústria podem trabalhar juntas para a inovação

Responder
Raj Patel Dezembro 22, 2023 - 2:38 pm

hoje em dia, trata-se de reduzir a pegada de carbono, o que é bom para a EPFL por promover isso no setor de IA. Mas, é realmente escalável, essa é a questão…

Responder

Deixe um comentário

* Ao utilizar este formulário você concorda com o armazenamento e tratamento de seus dados por este site.

SciTechPost é um recurso da web dedicado a fornecer informações atualizadas sobre o mundo acelerado da ciência e da tecnologia. Nossa missão é tornar a ciência e a tecnologia acessíveis a todos por meio de nossa plataforma, reunindo especialistas, inovadores e acadêmicos para compartilhar seus conhecimentos e experiências.

Se inscrever

Assine meu boletim informativo para novas postagens no blog, dicas e novas fotos. Vamos nos manter atualizados!

© 2023 SciTechPost

pt_PTPortuguês