Innovations pionnières en matière de Deep Learning : le nouvel algorithme de l'EPFL pour les réseaux neuronaux à économie d'énergie

par Manuel Costa
5 commentaires
Analog Neural Networks

Des chercheurs de l'EPFL ont créé un nouvel algorithme qui entraîne les réseaux neuronaux analogiques avec la même précision que les réseaux numériques, présentant ainsi une alternative économe en énergie aux systèmes d'apprentissage profond conventionnels. Cette approche est davantage alignée sur les processus naturels d’apprentissage humain et démontre des résultats encourageants dans les systèmes physiques utilisant des phénomènes basés sur les ondes, visant à minimiser l’empreinte environnementale des réseaux neuronaux profonds. (Image conceptuelle DALL-E 3 générée par l'IA montrant des ondes lumineuses interagissant avec un système physique.) Crédit : © LWE/EPFL

L’équipe de l’EPFL a introduit un algorithme conçu pour entraîner les réseaux neuronaux analogiques, offrant une option plus économe en énergie par rapport au matériel énergivore utilisé dans l’apprentissage profond.

Les réseaux neuronaux profonds comme Chat-GPT, qui traitent de nombreuses données via un apprentissage algorithmique au lieu d’une programmation traditionnelle, semblent avoir un potentiel illimité. Cependant, à mesure que la portée et l’influence de ces systèmes augmentent, leur taille, leur complexité et leur consommation d’énergie ont également augmenté, suscitant des inquiétudes quant à leur contribution aux émissions mondiales de carbone.

Contrairement à la tendance courante de transition de l’analogique au numérique dans les avancées technologiques, les chercheurs explorent désormais des alternatives physiques aux réseaux neuronaux profonds numériques pour résoudre ces problèmes. Romain Fleury du Laboratoire d'ingénierie des vagues de la Faculté d'ingénierie de l'EPFL, avec ses collègues, a présenté dans une publication dans la revue Science un algorithme pour entraîner des systèmes physiques. Cette méthode montre une vitesse améliorée, une meilleure robustesse et une consommation d’énergie inférieure par rapport aux techniques existantes.

Ali Momeni, auteur principal et chercheur au LWE, explique : « Nous avons appliqué notre algorithme de formation sur trois systèmes physiques différents basés sur les ondes qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour la transmission d'informations au lieu d'électrons. Notre méthodologie adaptable est applicable à l’entraînement de n’importe quel système physique.

Une méthode « plus biologiquement plausible »

La formation des réseaux de neurones implique de guider les systèmes pour apprendre les valeurs optimales des paramètres pour des tâches telles que la reconnaissance d'images ou de parole. Cela inclut généralement un passage vers l'avant, où les données circulent à travers le réseau et une fonction d'erreur est calculée en fonction du résultat, et un passage vers l'arrière (également connu sous le nom de rétropropagation ou BP), où le gradient de la fonction d'erreur par rapport à tous les paramètres du réseau est calculé.

Grâce à des cycles répétés, le système s'ajuste automatiquement en fonction de ces calculs pour produire des valeurs plus précises. Cependant, ce processus est non seulement gourmand en énergie, mais également mal adapté aux systèmes physiques. La formation des systèmes physiques nécessite souvent une contrepartie numérique pour l'étape BP, ce qui entraîne une inefficacité et des écarts potentiels entre la réalité et la simulation.

Les scientifiques ont proposé de remplacer l'étape BP par un autre passage à travers le système physique pour les mises à jour de la couche réseau locale. Cela réduit la consommation d’énergie et élimine le besoin d’un jumeau numérique, reflétant plus précisément les processus d’apprentissage humain.

Momeni ajoute : « Bien que les réseaux neuronaux soient inspirés par le cerveau, il est improbable que le cerveau apprenne grâce à la BP. Notre concept est de former chaque couche physique localement avec notre système actuel au lieu de construire une version numérique. Notre approche est ainsi plus proche de la plausibilité biologique.

L'équipe de l'EPFL, en collaboration avec Philipp del Hougne du CNRS IETR et Babak Rahmani de Microsoft Research, a utilisé son algorithme d'apprentissage physique local (PhyLL) sur des systèmes expérimentaux acoustiques et micro-ondes, ainsi qu'un système optique simulé, pour des tâches de classification de données telles que les voyelles et les sons. reconnaissance d'images. Leur méthode, comparable en précision à la formation basée sur la pression artérielle, a fait preuve d'adaptabilité et de robustesse, même en cas de perturbations externes imprévisibles, et a surpassé les méthodes existantes.

Vous envisagez un avenir analogique ?

Bien que la méthode LWE constitue la formation initiale de réseaux neuronaux physiques profonds, indépendante de la BP, certaines mises à jour des paramètres numériques sont encore nécessaires. Momeni note : « Il s'agit d'une technique de formation hybride, mais notre objectif est de minimiser autant que possible le calcul numérique. »

Les chercheurs visent désormais à appliquer leur algorithme à un système optique compact, dans le but d’améliorer l’évolutivité du réseau.

« Pour nos expériences, nous avons utilisé des réseaux de neurones comportant jusqu'à 10 couches. Le défi est de voir si cela fonctionne avec des réseaux comportant 100 couches avec des milliards de paramètres. La prochaine phase consiste à répondre aux contraintes techniques des systèmes physiques.

Référence : « Entraînement sans rétropropagation des réseaux de neurones physiques profonds » par Ali Momeni, Babak Rahmani, Matthieu Malléjac, Philipp del Hougne et Romain Fleury, 23 novembre 2023, Science.
DOI : 10.1126/science.adi8474

Foire aux questions (FAQ) sur les réseaux de neurones analogiques

Quel est le nouvel algorithme développé par des chercheurs de l'EPFL ?

Des chercheurs de l'EPFL ont créé un algorithme révolutionnaire qui entraîne efficacement les réseaux neuronaux analogiques, offrant ainsi une alternative économe en énergie aux réseaux numériques traditionnels. Cette méthode s'aligne plus étroitement sur les processus d'apprentissage humain et est particulièrement efficace dans les systèmes physiques basés sur les ondes.

Quel est l’impact du nouvel algorithme de l’EPFL sur l’environnement ?

Le nouvel algorithme développé par des chercheurs de l'EPFL vise à réduire l'impact environnemental des réseaux de neurones profonds. En formant plus efficacement les réseaux de neurones analogiques, il présente une alternative économe en énergie aux réseaux numériques, réduisant ainsi potentiellement les émissions mondiales de carbone associées aux systèmes d'IA à grande échelle.

Quels sont les avantages de l’algorithme de l’EPFL par rapport aux méthodes traditionnelles ?

L'algorithme de l'EPFL pour la formation des réseaux neuronaux analogiques offre plusieurs avantages par rapport aux méthodes traditionnelles, notamment une vitesse améliorée, une robustesse accrue et une consommation d'énergie réduite. Cela élimine également le besoin d’un jumeau numérique, rendant le processus plus efficace et réduisant le risque d’écarts entre la réalité et la simulation.

Que suggère la recherche sur la future formation aux réseaux neuronaux ?

Les recherches de l'EPFL suggèrent une évolution vers des méthodes d'entraînement des réseaux neuronaux plus biologiquement plausibles. Le nouvel algorithme entraîne chaque couche physique localement, reflétant plus fidèlement l’apprentissage humain naturel et offrant une approche plus durable et plus efficace de l’apprentissage en profondeur.

Qui a collaboré à cette recherche et où a-t-elle été publiée ?

La recherche est le fruit d'un effort collaboratif impliquant des scientifiques de l'EPFL, dont Romain Fleury, Ali Momeni, et des partenaires comme Philipp del Hougne du CNRS IETR et Babak Rahmani de Microsoft Research. Les résultats ont été publiés dans la revue Science.

En savoir plus sur les réseaux de neurones analogiques

Tu pourrais aussi aimer

5 commentaires

Sarah_84 décembre 21, 2023 - 10:27 pm

Lecture intéressante. Mais je me demande dans combien de temps verrons-nous réellement ces réseaux analogiques en action ? on dirait qu'il y a encore beaucoup à faire.

Répondre
Mike Johnson décembre 22, 2023 - 1:47 am

wow c'est une grande nouvelle ! L’efficacité énergétique dans l’IA est cruciale à l’heure actuelle, et nous sommes heureux de voir que l’EPFL montre la voie.

Répondre
Émilie Vert décembre 22, 2023 - 10:46 am

Cet article est un peu difficile à suivre pour un profane ? nécessite davantage de simplification, notamment lorsqu’il s’agit d’expliquer les aspects techniques.

Répondre
TechGeek101 décembre 22, 2023 - 2:38 pm

je dois dire que je suis impressionné par la collaboration entre l'EPFL et Microsoft Research. montre comment le monde universitaire et l'industrie peuvent travailler ensemble pour l'innovation

Répondre
Raj Patel décembre 22, 2023 - 2:38 pm

De nos jours, tout est question de réduire l’empreinte carbone, c’est bien à l’EPFL d’avoir poussé cela dans le secteur de l’IA. Mais est-ce vraiment évolutif, telle est la question…

Répondre

Laissez un commentaire

* En utilisant ce formulaire, vous acceptez le stockage et le traitement de vos données par ce site Web.

SciTechPost est une ressource Web dédiée à fournir des informations à jour sur le monde en évolution rapide de la science et de la technologie. Notre mission est de rendre la science et la technologie accessibles à tous via notre plateforme, en réunissant des experts, des innovateurs et des universitaires pour partager leurs connaissances et leur expérience.

S'abonner

Abonnez-vous à ma newsletter pour de nouveaux articles de blog, des conseils et de nouvelles photos. Restons informés !

© 2023 SciTechPost

fr_FRFrançais