Innovaciones pioneras en aprendizaje profundo: el novedoso algoritmo de EPFL para redes neuronales de ahorro de energía

por manuel costa
5 comentarios
Analog Neural Networks

Investigadores de la EPFL han creado un algoritmo novedoso que entrena redes neuronales analógicas con la misma precisión que las digitales, presentando una alternativa de ahorro de energía a los sistemas convencionales de aprendizaje profundo. Este enfoque está más alineado con los procesos naturales de aprendizaje humano y demuestra resultados alentadores en sistemas físicos que utilizan fenómenos basados en ondas, con el objetivo de minimizar la huella ambiental de las redes neuronales profundas. (Imagen conceptual DALL-E 3 generada por IA que muestra ondas de luz interactuando con un sistema físico). Crédito: © LWE/EPFL

El equipo de EPFL ha introducido un algoritmo diseñado para entrenar redes neuronales analógicas, proporcionando una opción con mayor eficiencia energética en comparación con el hardware que consume mucha energía y que se utiliza en el aprendizaje profundo.

Las redes neuronales profundas como Chat-GPT, que procesan una gran cantidad de datos mediante el aprendizaje algorítmico en lugar de la programación tradicional, parecen tener un potencial ilimitado. Sin embargo, a medida que estos sistemas amplían su alcance e influencia, su tamaño, complejidad y consumo de energía también han aumentado, lo que genera preocupación sobre su contribución a las emisiones globales de carbono.

Contrariamente a la tendencia común de hacer la transición de lo analógico a lo digital en los avances tecnológicos, los investigadores ahora están explorando alternativas físicas a las redes neuronales profundas digitales para abordar estos problemas. Romain Fleury del Laboratorio de Ingeniería de Ondas de la Escuela de Ingeniería de la EPFL, junto con sus colegas, describieron en una publicación de la revista Science un algoritmo para entrenar sistemas físicos. Este método muestra una velocidad mejorada, una mayor robustez y un menor uso de energía en comparación con las técnicas existentes.

Ali Momeni, autor principal e investigador de LWE, explica: “Aplicamos nuestro algoritmo de entrenamiento en tres sistemas físicos diferentes basados en ondas que utilizan ondas sonoras, ondas de luz y microondas para la transmisión de información en lugar de electrones. Nuestra metodología adaptable es aplicable para entrenar cualquier sistema físico”.

Un método “más biológicamente plausible”

El entrenamiento de redes neuronales implica guiar sistemas para aprender valores de parámetros óptimos para tareas como el reconocimiento de imágenes o voz. Esto generalmente incluye un paso hacia adelante, donde los datos fluyen a través de la red y se calcula una función de error en función del resultado, y un paso hacia atrás (también conocido como retropropagación o BP), donde se calcula el gradiente de la función de error relativo a todos los parámetros de la red.

A través de ciclos repetidos, el sistema se autoajusta basándose en estos cálculos para producir valores más precisos. Sin embargo, este proceso no sólo requiere mucha energía, sino que tampoco es adecuado para sistemas físicos. El entrenamiento de sistemas físicos a menudo requiere una contraparte digital para el paso BP, lo que genera ineficiencia y posibles discrepancias entre la realidad y la simulación.

Los científicos propusieron reemplazar el paso BP con otro paso directo a través del sistema físico para actualizaciones de la capa de red local. Esto reduce el consumo de energía y elimina la necesidad de un gemelo digital, reflejando con mayor precisión los procesos de aprendizaje humano.

Momeni añade: “Aunque las redes neuronales están inspiradas en el cerebro, es improbable que el cerebro aprenda a través de la PA. Nuestro concepto es entrenar cada capa física localmente con nuestro sistema real en lugar de construir una versión digital. Por tanto, nuestro enfoque se acerca más a la plausibilidad biológica”.

El equipo de EPFL, en colaboración con Philipp del Hougne del CNRS IETR y Babak Rahmani de Microsoft Research, empleó su algoritmo de aprendizaje físico local (PhyLL) en sistemas experimentales acústicos y de microondas, y un sistema óptico simulado, para tareas de clasificación de datos como sonidos vocales y reconocimiento de imagen. Su método, comparable en precisión al entrenamiento basado en BP, mostró adaptabilidad y solidez, incluso bajo perturbaciones externas impredecibles, y superó a los métodos existentes.

¿Imaginando un futuro analógico?

Aunque el método de LWE es el entrenamiento inicial independiente de BP de redes neuronales físicas profundas, todavía se necesitan algunas actualizaciones de parámetros digitales. Momeni señala: "Es una técnica de entrenamiento híbrida, pero nuestro objetivo es minimizar la computación digital tanto como sea posible".

Los investigadores ahora pretenden aplicar su algoritmo a un sistema óptico compacto, aspirando a mejorar la escalabilidad de la red.

“Para nuestros experimentos utilizamos redes neuronales de hasta 10 capas. El desafío es ver si esto funciona con redes que tienen 100 capas con miles de millones de parámetros. La siguiente fase implica abordar las limitaciones técnicas de los sistemas físicos”.

Referencia: “Entrenamiento sin retropropagación de redes neuronales físicas profundas” por Ali Momeni, Babak Rahmani, Matthieu Malléjac, Philipp del Hougne y Romain Fleury, 23 de noviembre de 2023, Science.
DOI: 10.1126/ciencia.adi8474

Preguntas frecuentes (FAQ) sobre redes neuronales analógicas

¿Cuál es el nuevo algoritmo desarrollado por los investigadores de la EPFL?

Los investigadores de la EPFL han creado un algoritmo innovador que entrena redes neuronales analógicas de manera eficiente, ofreciendo una alternativa de ahorro de energía a las redes digitales tradicionales. Este método se alinea más estrechamente con los procesos de aprendizaje humano y es particularmente efectivo en sistemas físicos basados en ondas.

¿Cómo impacta el nuevo algoritmo EPFL en el medio ambiente?

El nuevo algoritmo desarrollado por investigadores de la EPFL tiene como objetivo reducir el impacto ambiental de las redes neuronales profundas. Al entrenar redes neuronales analógicas de manera más eficiente, presenta una alternativa energéticamente eficiente a las redes digitales, lo que potencialmente reduce las emisiones globales de carbono asociadas con los sistemas de inteligencia artificial a gran escala.

¿Cuáles son las ventajas del algoritmo EPFL sobre los métodos tradicionales?

El algoritmo EPFL para entrenar redes neuronales analógicas ofrece varias ventajas sobre los métodos tradicionales, incluida una velocidad mejorada, una mayor robustez y un menor consumo de energía. También elimina la necesidad de un gemelo digital, haciendo el proceso más eficiente y reduciendo el riesgo de discrepancias entre la realidad y la simulación.

¿Qué sugiere la investigación sobre el futuro entrenamiento de redes neuronales?

La investigación de la EPFL sugiere un cambio hacia métodos biológicamente más plausibles de entrenamiento de redes neuronales. El nuevo algoritmo entrena cada capa física localmente, reflejando más fielmente el aprendizaje humano natural y ofreciendo un enfoque más sostenible y eficiente para el aprendizaje profundo.

¿Quién colaboró en esta investigación y dónde se publicó?

La investigación fue un esfuerzo de colaboración en el que participaron científicos de la EPFL, incluidos Romain Fleury, Ali Momeni y socios como Philipp del Hougne del CNRS IETR y Babak Rahmani de Microsoft Research. Los hallazgos fueron publicados en la revista Science.

Más sobre redes neuronales analógicas

También te puede interesar

5 comentarios

sarah_84 diciembre 21, 2023 - 10:27 pm

LecturA INTERESANTE. Pero me pregunto cuándo veremos realmente estas redes analógicas en acción. Parece que todavía hay mucho por hacer.

Responder
Mike Johnson diciembre 22, 2023 - 1:47 am

¡Guau, esta es una gran noticia! La eficiencia energética en la IA es tan crucial en este momento que me alegra ver que EPFL está liderando el camino.

Responder
emily verde diciembre 22, 2023 - 10:46 am

¿Este artículo es un poco difícil de seguir para un profano? Necesita más simplificación, especialmente al explicar los aspectos técnicos.

Responder
TechGeek101 diciembre 22, 2023 - 2:38 pm

Debo decir que estoy impresionado con la colaboración entre EPFL y Microsoft Research. muestra cómo la academia y la industria pueden trabajar juntas para la innovación

Responder
Raj Patel diciembre 22, 2023 - 2:38 pm

Hoy en día todo se trata de reducir la huella de carbono, lo cual es bueno para la EPFL por impulsar esto en el sector de la IA. Pero, ¿es realmente escalable? Esa es la pregunta...

Responder

Deja un comentario

* Al utilizar este formulario usted acepta el almacenamiento y manejo de sus datos por parte de este sitio web.

SciTechPost es un recurso web dedicado a proporcionar información actualizada sobre el acelerado mundo de la ciencia y la tecnología. Nuestra misión es hacer que la ciencia y la tecnología sean accesibles para todos a través de nuestra plataforma, reuniendo a expertos, innovadores y académicos para compartir sus conocimientos y experiencias.

Suscribir

Suscríbete a mi boletín para recibir nuevas publicaciones de blog, consejos y nuevas fotos. ¡Mantengámonos actualizados!

© 2023 SciTechPost

es_ESEspañol