Новаторские инновации в области глубокого обучения: новый алгоритм EPFL для энергосберегающих нейронных сетей

к Мануэль Коста
5 Комментарии
Analog Neural Networks

Исследователи из EPFL создали новый алгоритм, который обучает аналоговые нейронные сети с той же точностью, что и цифровые, представляя энергосберегающую альтернативу традиционным системам глубокого обучения. Этот подход больше соответствует естественным процессам обучения человека и демонстрирует обнадеживающие результаты в физических системах, использующих волновые явления с целью минимизировать воздействие глубоких нейронных сетей на окружающую среду. (Концептуальное изображение DALL-E 3, созданное искусственным интеллектом, показывающее световые волны, взаимодействующие с физической системой.) Фото: © LWE/EPFL

Команда EPFL представила алгоритм, предназначенный для обучения аналоговых нейронных сетей, обеспечивающий более энергоэффективный вариант по сравнению с энергоемким оборудованием, используемым в глубоком обучении.

Глубокие нейронные сети, такие как Chat-GPT, которые обрабатывают обширные данные посредством алгоритмического обучения вместо традиционного программирования, похоже, обладают безграничным потенциалом. Однако по мере расширения масштабов и влияния этих систем их размер, сложность и энергопотребление также возросли, что вызывает обеспокоенность по поводу их вклада в глобальные выбросы углерода.

Вопреки общей тенденции перехода от аналогового к цифровому технологическому прогрессу, исследователи сейчас изучают физические альтернативы цифровым глубоким нейронным сетям для решения этих проблем. Ромен Флери из Лаборатории волновой инженерии Инженерной школы EPFL вместе со своими коллегами изложил в публикации журнала Science алгоритм обучения физических систем. Этот метод демонстрирует улучшенную скорость, лучшую надежность и более низкое энергопотребление по сравнению с существующими методами.

Али Момени, ведущий автор и исследователь LWE, объясняет: «Мы применили наш алгоритм обучения к трем различным волновым физическим системам, которые используют для передачи информации звуковые волны, световые волны и микроволны вместо электронов. Наша адаптируемая методология применима для обучения любой физической системы».

«Более биологически правдоподобный» метод

Обучение нейронных сетей включает в себя руководство системами для изучения оптимальных значений параметров для таких задач, как распознавание изображений или речи. Обычно это включает в себя прямой проход, при котором данные проходят через сеть, и на основе результата рассчитывается функция ошибок, и обратный проход (также известный как обратное распространение ошибки или BP), при котором вычисляется градиент функции ошибок относительно всех параметров сети.

Посредством повторяющихся циклов система самонастраивается на основе этих расчетов, чтобы получить более точные значения. Однако этот процесс не только энергозатратен, но и малопригоден для физических систем. Обучение физических систем часто требует цифрового аналога для этапа BP, что приводит к неэффективности и потенциальным несоответствиям между реальностью и симуляцией.

Ученые предложили заменить этап BP еще одним прямым проходом через физическую систему для обновлений локального сетевого уровня. Это снижает энергопотребление и устраняет необходимость в цифровом двойнике, более точно отражая процессы обучения человека.

Момени добавляет: «Хотя нейронные сети созданы по принципу мозга, маловероятно, что мозг учится с помощью BP. Наша концепция состоит в том, чтобы обучать каждый физический уровень локально с помощью нашей реальной системы, а не создавать цифровую версию. Таким образом, наш подход ближе к биологическому правдоподобию».

Команда EPFL в сотрудничестве с Филиппом дель Уном из CNRS IETR и Бабаком Рахмани из Microsoft Research применила свой физический алгоритм локального обучения (PhyLL) на экспериментальных акустических и микроволновых системах, а также смоделированную оптическую систему для задач классификации данных, таких как гласные звуки и распознавание изображений. Их метод, сравнимый по точности с обучением на основе АД, показал адаптивность и надежность даже в условиях непредсказуемых внешних воздействий и превзошел существующие методы.

Представляете аналоговое будущее?

Хотя метод LWE представляет собой начальное независимое от BP обучение глубоких физических нейронных сетей, некоторые обновления цифровых параметров все же необходимы. Момени отмечает: «Это гибридная методика обучения, но наша цель — максимально минимизировать цифровые вычисления».

Сейчас исследователи стремятся применить свой алгоритм к компактной оптической системе, стремясь повысить масштабируемость сети.

«Для наших экспериментов мы использовали нейронные сети, имеющие до 10 слоев. Задача состоит в том, чтобы увидеть, работает ли это с сетями, имеющими 100 слоев с миллиардами параметров. Следующий этап предполагает устранение технических ограничений физических систем».

Ссылка: «Обучение глубоких физических нейронных сетей без обратного распространения ошибки», Али Момени, Бабак Рахмани, Матье Маллежак, Филипп дель Унь и Ромен Флери, 23 ноября 2023 г., Science.
DOI: 10.1126/science.adi8474.

Часто задаваемые вопросы (FAQ) об аналоговых нейронных сетях

Что представляет собой новый алгоритм, разработанный исследователями EPFL?

Исследователи EPFL создали революционный алгоритм, который эффективно обучает аналоговые нейронные сети, предлагая энергосберегающую альтернативу традиционным цифровым сетям. Этот метод более тесно связан с процессами обучения человека и особенно эффективен в физических системах, основанных на волнах.

Как новый алгоритм EPFL влияет на окружающую среду?

Новый алгоритм, разработанный исследователями EPFL, направлен на снижение воздействия глубоких нейронных сетей на окружающую среду. Более эффективно обучая аналоговые нейронные сети, они представляют собой энергоэффективную альтернативу цифровым сетям, тем самым потенциально снижая глобальные выбросы углерода, связанные с крупномасштабными системами искусственного интеллекта.

Каковы преимущества алгоритма EPFL перед традиционными методами?

Алгоритм EPFL для обучения аналоговых нейронных сетей предлагает несколько преимуществ по сравнению с традиционными методами, включая повышенную скорость, повышенную надежность и снижение энергопотребления. Это также устраняет необходимость в цифровом двойнике, делая процесс более эффективным и снижая риск расхождений между реальностью и симуляцией.

Что исследование говорит о будущем обучении нейронных сетей?

Исследование EPFL предполагает переход к более биологически правдоподобным методам обучения нейронных сетей. Новый алгоритм обучает каждый физический уровень локально, более точно отражая естественное человеческое обучение и предлагая более устойчивый и эффективный подход к глубокому обучению.

Кто участвовал в этом исследовании и где оно было опубликовано?

В исследовании приняли участие ученые из EPFL, в том числе Ромен Флёри, Али Момени, а также такие партнеры, как Филипп дель Унь из CNRS IETR и Бабак Рахмани из Microsoft Research. Результаты были опубликованы в журнале Science.

Подробнее об аналоговых нейронных сетях

Вам также может понравиться

5 Комментарии

Сара_84 1ТП2Т - 1ТП3Т

Интересное чтение. Но мне интересно, как скоро мы увидим эти аналоговые сети в действии? кажется, еще многое предстоит сделать.

Отвечать
Майк Джонсон 1ТП2Т - 1ТП3Т

вау, это большая новость! Энергоэффективность в сфере искусственного интеллекта сейчас очень важна, и я рад видеть, что EPFL лидирует.

Отвечать
Эмили Грин 1ТП2Т - 1ТП3Т

Эту статью сложно понять непрофессионалу? требует большего упрощения, особенно при объяснении технических аспектов.

Отвечать
TechGeek101 1ТП2Т - 1ТП3Т

Должен сказать, меня впечатлило сотрудничество между EPFL и Microsoft Research. показывает, как научные круги и промышленность могут работать вместе ради инноваций

Отвечать
Радж Патель 1ТП2Т - 1ТП3Т

В наши дни все дело в сокращении выбросов углекислого газа, и это хорошо для EPFL за то, что она продвигает это в секторе искусственного интеллекта. Но действительно ли это масштабируемо, вот в чем вопрос...

Отвечать

Оставить комментарий

* Используя эту форму, вы соглашаетесь с хранением и обработкой ваших данных на этом сайте.

1ТП1Т — веб-ресурс, посвященный предоставлению актуальной информации о быстро меняющемся мире науки и технологий. Наша миссия — сделать науку и технологии доступными для всех через нашу платформу, объединяя экспертов, новаторов и ученых, чтобы поделиться своими знаниями и опытом.

Подписаться

Подпишитесь на мою рассылку, чтобы получать новые сообщения в блоге, советы и новые фотографии. Давайте оставаться в курсе!

© 2023 1ТП1Т

ru_RUРусский