Нейронные сети хотят приблизить к энергоэффективности биологического мозга

Нейронные сети хотят приблизить к энергоэффективности биологического мозга

Чем больше лотерейных билетов вы покупаете, тем выше ваши шансы на победу, но тратить больше, чем выигрываете, очевидно, не самая мудрая стратегия. Нечто похожее происходит в ИИ, работающем на глубоком обучении: мы знаем, что чем больше нейронная сеть (т. е. чем больше у нее параметров), тем лучше она может изучить задачу, которую мы ей ставим. Однако стратегия создания бесконечно большого объема во время обучения не только невозможна, но и крайне неэффективна. Ученые пытались имитировать способ обучения биологического мозга, который является очень ресурсоэффективным, предоставляя машинам постепенный процесс обучения, который начинается с более простых примеров и переходит к более сложным — модель, известная как « обучение по программе ». Однако, как ни странно, они обнаружили, что эта, казалось бы, разумная стратегия неактуальна для сверхпараметризованных (очень больших) сетей. Исследование , опубликованное в журнале Journal of Statistical Mechanics: Theory and Experiment, было направлено на то, чтобы понять, почему происходит этот «сбой», и предположить, что эти сверхпараметризованные сети настолько «богаты», что они склонны обучаться, следуя пути, основанному больше на количестве (ресурсов), чем на качестве (входные данные, организованные по возрастающей сложности). На самом деле это может быть хорошей новостью, поскольку это говорит о том, что при тщательной корректировке начального размера сети обучение по учебной программе может оставаться жизнеспособной стратегией, пот...
22.11.2024 - 00:19
Источник: android-robot.com  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Взыскать 650 млн рублей хотят с владельцев сети магазинов Синторг в ВоронежеВзыскать 650 млн рублей хотят с владельцев сети магазинов «Синторг» в Воронеже Фото pixbay. В рамках банкротства подконтрольного им местного ООО «Айсберг-В» владельцев воронежской сети магазинов «Синторг» хотят прилечь к субсиди ...

За буллинг в школе и Сети хотят штрафовать на сумму до 500 тыс. рублей. Что нужно знатьЗа буллинг в школе и Сети хотят штрафовать на сумму до 500 тыс. рублей. Что нужно знать Депутаты ЛДПР во главе с Леонидом Слуцким внесли в Госдуму законопроект, который предлагает ввести административную ответственность за травлю — как о ...

В России решили навести порядок с отключениями мобильной сети. Для этого хотят завести единое окноВ России решили навести порядок с отключениями мобильной сети. Для этого хотят завести «единое окно» Шатдауны интернет-связи в июне-июле охватили свыше 70 субъектов России. В некоторых районах мобильных данных нет неделями, а власти и сотовые операто ...

Разработан интерфейс мозг-машина, который обрабатывает нейронные сигналы в реальном времениРазработан интерфейс «мозг-машина», который обрабатывает нейронные сигналы в реальном времени Исследователи из EPFL разработали миниатюрный интерфейс «мозг-машина» нового поколения, способный осуществлять прямую коммуникацию мозга с текстом на ...

Шкуры, головы, копыта и стройматериалы: свалку биологического и бытового мусора устроили в районе п. Николаевка ЕАОШкуры, головы, копыта и стройматериалы: свалку биологического и бытового мусора устроили в районе п. Николаевка ЕАО Долгое время администрация Николаевского городского поселения не убирала появившуюся на площади более 100 квадратных метров свалку. Природоохранный п ...

AMD и Sony рассказали о технологиях будущих видеокарт и консолей PlayStation: нейронные массивы, ядра Radiance и сжатие данныхAMD и Sony рассказали о технологиях будущих видеокарт и консолей PlayStation: нейронные массивы, ядра Radiance и сжатие данных Партнёрство Sony и AMD в рамках проекта Amethyst продолжается уже почти год. Сегодня ведущий архитектор PS5 и PS5 Pro Марк Черни (Mark Cerny) и старш ...

Зарплаты тюменских участковых планируют приблизить к средним по областиЗарплаты тюменских участковых планируют приблизить к средним по области В Тюменской области планируют повысить зарплаты участковым за счет регионального бюджета, чтобы решить проблему нехватки кадров. Предложение было одо ...

OpenAI покупает Sky, чтобы приблизить идею умного компьютера к реальностиOpenAI покупает Sky, чтобы приблизить идею «умного компьютера» к реальности OpenAI объявила о покупке Software Applications, Inc., разработчика перспективного AI-интерфейса Sky для компьютеров Mac. The post OpenAI покупает Sk ...

Зачем Орбан приезжал в Москву  и может ли это приблизить окончание конфликтаЗачем Орбан приезжал в Москву — и может ли это приблизить окончание конфликта Специальная военная операция продолжается: главное с 29 июня по 5 июля. Россия видит, что в Киеве не готовы отказаться от ведения войны до победного ...

Следующий флагманский чип Huawei может приблизить Kirin к уровню Apple и QualcommСледующий флагманский чип Huawei может приблизить Kirin к уровню Apple и Qualcomm В прошлом году iPhone 15 Pro и iPhone 15 Pro Max стали первыми смартфонами с процессором, изготовленным по 3-нм техпроцессу. До появления Snapdragon ...

Европе нужен мир: смогут ли визиты Орбана в Москву и Киев приблизить переговоры«Европе нужен мир»: смогут ли визиты Орбана в Москву и Киев приблизить переговоры «Европе нужен мир» — ключевая фраза недели. Ее произнес Виктор Орбан в Москве во время неанонсироваванного и, по-видимому, не запла ...

Площадки Биологического музея имени К.А. Тимирязева и Дарвиновского музея открылись на ВДНХПлощадки Биологического музея имени К.А. Тимирязева и Дарвиновского музея открылись на ВДНХ В павильоне «Пчеловодство» гостям расскажут о жизни пчел, а в павильоне «Цветоводство и озеленение» можно осмотреть выставки плакатов, картин и иллюс ...