Нейронные сети хотят приблизить к энергоэффективности биологического мозга
Чем больше лотерейных билетов вы покупаете, тем выше ваши шансы на победу, но тратить больше, чем выигрываете, очевидно, не самая мудрая стратегия. Нечто похожее происходит в ИИ, работающем на глубоком обучении: мы знаем, что чем больше нейронная сеть (т. е. чем больше у нее параметров), тем лучше она может изучить задачу, которую мы ей ставим. Однако стратегия создания бесконечно большого объема во время обучения не только невозможна, но и крайне неэффективна. Ученые пытались имитировать способ обучения биологического мозга, который является очень ресурсоэффективным, предоставляя машинам постепенный процесс обучения, который начинается с более простых примеров и переходит к более сложным — модель, известная как « обучение по программе ». Однако, как ни странно, они обнаружили, что эта, казалось бы, разумная стратегия неактуальна для сверхпараметризованных (очень больших) сетей. Исследование , опубликованное в журнале Journal of Statistical Mechanics: Theory and Experiment, было направлено на то, чтобы понять, почему происходит этот «сбой», и предположить, что эти сверхпараметризованные сети настолько «богаты», что они склонны обучаться, следуя пути, основанному больше на количестве (ресурсов), чем на качестве (входные данные, организованные по возрастающей сложности). На самом деле это может быть хорошей новостью, поскольку это говорит о том, что при тщательной корректировке начального размера сети обучение по учебной программе может оставаться жизнеспособной стратегией, пот...
Зарплаты тюменских участковых планируют приблизить к средним по области В Тюменской области планируют повысить зарплаты участковым за счет регионального бюджета, чтобы решить проблему нехватки кадров. Предложение было одо ...
OpenAI покупает Sky, чтобы приблизить идею «умного компьютера» к реальности OpenAI объявила о покупке Software Applications, Inc., разработчика перспективного AI-интерфейса Sky для компьютеров Mac. The post OpenAI покупает Sk ...
Зачем Орбан приезжал в Москву — и может ли это приблизить окончание конфликта Специальная военная операция продолжается: главное с 29 июня по 5 июля. Россия видит, что в Киеве не готовы отказаться от ведения войны до победного ...
Следующий флагманский чип Huawei может приблизить Kirin к уровню Apple и Qualcomm В прошлом году iPhone 15 Pro и iPhone 15 Pro Max стали первыми смартфонами с процессором, изготовленным по 3-нм техпроцессу. До появления Snapdragon ...