Одна эта микросхема размером с iPad быстрее второго по мощности суперкомпьютера в мире. Cerebras похвасталась мощью WSE-3
Исполинские микросхемы Cerebras WSE-3 размером с iPad способны запускать самую быструю на сегодня нейросеть на скорости на порядок выше, чем лучшие облачные серверы на основе GPU. фото: Cerebras Как рассказала компания Cerebras, она запустила клиентскую рабочую нагрузку на новой модели Llama 3.1 405B со скоростью 969 токенов/с, и это новый рекорд для модели Frontier. Llama 3.1 405B на Cerebras — самая быстрая модель Frontier в мире — в 12 раз быстрее, чем GPT-4o, и в 18 раз быстрее, чем Claude 3.5 Sonnet. фото: Cerebras Модель была запущена на облачном сервисе Cerebras Inference, который использует те самые гигантские микросхемы WSE-3. Cerebras всегда заявляла, что её сервис Inference является самым быстрым в генерации токенов больших языковых моделей. Когда он был впервые запущен в августе, было заявлено, что Cerebras Inference примерно в 20 раз быстрее, чем графические процессоры Nvidia, работающие через облачных провайдеров, таких как Amazon Web Services, если оценивать на моделях Llama 3.1 8B и Llama 3.1 70B. Теперь же мы имеем результат на гигантской модели Llama 3.1 405B с 405 млрд параметров. фото: Cerebras фото: Cerebras фото: Cerebras Чтобы проиллюстрировать, насколько это быстро, Cerebras поручила своему сервису создать шахматную программу на языке Python. Cerebras Inference справился примерно за 3 секунды, а Fireworks — самый быстрый облачный сервис ИИ, оснащенный графическими процессор...
Одна из крупнейших в мире технологических компаний отказывается от планов в ЕС Компания Intel объявила о новых мерах в рамках своего плана восстановления и сокращения расходов. Корпорация отказывается от планов производства чипо ...
Глава «Роснефти»: В мире осталась одна промышленная сверхдержава В мире осталась одна промышленная сверхдержава. Об этом заявил на церемонии открытия VII Российско-китайского энергетического бизнес-форума главный и ...
Кто на самом деле быстрее гепарда: рекорды скорости в мире животных Самое быстрое животное — гепард, — скажете вы, и будете одновременно правы и не правы. Скорость в мире животных — вопрос выживания. Одни убегают от х ...
Флик: «Челси» — одна из лучших команд в мире. Это хороший тест для «Барселоны» Главный тренер «Барселоны» Ханс-Дитер Флик ответил на вопросы перед матчем против «Челси» в 5-м туре общего этапа Лиги чемпионов. ...