NVIDIA Blackwell: новые форматы данных обеспечивают большую производительность ядер Tensor

NVIDIA Blackwell: новые форматы данных обеспечивают большую производительность ядер Tensor

В преддверии HotChips 2024 компания NVIDIA уже рассказывала об инфраструктуре Blackwell в виде интерконнекта NVLink и соответствующих коммутаторов . На самой конференции NVIDIA рассказала немного больше об архитектуре Blackwell и встроенных в нее ядрах Tensor. Хотя они по-прежнему могут вычислять большие матрицы за один прогон, благодаря новым форматам данных значительно увеличили пропускную способность. С помощью новой системы квантования NVIDIA намерена значительно увеличить производительность инференса при работе с большими моделями. Квантование – это тип сжатия модели. Для сопоставимой плотности информации (например, качества изображения, созданного ИИ) теперь требуется меньше данных, что естественным образом ускоряет процесс инференса. По этой причине в последние месяцы производители программного и аппаратного обеспечения стараются использовать такие форматы данных, как INT8, FP8 и даже более простые форматы, такие как FP4 и INT4. До сих пор преимущество в производительности было ограниченным, поскольку для вычислений в INT4 или FP4 ......
31.08.2024 - 06:19
Источник: www.hardwareluxx.ru  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

NVIDIA Blackwell и Blackwell NVLink Switch  новые подробности ускорителей ИИ и коммутаторовNVIDIA Blackwell и Blackwell NVLink Switch – новые подробности ускорителей ИИ и коммутаторов На конференции Hotchips Conference 2024 компания NVIDIA рассказала некоторые подробности о своем поколении ускорителей искусственного интеллекта Blac ...

Новые чипы для ИИ Nvidia Blackwell при объединении в серверы страдают от перегреваНовые чипы для ИИ Nvidia Blackwell при объединении в серверы страдают от перегрева Поставки ускорителей для ИИ Nvidia Blackwell сталкиваются с новыми проблемами. Как сообщается, адаптеры перегреваются. фото: WCCF Tech Серверы на осн ...

NVIDIA представила видеокарты RTX PRO 4000 Blackwell SFF Edition и RTX PRO 2000 BlackwellNVIDIA представила видеокарты RTX PRO 4000 Blackwell SFF Edition и RTX PRO 2000 Blackwell Поддержка программного обеспечения NVIDIA, включая AI Enterprise, Omniverse и платформу Cosmos, позволяет разработчикам использовать весь потенциал н ...

Google увеличила производительность чипа Tensor G5 за счет свежего драйвераGoogle увеличила производительность чипа Tensor G5 за счет свежего драйвера Google выпустила критическое обновление для GPU PowerVR DXT-48-1536, разработанного совместно с компанией Imagination Technologies. The post Google у ...

Supermicro наращивает полное производство стоечных решений NVIDIA Blackwell на базе NVIDIA HGX B200Supermicro наращивает полное производство стоечных решений NVIDIA Blackwell на базе NVIDIA HGX B200 Supermicro, поставщик комплексных ИТ-решений для AI/ML, HPC, облака, хранилищ и... Сообщение Supermicro наращивает полное производство стоечных решен ...

NVIDIA показала NVIDIA RTX PRO 6000 Blackwell Edition на 300 и 600 Вт (обновление 2)NVIDIA показала NVIDIA RTX PRO 6000 Blackwell Edition на 300 и 600 Вт (обновление 2) На GTC25 NVIDIA представила три версии RTX PRO 6000 Blackwell Edition. Все они опираются на архитектуру Blackwell и основаны на GB202 — самом крупном ...

Китайская Loongson представила серверные процессоры 3C6000  до 64 ядер и производительность Xeon четырёхлетней давностиКитайская Loongson представила серверные процессоры 3C6000 — до 64 ядер и производительность Xeon четырёхлетней давности Китайская компания Loongson сообщила о выпуске трёх серий процессоров: 2K3000, 3B6000M и 3C6000. Последняя была анонсирована более года назад. Все чи ...

Ryzen AI 7 (Pro) 360 в базе данных Geekbench: 35 ядерRyzen AI 7 (Pro) 360 в базе данных Geekbench: 3+5 ядер На выставке Computex компания AMD представила первые два процессора Ryzen AI серии 300 , которые оснащены ядрами Zen 5. Помимо увеличения количества ...

Google Tensor G5 оказался слабее чипа Tensor G4 в игровых задачахGoogle Tensor G5 оказался слабее чипа Tensor G4 в игровых задачах Одной из проблем называют перегрев чипа и, как следствие, снижение тактовой частоты из-за троттлинга. Но более вероятный фактор — отсутствие актуальн ...

2,4 ZFLOPS: Oracle устанавливает 131.072 GPU Blackwell от NVIDIA2,4 ZFLOPS: Oracle устанавливает 131.072 GPU Blackwell от NVIDIA Компания Oracle объявила о создании одного из крупнейших кластеров облачных вычислений. Кластер оснастят до 131.072 GPU Blackwell от NVIDIA, что позв ...

Nvidia создаст семь суперкомпьютеров с более чем 100 000 GPU BlackwellNvidia создаст семь суперкомпьютеров с более чем 100 000 GPU Blackwell Nvidia совместно с партнерами создаст семь суперкомпьютеров для Аргоннской национальной лаборатории в США. Две из пяти систем построит Oracle с испол ...

С производством Blackwell все в порядке: NVIDIA делится дизайнами с OCPС производством Blackwell все в порядке: NVIDIA «делится» дизайнами с OCP На саммите Open Compute Project (OCP) компания NVIDIA объявила, что производство GPU Blackwell вывели на плановую мощность ("in full production"), оп ...