Pruna AI сделала открытым свой фреймворк для сжатия ИИ-моделей

Pruna AI сделала открытым свой фреймворк для сжатия ИИ-моделей

Европейский стартап Pruna AI, разрабатывающий алгоритмы сжатия ИИ-моделей, объявил, что в четверг сделает свой фреймворк с открытым исходным кодом. Этот инструмент позволяет оптимизировать работу нейросетей за счет методов кэширования, обрезки (pruning), квантизации и дистилляции. Как работает фреймворк Pruna AI? Фреймворк Pruna AI позволяет разработчикам автоматизировать сжатие моделей, комбинировать различные методы оптимизации и оценивать их влияние на качество модели. “Если провести аналогию, то мы делаем для методов сжатия то же, что Hugging Face сделал для трансформеров и диффузионных моделей — стандартизируем вызов, сохранение и загрузку,” — объясняет сооснователь и CTO Pruna AI Джон Рачван в интервью TechCrunch. Почему это важно? Крупные ИИ-лаборатории, такие как OpenAI, уже используют дистилляцию для ускорения своих моделей. Например, GPT-4 Turbo — это упрощенная и более быстрая версия GPT-4, а модель Flux.1-schnell была создана как дистиллированная версия Flux.1 от Black Forest Labs. Метод дистилляции позволяет извлекать знания из большой модели с помощью механизма «учитель-ученик». Разработчики отправляют запросы к мощной модели, анализируют ее ответы и обучают более компактную нейросеть, которая приближенно воспроизводит поведение оригинала. “Обычно большие компании создают такие инструменты внутри своей экосистемы, а в open-source-среде встречаются лишь отдельные методы, такие как квантизация для LLM или кэширование для диффузион...
21.03.2025 - 12:19
Источник: itzine.ru  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данныхСистема сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных Компания Meta* представила инструментарий для сжатия и распаковки данных OpenZL, по сравнению с форматами Zstd и XZ демонстрирующий более высокий уро ...

Google сделала свой MagSafe: магнитное крепление Pixelsnap для зарядки и не толькоGoogle сделала свой MagSafe: магнитное крепление Pixelsnap для зарядки и не только Компания Google представила фирменную магнитную систему Pixelsnap для новой серии смартфонов Pixel 10, которую многие позиционируют как ответ на MagS ...

Выпуск утилиты для сжатия данных 7-Zip 25.00Выпуск утилиты для сжатия данных 7-Zip 25.00 Игорь Павлов анонсировал новую версию архиватора 7-Zip 25.00. Проектом развивается собственный формат архивов 7z, базирующийся на алгоритмах сжатия L ...

Доступен мультимедийный фреймворк GStreamer 1.26.0Доступен мультимедийный фреймворк GStreamer 1.26.0 После года разработки представлен релиз GStreamer 1.26, кроссплатформенного набора компонентов для создания широкого спектра мультимедиа приложений, ...

Формат сжатия FLAC официально закреплён в RFC 9639Формат сжатия FLAC официально закреплён в RFC 9639 Комитет IETF (Internet Engineering Task Force), занимающийся развитием протоколов и архитектуры интернета, завершил формирование RFC для свободного з ...

Представлен формат сжатия изображений Spectral JPEG XLПредставлен формат сжатия изображений Spectral JPEG XL Инженеры из компании Intel представили формат изображений Spectral JPEG XL, оптимизированный для эффективного сжатия изображений, охватывающих област ...

Проект Wine опубликовал фреймворк Mono 6.14.0Проект Wine опубликовал фреймворк Mono 6.14.0 Разработчики проекта Wine, развивающего открытую реализацию API Win32, представили выпуск фреймворка Mono 6.14.0, предлагающего альтернативный открыт ...

DeepSeek представила модель сжатия текста через изображенияDeepSeek представила модель сжатия текста через изображения DeepSeek выпустила модель, сжимающую текст через изображения в 10 раз эффективнее. Разработка может расширить контекстные окна ИИ на миллионы токенов ...

Вредоносный фреймворк Winos4.0 маскируется под игровые приложенияВредоносный фреймворк Winos4.0 маскируется под игровые приложения Эксперты заметили, что в качестве альтернативы Sliver и Cobalt Strike хакеры все чаще используют вредоносный фреймворк Winos4.0. В основном его распр ...

Управление гневом. Изучаем Angr  фреймворк символической эмуляцииУправление гневом. Изучаем Angr — фреймворк символической эмуляции Для подписчиковAngr — эмулятор на стероидах. Он кросс‑платформенный и поддерживает большинство популярных архитектур: с ним на Linux можно искать уяз ...

Positive Technologies выпустила фреймворк для безопасной разработки приложенийPositive Technologies выпустила фреймворк для безопасной разработки приложений Компания Positive Technologies подготовила общедоступный фреймворк безопасной разработки — AppSec Table Top. Созданная методология... ...

Radare2 с самого начала. Учимся использовать опенсорсный фреймворк для анализа приложений в LinuxRadare2 с самого начала. Учимся использовать опенсорсный фреймворк для анализа приложений в Linux Для подписчиковЕсли ты никогда не пользовался Radare2, то наверняка о нем слышал: это опенсорсный набор инструментов для исследования программ. В нег ...