Удали Ollama! Этот движок запускает 94 ГБ ИИ на обычной видеокарте

Краткое содержание

В видео показывают запуск большой языковой модели примерно на 125 млрд параметров и размером 94 ГБ на обычном домашнем ПК. Автор утверждает, что настроенный движок Strata способен выдавать более 60 токенов в секунду на системе с видеокартой на 16 ГБ, хотя модель существенно больше её видеопамяти.

• Почему, по словам автора, не подходят Ollama и LM Studio: они используют llama.cpp и при нехватке видеопамяти переносят часть вычислений в оперативную. Как объясняется в видео, это приводит к постоянной передаче данных через PCIe и резко снижает скорость.
• Что делает Strata: это специализированный open-source-движок с GitHub, созданный для конкретной модели. По словам автора, в репозитории есть готовый скрипт установки: он проверяет драйверы и предлагает выбрать подходящую версию модели — без ручной компиляции и написания кода.
• Память и архитектура: автор использует почти четырёхбитную версию модели размером 94 ГБ. Модель содержит множество экспертных модулей, но для каждого токена активируется лишь небольшая их часть. Основные компоненты и контекст размещаются в видеопамяти, а экспертные блоки — в оперативной памяти. Для 94-гигабайтной версии, по словам автора, требуется более 80 ГБ памяти; его основная система оснащена 128 ГБ ОЗУ.
• Проверка возможностей: заявлены тесты на длинных запросах, сложной логике и генерации кода. Также говорится о поддержке контекста до 256 тысяч токенов. Однако конкретные результаты тестов в субтитрах подробно не приведены.
• Запуск на слабом ПК: на компьютере с RTX 3060 Ti и 8 ГБ видеопамяти автор запускает уменьшенную версию модели, выбранную в установщике, а не 94-гигабайтную. Видеокарта и ОЗУ работают совместно; демонстрация призвана показать, что система запускается и на более скромном оборудовании.
• Локальный API и автоматизация: вместе с веб-интерфейсом Strata настраивает локальный сервис, совместимый с форматами API Anthropic или OpenAI. Автор показывает, как подключить его к среде разработки или агенту, указав локальный адрес и произвольный API-ключ. Это позволяет выполнять запросы локально, не оплачивая облачные токены и не передавая данные сторонним серверам.

Руководство и материалы

Видео содержит обзор установки и настройки Strata, выбора версии модели под доступную память, запуска на ПК с 8 ГБ видеопамяти и подключения локального API к агентам и автоматизациям. Автор сообщает, что ссылка на репозиторий и шпаргалка по выбору квантизации размещены в его Telegram-канале.

Основной источник

Borodat — ведущий и автор демонстрации. Технические характеристики и показатели производительности представлены в видео как его утверждения.