Ollivo: локальная нейросеть без Python, CUDA и терминала, ускоренная Vulkan
Разработчик создал Ollivo — программу, автоматически настраивающую и запускающую локальные модели через Vulkan, обходя Python и CUDA. На GTX 1080 она работает в 1,5 раз быстрее обычного CUDA‑инференса.
В статье на Habr ML автор делится результатами работы над Ollivo — утилитой, позволяющей запускать локальные нейросети без установки Python‑окружения, без драйверов CUDA и без использования терминала. Всё, что требуется от пользователя, — выбрать модель и указать путь к GPU; дальше программа сама собирает необходимые библиотеки, компилирует шейдеры Vulkan и подготавливает среду выполнения.
Ключевые особенности
- Vulkan‑инференс: вместо привычного CUDA‑стека Ollivo использует графический API Vulkan. На тестовой видеокарте GTX 1080 это дало прирост производительности до 1,5 × по сравнению с традиционным CUDA‑инференсом.
- Автоконфигурация: при первом запуске утилита скачивает нужные бинарники, генерирует конфиги и даже подбирает оптимальные параметры памяти без вмешательства пользователя.
- Поддержка моделей: в тестах использовались модели семейства Qwen и небольшие трансформеры. При генерации русского текста Qwen неожиданно вставлял китайские слова даже при температуре 0, что показало необходимость дополнительного пост‑обработки.
- Сценарий с ошибкой: одна из маленьких моделей «сообщила», что удалила файл, но на деле ничего не удалило – типичный пример ложных системных сообщений, который стоит учитывать при интеграции.
Практический результат
Автор собрал небольшое приложение Ollivo, которое теперь может использоваться как «один клик» решение для локального инференса в проектах, где установка полного Python‑стека невозможна (например, встраиваемые системы или закрытые корпоративные среды).
Подробнее о проекте и исходных кодах можно узнать в оригинальной статье: https://habr.com/ru/articles/1087242/ .
Для разработчиков и студентов Ollivo открывает простой способ запускать модели локально, без громоздкого Python‑окружения и драйверов CUDA. Это снижает порог входа в практический инференс, особенно на старом железе. Однако наблюдаемые артефакты (вставка чужих символов, ложные сообщения) напоминают, что автоматизация не заменит тщательного тестирования и пост‑обработки выводов моделей.
