Как мы подключили LLM к своим рабочим данным: опыт и финальный стек
В статье от Habr AI рассказывается, какие решения (AnythingLLM, LibreChat, MCP, Gemma‑4) пробовали, почему они не подошли и какой стек в итоге использовали для безопасного доступа ИИ к корпоративным данным.
Что произошло
Команда разработчиков из Habr AI в течение нескольких месяцев искала способ, чтобы крупная языковая модель могла работать с их внутренними данными без риска утечки информации. Было протестировано несколько готовых решений:
- AnythingLLM – обещал простую интеграцию, но требовал публичный API‑ключ и не поддерживал изоляцию данных.
- LibreChat – открытый чат‑интерфейс, однако не имел механизмов контроля доступа к файлам.
- MCP (Model‑Centric Platform) – предоставлял гибкое управление моделями, но требовал дорогостоящие лицензии.
- Gemma‑4 – локальная модель от Google, но её размер (7 Б) оказался слишком тяжёлым для их инфраструктуры.
Почему они не подошли
| Инструмент | Проблема | |------------|----------| | AnythingLLM | Публичный сервис, отсутствие on‑premise версии | | LibreChat | Нет встроенного RAG‑модуля для работы с документами | | MCP | Высокая стоимость и сложность деплоя | | Gemma‑4 | Требует GPU‑кластера с > 40 GB VRAM |
Финальный стек
В итоге команда собрала собственный пайплайн, опираясь на открытые компоненты:
- LangChain – оркестрация цепочек запросов и интеграция с векторными базами.
- ChromaDB – векторное хранилище для эмбеддингов, развёрнуто в Docker‑контейнере.
- Llama‑3‑8B‑Instruct – локальная модель, помещающаяся в 16 GB VRAM, запущенная через vLLM.
- FastAPI – слой API, который принимает запросы, формирует контекст из ChromaDB и отправляет их в модель.
- Docker‑Compose – всё упаковано в несколько контейнеров, что упрощает развёртывание в любой среде (on‑premise или облако).
Для повторения процесса авторы предоставили готовый репозиторий с инструкциями и командами docker compose up --build. Полный набор скриптов доступен в статье.
Ссылки
- Статья на Habr AI: https://habr.com/ru/articles/1074406/
- Репозиторий с кодом: https://github.com/habr-ai/llm-data‑integration
- Документация LangChain: https://python.langchain.com/
- ChromaDB: https://www.trychroma.com/
Автор статьи делится практическим опытом, который может стать отправной точкой для компаний, желающих безопасно использовать LLM с собственными данными.
Для разработчиков и студентов это отличный пример, как собрать собственный RAG‑стек без дорогостоящих SaaS‑решений. Главное – правильно подобрать модель, которая помещается в доступный GPU, и использовать открытые векторные базы. Такой подход даёт полный контроль над данными и экономит бюджеты, но требует базовых навыков DevOps и работы с контейнерами.
