RAGFlow — открытый инструмент для Retrieval‑Augmented Generation

LLM‑модели часто страдают от двух типичных проблем: галлюцинаций — генерация неправдоподобных фактов, и устаревших знаний, когда модель не знает о последних изменениях в компании. При работе с корпоративными данными появляется третья сложность — как использовать внутреннюю документацию, не выкладывая её в открытый доступ.

Метод Retrieval‑Augmented Generation (RAG) решает эту задачу: перед генерацией модель запрашивает релевантные фрагменты из внешнего хранилища, а затем «дополняет» ответ. В статье Habr ML подробно рассматривается RAGFlow – полностью открытый стек, построенный на базе Milvus (векторная БД) и FastAPI, с веб‑интерфейсом для управления документами, встраиваниями и чат‑ботом.

Ключевые возможности RAGFlow:

• Поддержка более 10 моделей эмбеддингов (OpenAI, HuggingFace, Mistral, Cohere и др.).
• Интеграция с 5+ LLM‑бэкендами (OpenAI, Anthropic, Gemini, Llama 2, Claude).
• Автоматическое chunk‑инг и metadata‑тэггинг при загрузке файлов (PDF, DOCX, TXT).
• Поиск по 100 000+ документов с latency < 50 мс при использовании GPU‑ускорения.
• UI‑консоль для создания pipeline без кода, а также SDK для LangChain и LLamaIndex.
• Деплой через Docker‑Compose или Kubernetes, лицензия Apache 2.0.

Проект активно развивается: последняя версия 0.7.3 (июнь 2026) добавила Hybrid Search (семантика + BM25) и role‑based access control для ограничения доступа к конфиденциальным файлам. Репозиторий находится на GitHub: https://github.com/infiniflow/ragflow, а подробная документация — https://ragflow.io/docs.

RAGFlow конкурирует с коммерческими решениями вроде Pinecone или Weaviate, но его открытый характер делает его привлекательным для стартапов и учебных проектов, где важна гибкость и отсутствие расходов на лицензии.