LLM Wiki: новый workflow для автоматической базы знаний на основе Obsidian и Yandex FM
Автор собрал LLM Wiki, где LLM постепенно поддерживает базу знаний, используя Obsidian, Codex и Yandex Foundation Models, и сравнил его с традиционным RAG.
В статье на Habr AI автор делится экспериментом LLM Wiki – системой, в которой крупная языковая модель не просто отвечает на запросы к статическим документам, а постепенно формирует и поддерживает живую базу знаний.
Для реализации был выбран Obsidian в качестве хранилища (vault) и Codex для автоматизации обработки. Процесс состоит из трёх слоёв:
- Ingest – парсинг markdown‑файлов из Obsidian, их векторизация и загрузка в Yandex Foundation Models (Yandex FM). Автор привёл расчёт стоимости: около 0,02 USD за 1 МБ векторных данных, что позволяет поддерживать небольшие вики за несколько долларов в месяц.
- Query – слой запросов, где LLM получает контекст из векторного хранилища, формирует ответ и сразу же проверяет его на соответствие исходному материалу.
- Lint – автоматический «линтер», который сравнивает полученный ответ с оригиналом, фиксирует расхождения и помечает их для последующего исправления.
В отличие от классического RAG (Retrieval‑Augmented Generation), где контекст берётся разово, LLM Wiki позволяет модели накапливать знания, постепенно улучшая ответы без постоянного пере‑ингеста новых документов. Однако автор отмечает риски: запросы могут «залипать» в устаревших данных, а автоматический линтер иногда пропускает тонкие смысловые ошибки.
Статья содержит ссылки на репозиторий с примером конфигурации, а также на страницу ценообразования Yandex FM, где можно оценить бюджет проекта.
Для разработчиков LLM Wiki открывает путь к динамичным справочным системам без постоянного ручного обновления. Стоимость на Yandex FM делает такой подход доступным даже для небольших стартапов, но необходимо внедрять мониторинг качества ответов, иначе риск «заражённого» контекста растёт. Автоматический lint‑слой поможет держать базу в актуальном состоянии, если правильно настроить пороги отклонений.