Все числа на месте, а смысл изменился: как проверять правки ИИ

Что случилось

В статье на Habr AI Анна и Борис демонстрируют типичный сценарий, когда ИИ‑редактор меняет смысл текста, но оставляет все числа и имена на своих местах. В примере «Анна получила сумму Бориса, а Борис — сумму Анны» цифры и имена сохранены, однако смысл полностью обратился. Автоматическая сверка по токенам или простому diff‑у не фиксирует эту ошибку.

Почему обычные проверки не работают

• Токен‑уровневая проверка сравнивает только последовательность символов, игнорируя семантику.
• Сравнение числовых значений полезно в финансовых отчётах, но бессмысленно, если контекст изменён.
• Контекст‑независимые метрики (BLEU, ROUGE) оценивают сходство, но не гарантируют сохранение смысловой нагрузки.

Как проверять смысл после ИИ‑правок

1. Семантические тесты – формулируйте набор вопросов к тексту (например, «Кто получил чью сумму?») и проверяйте ответы модели‑критика.
2. Контрольные утверждения – задавайте LLM‑проверяющему «Содержит ли текст утверждение X?», получая «Да/Нет» с объяснением.
3. Unit‑тесты для текста – аналогично коду: пишете тесты, которые проверяют ключевые факты и логические связи.
4. Human‑in‑the‑loop – небольшие, но критичные фрагменты оставляйте на проверку специалисту.
5. Инструменты – LangChain, LLM‑Eval, OpenAI Function Calling могут автоматизировать такие проверки.

Практический совет

Сочетайте автоматический семантический контроль с ручным ревью. При работе с юридическими, финансовыми или медицинскими документами такие проверки обязательны, иначе риск «правильных цифр, но неверного смысла» может стоить дорого.

Ссылка на оригинал: https://habr.com/ru/articles/1084192/