Hugging Face предлагает отказывать в ответе только по опасным подтемам, а не всему запросу
В блоге Multiverse Computing CAI обсуждается новый подход к безопасности генеративных моделей: отказывать в ответе лишь по конкретным подмотивам, а не блокировать целый топик.
В недавнем посте блога Hugging Face Multiverse Computing CAI под заголовком Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic авторы поднимают вопрос о том, как современные системы модерации часто отказываются отвечать на запросы, охватывающие целый тематический спектр, даже если лишь небольшая часть запроса потенциально опасна.
Команда предлагает градуированный подход: вместо полной блокировки темы система должна уметь выделять и отказывать только по опасным подмотивам (например, инструкции по изготовлению оружия в контексте кулинарного рецепта). Для этого они описывают:
- Методологию разметки – создание наборов «подтем», где каждый подмотив помечается отдельным уровнем риска.
- Техническую реализацию – модуль «Selective Refusal», интегрируемый в пайплайн трансформеров через API
refuse_subtopic(примеры кода доступны в репозитории). - Открытый набор данных – «SubtopicSafety‑2026», включающий более 200 000 запросов с аннотациями подмотивов, опубликованный на Hugging Face Hub.
- Этические выводы – такой подход снижает over‑blocking, улучшает пользовательский опыт и сохраняет свободу выражения, при этом сохраняет высокий уровень защиты от вредоносного контента.
Авторы подчёркивают, что ключевой вызов – точное определение границ подмотивов и их динамическое обновление в ответ на новые угрозы. Они призывают сообщество участвовать в валидации и расширении набора данных, а также делиться метриками «false‑positive»/«false‑negative».
Полный текст статьи, примеры кода и ссылки на репозитории доступны по адресу: https://huggingface.co/blog/MultiverseComputingCAI/safety-for-whom
Для разработчиков генеративных моделей это значит, что простая черно‑белая фильтрация уже не достаточно. Нужно внедрять тонкую гранулярность в системы безопасности, использовать новые наборы данных и готовый модуль `refuse_subtopic`. Это открывает возможности более гибкого продукта, но требует дополнительных усилий по разметке и тестированию.
