Самостоятельный PII‑фильтр перед облачными LLM: отказ от self‑hosted из‑за роста цен и утечек данных

В течение последних двух месяцев автор провёл интенсивные эксперименты с различным графическим железом: RTX PRO 6000 96 GB, RTX 4090 48 GB, H200, а также более скромные RTX 5070 Ti и V100 32 GB. На каждой конфигурации были запущены собственные и публичные бенчмарки, чтобы оценить возможность самостоятельного хостинга больших языковых моделей (LLM).\n\nОднако в процессе тестирования наблюдался резкий рост цен на GPU‑рынке, а также серия публичных утечек персональных данных, связанных с провайдерами облачных LLM. Автор понял, что даже при наличии мощного железа риск попадания конфиденциальной информации в облако остаётся высоким – в случае взлома или случайного слива данные могут быть использованы против пользователей.\n\nВ поисках более безопасного и экономичного решения он нашёл открытый проект PII‑фильтра, основанный на правилах регулярных выражений и модели NER, доступный на GitHub. Фильтр был настроен в режим enforce: любые запросы, содержащие потенциально чувствительные данные, автоматически блокируются или маскируются перед отправкой в облачную модель. После интеграции фильтра автор полностью отказался от идеи self‑hosted LLM, переключившись на облачные сервисы с дополнительным слоем защиты.\n\nТаким образом, вместо капитальных вложений в дорогостоящее оборудование и риска утечки, разработчик получил гибкое решение: использовать мощные облачные модели, но с гарантией, что персональные данные не покинут локальную среду.