Hugging Face раскрывает стратегию данных PRX: масштабируемый пайплайн и новые лицензии
В 4‑й части серии PRX компания описала, как собирает, фильтрует и лицензирует более 10 млрд изображений для обучения модели, а также представила инструменты для безопасного синтетического датасета.
Hugging Face опубликовала четвёртую часть серии о проекте PRX — новой мультимодальной модели, ориентированной на генерацию и понимание изображений. В блоге «PRX Part 4: Our Data Strategy» (https://huggingface.co/blog/Photoroom/prx-part4-data) команда раскрыла детали своей стратегии сбора и обработки данных.
Ключевые факты:
- Объём данных: более 10 млрд изображений, собранных из открытых источников, лицензированных фотостоков и пользовательских наборов.
- Фильтрация и качество: многоуровневая проверка, включающая автоматический детектор NSFW‑контента, оценку разрешения и проверку дублирования. Ожидается, что чистый набор составит ~7,2 млрд изображений.
- Лицензирование: введена новая лицензия CC‑PRX‑1.0, позволяющая коммерческое и исследовательское использование при условии указания источника и соблюдения GDPR‑совместимости.
- Синтетический датасет: для снижения зависимости от реальных изображений запущен генератор «PRX‑Synth», который создает 2 млрд синтетических примеров, обученных на уже проверенных данных.
- Инструменты: открыты новые пайплайны в библиотеке
datasetsиdatasets‑hub, а также CLI‑утилитаprx-data-cliдля локального скачивания, фильтрации и аугментации. - Этика и безопасность: команда объявила о проведении аудита bias‑анализов и внедрении «Data‑Governance Board», контролирующего соответствие требованиям конфиденциальности.
Эти шаги направлены на то, чтобы PRX стала первой моделью, способной обучаться на масштабных, этически чистых и лицензированных данных, что должно улучшить её генеративные способности и снизить юридические риски для конечных пользователей.
Ссылка на оригинал: https://huggingface.co/blog/Photoroom/prx-part4-data
Для разработчиков это значит, что теперь можно безопасно интегрировать PRX в коммерческие продукты, используя открытый пайплайн данных. Синтетический набор поможет экспериментировать без риска нарушения авторских прав, а новые лицензии упростят юридическую проверку. Однако стоит внимательно следить за обновлениями Data‑Governance Board, чтобы не пропустить изменения в требованиях к использованию данных.
