Новый метод генерации фотореалистичных людей с управлением десятками атрибутов

В статье на Habr ML описан практический кейс: заказчику потребовалось генерировать набор фотореалистичных изображений людей для биометрического приложения, где каждый портрет должен был соответствовать десяткам параметров – возраст, пол, форма лица, прическа, цвет глаз и др. Обычные генеративные модели (Stable Diffusion, DALL‑E) давали лишь ограниченный контроль и часто выдавали «рисунки», а не настоящие фотографии.

Команда разработчиков использовала модифицированную латентную диффузионную модель с многоканальной conditioning‑схемой. Ключевые шаги:

1. Сбор и аннотирование датасета – 12 000 высококачественных портретов, размеченных по 25 атрибутам.
2. Обучение LoRA‑адаптеров для каждого атрибута, что позволило встраивать их в базовую модель без полного переобучения.
3. Текстовое и токен‑управление – комбинация токенов‑префиксов и числовых embeddings, задающих целевые значения (например, "age:45", "hair:curly").
4. Пост‑процессинг – использование Face‑ID‑сравнителя для проверки соответствия заданным параметрам, с автоматическим откатом неудачных генераций.

Результаты: FID‑метрика улучшилась с 38,2 до 22,7, а точность атрибутов (по сравнению с разметкой) достигла 92 %. Генерация одного изображения занимает ~1,2 секунды на RTX 4090.

Статья содержит открытый репозиторий с кодом и инструкциями по воспроизведению: https://github.com/example/multi‑attribute‑portrait‑gen.

Для разработчиков синтетических датасетов такой подход открывает новые возможности: можно быстро собрать разнообразные биометрические наборы без реального сбора персональных данных, однако необходимо учитывать риски этического характера и возможные отклонения в редких комбинациях атрибутов.