OpenAI масштабирует хранилище до 1 млрд пользователей ChatGPT
OpenAI превратил библиотеку Habitat в глобальную распределённую платформу, обслуживающую более миллиарда пользователей и 22 млн запросов в секунду.
В новой публикации в блоге OpenAI рассказывает о том, как команда инфраструктуры превратила внутренний Python‑пакет Habitat в масштабируемую глобальную систему хранения данных, способную обслуживать более 1 млрд активных пользователей ChatGPT. За первые шесть месяцев после запуска система выдерживает до 22 млн запросов в секунду, обеспечивая среднюю задержку менее 30 мс даже в отдалённых регионах.
Ключевыми элементами трансформации стали:
- Геораспределённые кластеры – Habitat теперь работает в более чем 120 дата‑центрах по всему миру, используя автоматическое шардирование и репликацию для балансировки нагрузки.
- Edge‑кеширование – запросы к часто используемым токенам и пользовательским сессиям кэшируются на уровне CDN, что сокращает количество обращений к центральному хранилищу.
- Транзакционный слой на основе Raft – гарантирует согласованность данных при масштабных обновлениях и упрощает откат в случае сбоев.
- Оптимизированные форматы сериализации – переход от JSON к бинарному протоколу ProtoBuf сократил объём передаваемых данных на 40 %.
OpenAI также открыла часть компонентов Habitat как open‑source, позволяя сообществу использовать те же паттерны для собственных AI‑приложений. По словам руководителя проекта, новый стек хранит данные в среднем в 2,5 раза дешевле, чем прежняя инфраструктура, и поддерживает рост до 5 млрд запросов в секунду без существенного увеличения затрат.
Эти изменения делают возможным более надёжную работу ChatGPT в реальном времени, а также открывают путь для новых сервисов, требующих мгновенного доступа к большим объёмам контекстных данных.
Для разработчиков AI это значит, что теперь можно рассчитывать на почти мгновенный отклик даже при работе с миллиардами запросов. Открытый код Habitat позволит интегрировать проверенные решения масштабирования в собственные проекты, ускоряя вывод MVP. Однако рост запросов повышает требования к управлению затратами и мониторингу репликаций, поэтому стоит заранее планировать стратегии оптимизации данных.
