TabFM обходит XGBoost на табличных бенчмарках: 5 ключевых фактов
Новая модель TabFM предсказывает без дообучения и уже выигрывает у настроенного XGBoost на нескольких публичных бенчмарках. Что это значит для продакшн‑табличного ML?
В статье на Habr ML сравниваются две популярные подходы к табличному машинному обучению: классический градиентный бустинг XGBoost и недавно представленная модель TabFM. Автор выделил пять фактов, которые не попали в официальные релиз‑ноты TabFM.
1️⃣ Zero‑shot предсказания – TabFM умеет делать выводы сразу после загрузки, без необходимости дообучать модель на конкретном датасете. Это резко сокращает время вывода продукта в продакшн и упрощает пайплайн.
2️⃣ Преимущество на публичных бенчмарках – на наборах данных «Adult», Census Income и Kaggle Titanic TabFM показывает на 2‑4 % лучшее ROC‑AUC, чем XGBoost, настроенный с помощью гиперпараметрической оптимизации.
3️⃣ Ограничения в масштабировании – при росте количества признаков выше 500 и объёма данных более 10 млн строк TabFM начинает отставать в скорости инференса, тогда как XGBoost сохраняет линейную зависимость от размера данных.
4️⃣ Требования к предобработке – TabFM менее чувствителен к категориальным кодировкам, но требует нормализации числовых фичей в диапазоне [0, 1]. XGBoost, напротив, работает с «сырой» табличкой после простого one‑hot.
5️⃣ Интеграция в продакшн – пока TabFM поддерживает только Python‑API и ограниченный набор экспортируемых форматов (ONNX, TorchScript). Для компаний, использующих Java‑стек, переход потребует дополнительного конвертирования.
Автор подчёркивает, что несмотря на впечатляющие результаты, TabFM пока не готов полностью заменить XGBoost в крупных корпоративных проектах, где критичны масштабируемость и экосистема инструментов. Однако для быстрых прототипов и небольших сервисов модель может стать серьёзным конкурентом.
Ссылка на оригинал: https://habr.com/ru/companies/otus/articles/1067734/
Для разработчиков табличного ML TabFM открывает возможность быстро получать предсказания без длительного обучения, что ускорит MVP‑этапы. Однако при работе с большими датасетами и в продакшн‑окружениях, где важна скорость инференса и стабильные интеграции, XGBoost остаётся надёжным выбором. Стоит оценить компромисс между скоростью вывода модели и её производительностью на ваших данных.
