Коротко

Для табличных данных годами работает проверенный порядок: собрать признаки, настроить параметры, обучить градиентный бустинг. Практический опыт на 14 наборах данных показал другое: табличная модель TabICL обыграла настроенный XGBoost на всех наборах, не проходя обучение на этих таблицах. Вторая модель, TabPFN, выиграла 13 раз из 14 и дважды проиграла, если считать по точности, а не по AUC.

Разбор опубликован 17 августа 2026 года в блоге инженера Эфраина Гарая. Ниже методика, оговорки самого автора и то, на чём именно модели выигрывают.

Как устроены замеры

Автор сравнил четыре варианта: TabICL, TabPFN версии 2.2.1, XGBoost с заводскими параметрами и XGBoost после настройки. Метрика это AUC, то есть качество разделения двух классов; для кредитных задач это способность отличить того, кто вернёт деньги, от того, кто не вернёт.

Точность считалась как медиана по пяти запускам со случайными зёрнами. Время в секундах суммирует подгонку и предсказание и включает два прохода вывода, по классу и по вероятности, так что это честная стоимость варианта, а не только время получения ответа. Все наборы в основной таблице урезаны до 3 000 строк. Разделение 70 на 30 со стратификацией автор описывает для шести наборов из четырнадцати, по которым приводит разбор контекста.

Данные взяты из открытого набора inria-soda/tabular-benchmark, он же бенчмарк Гринштайна. Автор приводит контрольные суммы для шести наборов, так что опыт воспроизводим частично.

Что получилось

Вот часть результатов.

таблица размер TabICL TabPFN настроенный XGBoost
bank-marketing 3000 × 7 0,7944 0,7967 0,7833
credit 3000 × 10 0,7667 0,7578 0,7533
heloc 3000 × 22 0,7222 0,7300 0,7078
albert 3000 × 31 0,6500 0,6611 0,6611
Bioresponse 3000 × 419 0,7922 0,7567 0,7744
electricity 3000 × 7 0,8178 0,8111 0,8178

Выигрыш скромный по величине, и это стоит сказать сразу: средняя разница по AUC составляет одну сотую. На bank-marketing TabPFN выиграла у настроенного бустинга 0,7967 против 0,7833, а на electricity TabICL и бустинг показали одинаковые 0,8178. Автор сам пишет, что победа на всех четырнадцати наборах это признак устойчивости, а не подавляющего превосходства.

Что говорит сам автор в пользу осторожности

В разборе есть оговорки, без которых вывод читается сильнее, чем он есть.

Настройка шла под другую метрику. Поиск параметров для XGBoost оптимизировал точность, а не AUC, поэтому вывод «четырнадцать из четырнадцати по AUC» получен против бустинга, который под эту метрику не настраивали. Автор оговаривает: настройка под AUC, скорее всего, улучшила бы результат бустинга, но этого он не измерял.

По точности TabPFN проигрывала. Если считать не по AUC, а по точности, TabICL выиграл двенадцать раз при одной ничьей и одном поражении, а TabPFN выиграл одиннадцать раз при ничьей и двух поражениях: на electricity и Bioresponse.

Часть выигрышей меньше разброса между зёрнами. Автор приводит пример: на одном из наборов победа в 0,0011 получена при разбросе между зёрнами от минус 0,011 до плюс 0,049, то есть знак зависит от того, какое зерно выпало.

Почему обучение не требуется

Смысл подхода в том, что модель обучена заранее на множестве синтетических таблиц и на новых данных не дообучается: она получает строки обучающей выборки как контекст и выдаёт предсказание за один проход. Это та же идея предсказания по контексту, что и в языковых моделях, только перенесённая со слов на столбцы.

Главное практическое следствие: время на обучение не тратится. Подбор параметров для бустинга в опыте занимал до 50 секунд на набор, а у моделей без обучения этой стадии нет вовсе. Кодирование категорий и заполнение пропусков автор делал вручную и одинаково для всех вариантов, так что экономии на подготовке данных ждать не стоит.

Где модель ломается

На таблице Bioresponse шириной 419 столбцов TabPFN дала 0,7567, то есть хуже настроенного бустинга с 0,7744, и потратила 18,1 секунды против обычных долей секунды. Автор пишет прямо: здесь TabPFN ломается. TabICL на той же таблице удержался с 0,7922 и вышел первым, но заплатил временем: 6 секунд против обычных 0,8.

Вывод про ширину автор формулирует осторожно, и это важно передать точно: «ширина, а не длина сжимает» это гипотеза по одному наблюдению, а не правило. Bioresponse единственный набор с сотнями столбцов во всём опыте.

Что это меняет в работе

Для аналитика вывод практичный. Сначала стоит попробовать модель без обучения: она даёт быструю базовую линию, прежде чем тратить время на подбор параметров бустинга. Если после настройки бустинг вырывается вперёд, значит, задача требует обучения на своих данных.

Обе модели открыты. TabPFN распространяется под лицензией Apache 2.0, текущая версия пакета 9.0.0, но замеры в блоге сделаны на версии 2.2.1: тогдашняя текущая версия 8.3.0 требовала регистрации ради весов и осталась неизмеренной. TabICL под лицензией BSD 3-Clause, в замеры попала версия 2.1.1, текущая версия пакета 2.2.0. В лицензии TabICL отдельно отмечено, что код в каталоге src/tabicl/forecast это производная работа от проекта TabPFN-TS.

Ограничения опыта автор перечисляет сам: проверялась только бинарная классификация, регрессия и мультикласс не тестировались, основная таблица ограничена 3 000 строк, а развёртка по длине доходила до 32 000 строк, но на одном наборе.

Источники

Практическая сторона вопроса о том, как отличать заявленное поведение системы от фактического, разобрана отдельно: почему большинство «лучших практик» промптинга - ерунда.

#технологии#машинное обучение#данные
Опубликовано 28 сентября 2026 г. · обновлено 28 сентября 2026 г.