Все древовидные модели могут решить проблему регрессии — спрогнозировать число. В Scikit-learn, DecisionTreeRegressor и RandomForestRegressor реализуют регрессионную вариацию моделей. В XGBoost нам потребуется изменить цель на reg:squarederror
В XGBoost параметр colsample_bytree управляет количеством признаков, которые мы выбираем для каждого дерева, — это похоже на max_features для случайного леса. Поэкспериментируйте с этим параметром и посмотрите, улучшает ли он производительность: попробуйте значения от 0,1 до 1,0 с шагом 0,1. Обычно оптимальные значения находятся в диапазоне от 0,6 до 0,8, но иногда 1,0 дает наилучший результат.