全面整理！机器学习常用的回归预测模型

前言

回归预测建模的核心是学习输入到输出的映射关系，其中输出是连续值向量。本文整理各种回归预测模型，帮助读者学习回归预测。

线性模型

线性回归通过特征的线性组合预测连续值标签。scikit-learn提供多种线性模型，包括普通最小二乘、Lasso和岭回归等。特别地，弹性网络结合了L1和L2正则化，最小角回归适用于高维数据，正交匹配追踪算法用于近似拟合约束线性模型，贝叶斯回归方法包括ARD和岭回归。

异常值鲁棒回归器如Huber回归和广义线性模型（GLM）用于处理非正态分布的因变量。

非线性模型

非线性回归通过特征的非线性组合交互预测连续值标签。集成树模型如XGBoost、LightGBM、CatBoost在回归预测中广泛使用。非线性模型还包括决策树、支持向量机、KNN和神经网络回归等。

随机森林和深度森林都是基于决策树的集成学习方法，而Extra trees和AdaBoost关注不同的集成策略。基于直方图的梯度提升和TabNet是进一步的改进。

INCE、Local Cascade Ensemble和GATE等是最新的深度学习框架，它们针对表格数据设计，提高预测效率和性能。