论文地址：https://arxiv.org/pdf/1603.02754.pdf

代码地址：https://github.com/dmlc/xgboost

1. INTRODUCTION

XGBoost 的全称是 eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost 是大规模并行 boosting tree 的工具。在工业界大规模数据方面，XGBoost 的分布式版本有广泛的可移植性，支持在 Kubernetes、Hadoop、SGE、MPI、 Dask 等各个分布式环境上运行，使得它可以很好地解决工业界大规模数据的问题。

XGBoost 成功背后最重要的因素是它在所有场景中的可扩展性。在单台机器上的运行速度比现有流行解决方案快十倍以上，并且可以在分布式或内存有限的设置中扩展到数十亿个样本。 XGBoost 的可扩展性归功于几个重要的系统和算法优化。这些创新包括：一种用于处理稀疏数据的新型树学习算法；理论上合理的加权分位数略图程序（a theoretically justified weighted quantile sketch procedure）能够处理近似树学习中的样本权重。并行和分布式计算使学习速度更快，从而实现更快的模型探索。更重要的是，XGBoost 利用核外计算（out-of-core computation ），使数据科学家能够处理数亿个样本。最后，更令人兴奋的是将这些技术结合起来制作一个端到端系统，以最少的集群资源扩展到更大的数据。本文的主要贡献如下：

• 作者设计并构建了一个高度可扩展的端到端树集成模型（tree boosting system）。
• 作者提出了一种理论上合理的加权分位数略图，用于有效的提案计算。
• 作者为并行树学习引入了一种新颖的稀疏感知算法。
• 作者提出了一种有效的缓存- 用于核外树学习（out-of-core tree learning）的感知块结构。

2. TREE BOOSTING IN A NUTSHELL

2.1 Regularized Learning Objective

图 1：树集成模型，给定示例的最终预测是每棵树的预测总和

对于给定 $n$ 个样本 $m$ 个特征的数据集 D={(xi,yi)}(∣D∣=n,xi∈Rm,yi∈R)\mathcal{D} = \{ (x_i,y_i)\}(|\mathcal{D}|=n,x_i \in \mathbb{R}^m,y_i \in \mathbb{R})D={(xi​,yi​)}(∣D∣=n,xi​∈Rm,yi​∈R) ，一个 Tree ensemble model 使用 $K$ 个累加函数去预测输出

y^i=ϕ(Xi)=∑k=1Kfk(xi),fk∈F(1)\hat{y}_i = \phi(X_i) = \sum_{k=1}^K f_k(x_i),f_k\in \mathcal{F} \ \ \ (1)y^​i​=ϕ(Xi​)=k=1∑K​fk​(xi​),fk​∈F   (1)

其中 F={f(x)=wq(x)}(q:Rm→T,w∈RT)\mathcal{F}=\{f(x)=w_{q(x)}\}(q:\mathbb{R}^m \rightarrow T,w\in \mathbb{R}^T)F={f(x)=wq(x)​}(q:Rm→T,w∈RT) 是回归树的空间（CART）。其中 $q$ 代表每棵树的结构，即将一个例子映射到相应的叶子索引上。$T$ 是叶子节点是数量。每一个 fkf_kfk​ 对应独立的树状结构 $q$ 和叶子节点权重 $w$ 。不同于决策树，每个回归树在每个叶子上都包含一个连续的分数，使用 wiw_iwi​ 代表第 $i$ 个叶子节点的分数。对于给定的样本，将使用树中的决策规则（$q$）将其分类为叶子，并通过对相应叶子（$w$）的分数求和来计算最终预测。 学习模型中使用的函数集，作者最小化以下正则化目标：

L(ϕ)=∑il(y^i,yi)+∑kΩ(fk)(2)\mathcal{L}(\phi) = \sum_i l(\hat{y}_i,y_i) + \sum_k \Omega(f_k)\ \ \ (2)L(ϕ)=i∑​l(y^​i​,yi​)+k∑​Ω(fk​)   (2)

whereΩ(f)=γT+12λ∣∣w∣∣2where\ \Omega(f) = \gamma T + \frac{1}{2}\lambda||w||^2where Ω(f)=γT+21​λ∣∣w∣∣2

这里 $l$ 是一个可微的凸损失函数，它衡量预测 y^i\hat{y}_iy^​i​ 和目标 yiy_iyi​ 之间的差异。第二项 $\Omega$ 惩罚模型的复杂性（例如回归树函数）。额外的正则化项有助于平滑最终学习的权重以避免过度拟合。直观地，正则化目标将倾向于选择使用简单和预测函数的模型。在正则化贪婪森林 (RGF) 模型中使用了类似的正则化技术。作者提出的目标和相应的学习算法比 RGF 更简单，更容易并行化。当正则化参数设置为零时，目标回落到传统的 Gradient tree boosting 。

2.2 Gradient Tree Boosting

公式 （2）中的树集成模型包含函数作为参数，无法在欧几里德空间中使用传统的优化方法进行优化。相反，模型以加法方式进行训练。形式上，让 y^i(t)\hat{y}_i^{(t)}y^​i(t)​ 是第 $i$ 个样本在第 $t$ 次迭代时的预测，需要添加 ftf_tft​ 以最小化以下目标：

L(t)=∑i=1nl(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)} = \sum_{i=1}^n l(y_i,\hat{y}_i^{(t-1)} + f_t(x_i))+\Omega(f_t)L(t)=i=1∑n​l(yi​,y^​i(t−1)​+ft​(xi​))+Ω(ft​)

这意味着根据等式 （2）贪婪地添加最能改进模型的 ftf_tft​。二阶近似可用于在一般设置中快速优化目标 。

L(t)≃∑i=1n[l(yi,y^(t−1))+gift(xi)+12hift2(xi)]+Ω(ft)\mathcal{L}^{(t)} \simeq \sum_{i=1}^n [l(y_i,\hat{y}^{(t-1)}) + g_if_t(x_i) + \frac{1}{2}h_i f_t^2(x_i)] + \Omega(f_t)L(t)≃i=1∑n​[l(yi​,y^​(t−1))+gi​ft​(xi​)+21​hi​ft2​(xi​)]+Ω(ft​)

其中 $ g_i = \partial_{\hat{y}^{(t-1)}} l(y_i,\hat{y}^{(t-1)})$,$h_i = \partial^2_{\hat{y}{(t-1)}}l(y_i,\hat{y}^{(t-1)})$ 是损失函数的一阶和二阶梯度统计，则可以在第 $t$ 次迭代去除常数项以获得以下简化目标：

L~(t)=∑i=1n[gift(xi)+12hift2(xi)]+Ω(ft)(3)\tilde{\mathcal{L}}^{(t)} = \sum_{i=1}^n[g_if_t(x_i)+\frac{1}{2}h_if_t^2(x_i)]+\Omega (f_t) \ \ \ (3)L~(t)=i=1∑n​[gi​ft​(xi​)+21​hi​ft2​(xi​)]+Ω(ft​)   (3)

图2：结构分数计算。只需要将每片叶子的梯度和二阶梯度统计量相加，然后应用评分公式就可以得到质量分数

定义 Ij={i∣q(xi)=j}I_j=\{i| q(x_i)=j\}Ij​={i∣q(xi​)=j} 为叶子节点 $j$ 的样本集。则能通过扩展 $\Omega$ 将等式 (3) 改写为:

L~(t)=∑i=1n[gift(xi)+12hift2(xi)]+γT+12λ∑j=1Twj2\tilde{\mathcal{L}}^{(t)} = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] + \gamma T + \frac{1}{2}\lambda\sum_{j=1}^Tw_j^2L~(t)=i=1∑n​[gi​ft​(xi​)+21​hi​ft2​(xi​)]+γT+21​λj=1∑T​wj2​

L~(t)=∑j=1T[(∑i∈Ijgi)wj+12(∑i∈Ijhi+λ)wj2]+γT(4)\tilde{\mathcal{L}}^{(t)} = \sum_{j=1}^T[(\sum_{i \in I_j}g_i)w_j + \frac{1}{2}(\sum_{i \in I_j}h_i + \lambda)w_j^2]+\gamma T \ \ \ (4)L~(t)=j=1∑T​[(i∈Ij​∑​gi​)wj​+21​(i∈Ij​∑​hi​+λ)wj2​]+γT   (4)

对于固定结构 $q(x)$ ，可以通过以下计算方式计算叶子节点 $j$ 的最佳权重 wj∗w_j^*wj∗​ :

wj∗=−∑i∈Ijgi∑i∈Ijhi+λ(5)w_j^* = -\frac{\sum_{i\in I_j}g_i}{\sum_{i \in I_j}h_i + \lambda} \ \ \ (5)wj∗​=−∑i∈Ij​​hi​+λ∑i∈Ij​​gi​​   (5)

并计算相应的最优值：

L(t)(q)=−12∑j=1T(∑i∈Ijgi)2∑i∈Ijhi+λ+γT(6){\mathcal{L}}^{(t)}(q) = – \frac{1}{2} \sum^T_{j=1}\frac{(\sum_{i\in I_j} g_i)^2}{\sum_{i\in I_j} h_i + \lambda}+\gamma T \ \ \ (6)L(t)(q)=−21​j=1∑T​∑i∈Ij​​hi​+λ(∑i∈Ij​​gi​)2​+γT   (6)

公式 (6) 可以作为一个评价函数来衡量一个树结构的质量 $q$。 这个分数就像评估决策树的 impurity score 一样，只是它是针对更广泛的目标函数得出的。 图 2 说明了这个分数的计算方式。

通常情况下，我们不可能列举出所有可能的树结构 $q$。 取而代之的是一种贪婪的算法，它从单一的叶子开始，迭代地在树上添加分支。 假设 ILI_LIL​ 和 IRI_RIR​ 是分裂后的左右节点的实例集。 假设 I=IL∪IRI=I_L∪I_RI=IL​∪IR​ ，则分裂后的损失减少量为:

Lsplit=12[(∑i∈ILgi)2∑i∈ILhi+λ+(∑i∈IRgi)2∑i∈IRhi+λ−(∑i∈Igi)2∑i∈Ihi+λ]−γ(7)\mathcal{L}_{split} =\frac{1}{2} \left[\frac{(\sum_{i\in I_L} g_i)^2}{\sum_{i\in I_L} h_i + \lambda}+\frac{(\sum_{i\in I_R} g_i)^2}{\sum_{i\in I_R} h_i + \lambda} – \frac{(\sum_{i\in I} g_i)^2}{\sum_{i\in I} h_i + \lambda}\right] – \gamma \ \ \ (7)Lsplit​=21​[∑i∈IL​​hi​+λ(∑i∈IL​​gi​)2​+∑i∈IR​​hi​+λ(∑i∈IR​​gi​)2​−∑i∈I​hi​+λ(∑i∈I​gi​)2​]−γ   (7)

这个公式在实践中通常被用来评估 $q$。

2.3 Shrinkage and Column Subsampling

除了第 2.1节中提到的正则化目标外，还有两项技术被用来进一步防止过度拟合。 第一种方法是 Friedman 引入的缩减技术。 缩减是在每一步 Tree boosting 之后，将新增加的权重按系数 $\eta$ 进行缩减。 类似于弹性优化中的学习率，收缩减少了每个单独的树的影响，并为未来的树留下空间以改进模型。 第二种技术是列（特征）抽样。该技术用于随机深林，它在一个用于梯度提升的商业软件 TreeNet 中实现，但没有在现有的开源软件包中实现。 根据用户的反馈，使用列子采样甚至比传统的行采样（也支持）更能防止过度拟合。

3. SPLIT FINDING ALGORITHMS

3.1 Basic Exact Greedy Algorithm

树状学习中的一个关键问题是找到如公式（7）所示的最佳拆分，即为树如何生长。 为了做到这一点，一个寻找分裂的算法列举了所有特征上的所有可能的拆分。 大多数现有的单机树形提升实现，如 scikit-learn、R 的 gbm 以及 XGBoost 的单机版都支持精确的贪婪算法。 精确的贪心算法要列举出连续特征的所有可能的拆分，在计算上是很困难的。为了有效地做到这一点，该算法必须首先根据特征值对数据进行排序，并按排序顺序访问数据，以积累公式（7）中结构得分的梯度统计。

图 3. 为一次拆分步骤，其基本思路同 CART 一样，对特征值排序后遍历拆分点，将其中最优二叉拆分作为当前结点的拆分，得到左右子树。

3.2 Approximate Algorithm

精确贪心算法非常强大，因为它枚举所有可能的拆分点。但是，当数据不能完全装入内存时，就不可能有效地这样做。同样的问题也出现在分布式环境中。为了在这两种设置中支持有效的 gradient tree boosting 就需要一种近似算法。

作者总结了一个近似的框架，它类似于过去文献中提出的想法，在算法 2 中。 概括地说，该算法首先根据特征分布的百分位数提出候选分割点（具体标准将在第 3.3 节给出）。然后，该算法将连续特征映射到由这些候选点分割的桶中，汇总统计数据，并根据汇总的统计数据在提案中找到最佳解决方案。

图 4 ：Higgs 10M dataset 上测试 AUC 收敛性的比较。其中 eps 参数表示分桶数量的倒数，作者发现局部方案需要较少的桶，因为它可以细化拆分的候选点。

该算法有两种变体，取决于对特征分位数的选取。 全局变体在树构建的初始阶段在全体样本上的特征值中选取特征分位数，并在所有级别上使用相同的策略来寻找分位数。本地变体则是在待拆分节点包含的样本特征值上选取，每个节点拆分前都要进行。全局方法比局部方法需要更少的提议步骤，在根节点拆分之前进行一次即可。然而，通常全局提议需要更多的候选点，因为候选点在每次拆分后都不会被完善。 局部提议在拆分后完善候选点，可能更适合于较深的树。 图 4 给出了不同算法在 Higgs boson dataset 上的比较。 实验发现，局部方案需要较少的候选点。 如果有足够多的候选点，全局方案可以和局部方案一样准确。

大多数现有的分布式树状学习的近似算法也遵循这个框架。 值得注意的是，直接构建梯度统计的近似直方图也是可行。 也可以使用其他变种的分桶策略来代替分位数。 分位数策略的优点是可分配和可重新计算，将在下一小节中详细介绍。 从图 4 中，作者还发现，在合理的近似水平下，分位数策略可以获得与精确贪心算法相同的精度。

这三类配置在 XGBoost 包均有实现。

3.3 Weighted Quantile Sketch

近似算法的一个重要步骤是提出候选拆分点。通常使用特征分位数来使候选拆分点在数据上均匀分布。记多重集合 Dk={(x1k,h1),(x2k,h2)⋯(xnk,hn)}\mathcal{D}_k=\{(x_{1k}, h_1), (x_{2k}, h_2) \cdots (x_{nk}, h_n)\}Dk​={(x1k​,h1​),(x2k​,h2​)⋯(xnk​,hn​)} 表示第 $k$ 个特征值和每个训练实例的二阶梯度统计。作者定义排序函数 rk:R→[0,+∞)r_{k} : \mathbb{R} \rightarrow [0,+\infty)rk​:R→[0,+∞) 为：

rk(z)=1∑(x,h)∈Dkh∑(x,h)∈Dk,x<zh,(8)r_{k}(z) =\frac{1}{\sum_{(x, h)\in \mathcal{D}_k} h} \sum_{(x, h)\in \mathcal{D}_k, x < z} h,\ \ \ (8)rk​(z)=∑(x,h)∈Dk​​h1​(x,h)∈Dk​,x<z∑​h,   (8)

表示特征值 $k$ 小于 $z$ 的实例的比例。其目的就是为了找到拆分点 {sk1,sk2,⋯skl}\{s_{k1}, s_{k2}, \cdots s_{kl}\}{sk1​,sk2​,⋯skl​} ，以至于

∣rk(sk,j)−rk(sk,j+1)∣<ϵ,sk1=min⁡ixik,skl=max⁡ixik.(9)|r_{k}(s_{k,j}) – r_{k}(s_{k,j+1})| < \epsilon, \ \ s_{k1} = \min_i \mathbf{x}_{ik}, s_{kl} = \max_i \mathbf{x}_{ik}.\ \ \ (9)∣rk​(sk,j​)−rk​(sk,j+1​)∣<ϵ,  sk1​=imin​xik​,skl​=imax​xik​.   (9)

其中 $ϵ$ 为近似因子，直观地说，这意味着每个分桶大约有 $1/ϵ$ 个候选点。这里每个数据点都由 hih_ihi​ 加权。

要理解为什么 hih_ihi​ 代表权重大小，作者将等式 3 写为：

∑i=1n12hi(ft(xi)−gi/hi)2+Ω(ft)+constant,\sum_{i=1}^n \frac{1}{2} h_i (f_t(\mathbf{x}_i) – g_i / h_i )^2 + \Omega(f_t) + constant,i=1∑n​21​hi​(ft​(xi​)−gi​/hi​)2+Ω(ft​)+constant,

可以理解为该目标函数以 hih_ihi​ 为权重，以 −gi/hi-g_i/h_i−gi​/hi​ 为标签的平方损失函数，所以近似算法取分位数时，会以二阶偏导 hih_ihi​ 为权重进行划分。

图 5. 按照 hih_ihi​ 进行加权取分位数

3.4 Sparsity-aware Split Finding

图 6. 具有默认方向的树结构。当分割所需的特征缺失时，一个示例将被归类到默认方向。

在许多实际问题中，输入 $\mathbf{x}$ 稀疏是很常见的。造成稀疏的原因有多种：1）数据中存在缺失值； 2) 统计中经常出现零条目；3）特征工程的产物，例如 one-hot 编码。让算法了解数据中的稀疏模式很重要。为此，作者建议在每个树节点中添加一个默认方向，如图 6 所示。当稀疏矩阵 x 中缺少一个值时，实例被分类为默认方向。

每个分支有两种默认方向选择。从数据中学习最佳默认方向。算法 3 关键的改进是只访问非缺失条目 IkI_kIk​。所提出的算法将不存在视为缺失值，并学习处理缺失值的最佳方向。当不存在对应于用户指定的值时，也可以应用相同的算法，方法是将枚举限制为一致的解决方案。

图 7.稀疏感知算法对 Allstate-10K 数据集的影响。数据集稀疏主要是由于 one-hot 编码。稀疏感知算法比未考虑稀疏性的原始版本快 50 倍以上

大多数现有的树形学习算法要么只对密集数据进行了优化，要么需要特定的程序来处理有限的情况，如分类编码。 XGBoost 以一种统一的方式处理所有的稀疏模式。 更重要的是，作者的方法利用了稀疏性，使计算复杂度与输入中的非缺失项数量成线性关系。 图 7 显示了在 Allstate-10K 数据集（数据集的描述见第 6 节）上稀疏意识和原始的实现的比较。作者发现稀疏意识算法比原始的版本快 50 倍。 这证实了稀疏感知算法的重要性。

4. SYSTEM DESIGN

4.1 Column Block for Parallel Learning

XGBoost 将每一列特征提前进行排序，以块（Block）的形式储存在缓存中，并以索引将特征值和梯度统计量 gi,hig_i,h_igi​,hi​ 对应起来，每次节点拆分时会重复调用排好序的块。而且不同特征会分布在独立的块中，因此可以进行分布式或多线程的计算。

图 8.用于并行学习的块状结构。 块中的每一列都是按相应的特征值排序的。 对块中的一列进行线性扫描就足以列举出所有的拆分点

4.2 Cache-aware Access

特征值排序后通过索引来取梯度 gi,hig_i,h_igi​,hi​ 会导致访问的内存空间不一致，进而降低缓存的命中率，影响算法效率。为解决这个问题，XGBoost 为每个线程分配一个单独的连续缓存区，用来存放梯度信息。

4.3 Blocks for Out-of-core Computation

数据量过大时，不能同时全部载入内存。XGBoost 将数据分为多个 blocks 并储存在硬盘中，使用一个独立的线程专门从磁盘中读取数据到内存中，实现计算和读取数据的同时进行。为了进一步提高磁盘读取数据性能，XGBoost 还使用了两种方法：一是通过压缩 block，用解压缩的开销换取磁盘读取的开销；二是将block分散储存在多个磁盘中，有助于提高磁盘吞吐量。

知识补充

1. XGBoost 的优缺点

• 优点

  • 精度更高：GBDT 只用到一阶泰勒展开，而 XGBoost 对损失函数进行了二阶泰勒展开。XGBoost 引入二阶导一方面是为了增加精度，另一方面也是为了能够自定义损失函数，二阶泰勒展开可以近似大量损失函数；

  • 灵活性更强：GBDT 以 CART 作为基分类器，XGBoost 不仅支持 CART 还支持线性分类器，使用线性分类器的 XGBoost 相当于带 L1 和 L2 正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。此外，XGBoost 工具支持自定义损失函数，只需函数支持一阶和二阶求导；

  • 正则化：XGBoost 在目标函数中加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、叶子节点权重的 L2 范式。正则项降低了模型的方差，使学习出来的模型更加简单，有助于防止过拟合，这也是 XGBoost 优于传统 GBDT 的一个特性。

  • Shrinkage（缩减）：相当于学习速率。XGBoost 在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。传统 GBDT 的实现也有学习速率；

  • 列抽样：XGBoost 借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算。这也是 XGBoost 异于传统 GBDT 的一个特性；

  • 缺失值处理：对于特征的值有缺失的样本，XGBoost 采用的稀疏感知算法可以自动学习出它的分裂方向；

  • XGBoost 工具支持并行：boosting 不是一种串行的结构吗? 怎么并行的？注意 XGBoost 的并行不是 tree 粒度的并行，XGBoost 也是一次迭代完才能进行下一次迭代的（第 t 次迭代的代价函数里包含了前面 t-1 次迭代的预测值）。XGBoost 的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost 在训练之前，预先对数据进行了排序，然后保存为 block 结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个 block 结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

  • 可并行的近似算法：树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以 XGBoost 还提出了一种可并行的近似算法，用于高效地生成候选的分割点。

• 缺点

  • 虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量，但在节点分裂过程中仍需要遍历数据集；

  • 预排序过程的空间复杂度过高，不仅需要存储特征值，还需要存储特征对应样本的梯度统计值的索引，相当于消耗了两倍的内存。

2.分类回归树 Classification And Regression Tree,CART

参考自：《统计学习方法》【李航】第 5 章 5.5 节

CART 是在给定输入随机变量 X 条件下输出随机变量 Y 的条件概率分布的学习方法。
CART 假设决策树是二叉树， 内部结点特征的取值为“是”和“否”， 左分支是取值为“是”的
分支， 右分支是取值为“否”的分支。 这样的决策树等价于递归地二分每个特征， 将输入空
间即特征空间划分为有限个单元， 并在这些单元上确定预测的概率分布， 也就是在输入给
定的条件下输出的条件概率分布。

CART算法由以下两步组成：

• 决策树生成： 基于训练数据集生成决策树， 生成的决策树要尽量大；
• 决策树剪枝： 用验证数据集对已生成的树进行剪枝并选择最优子树， 这时用损
  失函数最小作为剪枝的标准。

2.1 CART 生成算法

决策树的生成就是递归地构建二叉决策树的过程。 对回归树用平方误差最小化准则，

对分类树用基尼指数（Gini index） 最小化准则， 进行特征选择， 生成二叉树。

2.1.1 回归数的生成

假设 $X$ 与 $Y$ 分别为输入和输出变量，且 $Y$ 是连续变量，给定训练数据集

D={(x1,y1),(x2,y2),…,(xN,yN)}D=\{(x_1,y_1),(x_2,y_2),…,(x_N,y_N)\}D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

考虑如何生成回归树。

一个回归树对应于输入空间（即特征空间）的一个划分以及划分的单元的输出值。假设已将输入空间划分为 $M$ 个单元 R1,R2,…,RMR_1,R_2,…,R_MR1​,R2​,...,RM​，并且在每个单元 RmR_mRm​ 上有一个固定的输出值 cmc_mcm​ ，于是回归树模型可表示为：

f(x)=∑m=1McmI(x∈Rm)f(x) = \sum_{m=1}^M c_m I (x \in R_m)f(x)=m=1∑M​cm​I(x∈Rm​)

当输入空间的划分确定时，可以用平方误差 ∑xi∈Rm(yi−f(xi))2\sum_{x_i \in R_m}(y_i – f(x_i))^2∑xi​∈Rm​​(yi​−f(xi​))2 来表示回归树对于训练数据的预测误差，用平方误差最小准则求解每个单元上的最优输出值。易知，单元 RmR_mRm​ 上的 cmc_mcm​ 的最优值 c^m\hat{c}_mc^m​ 是 RmR_mRm​ 上的所有的输入实例 xix_ixi​ 对应的输出 yiy_iyi​ 的均值，即

c^m=ave(yi∣xi∈Rm)\hat{c}_m=ave(y_i|x_i \in R_m)c^m​=ave(yi​∣xi​∈Rm​)

问题在于如何对输入空间进行划分。这里采用启发式的方法，选择第 $j$ 个变量 x(j)x^{(j)}x(j) 和它的取值 $s$ 作为切分变量（Splitting Variable）和切分点（Splitting Point），并定义两个区域：

R1(j,s)={x∣x(j)<=s}和R2(j,s)={x∣x(j)>s}R_1(j,s)=\{x|x^{(j)}<=s\}\ 和\ R_2(j,s)=\{x|x^{(j)}>s\} R1​(j,s)={x∣x(j)<=s} 和 R2​(j,s)={x∣x(j)>s}

然后寻找最优切分变量 $j$ 和最优切分点 $s$。具体地，求解

min⁡j,s[min⁡c1∑xi∈R1(j,s)(yi−c1)2+min⁡c2∑xi∈R2(j,s)(yi−c2)2]\min_{j,s}[\min_{c_1} \sum_{x_i \in R_1(j,s)}(y_i – c_1)^2 + \min_{c_2} \sum_{x_i \in R_2(j,s)}(y_i – c_2)^2]j,smin​[c1​min​xi​∈R1​(j,s)∑​(yi​−c1​)2+c2​min​xi​∈R2​(j,s)∑​(yi​−c2​)2]

对固定输入变量 $j$ 可以找到最优切分点 $s$。

c^1=ave(yi∣xi∈R1(j,s))和c^2=ave(yi∣xi∈R2(j,s))\hat{c}_1 = ave(y_i | x_i \in R_1(j,s))\ 和\ \hat{c}_2=ave(y_i|x_i \in R_2(j,s))c^1​=ave(yi​∣xi​∈R1​(j,s)) 和 c^2​=ave(yi​∣xi​∈R2​(j,s))

遍历所有输入变量，找到最优的切分变量 $j$，构成一个对 $(j,s)$。依此将输入空间划分为两个区域。接着，对每个区域重复上述划分过程，直到满足停止条件为止。这样就生成一棵回归树。这样的回归树通常称为最小二乘回归树（least squares regression tree），现将算法叙述如下：

• 算法（最小二乘回归树生成算法）

  • 输入：训练数据集 $D$；

  • 输出：回归树 $f(x)$。

  • 具体细节：在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：

    • 1.选择最优切分变量 $j$ 与切分点 $s$，求解

      min⁡j,s[min⁡c1∑xi∈R1(j,s)(yi−c1)2+min⁡c2∑xi∈R2(j,s)(yi−c2)2]\min_{j,s}[\min_{c_1} \sum_{x_i \in R_1(j,s)}(y_i – c_1)^2 + \min_{c_2} \sum_{x_i \in R_2(j,s)}(y_i – c_2)^2]j,smin​[c1​min​xi​∈R1​(j,s)∑​(yi​−c1​)2+c2​min​xi​∈R2​(j,s)∑​(yi​−c2​)2]

      遍历变量 $j$，对固定的切分变量 $j$ 扫描切分点 $s$，选择上式达到最小值的对 $(j,s)$。

    • 2.用选定的对 $(j,s)$ 划分区域并决定相应的输出值：

      R1(j,s)={x∣x(j)<=s}和R2(j,s)={x∣x(j)>s}R_1(j,s)=\{x|x^{(j)}<=s\}\ 和\ R_2(j,s)=\{x|x^{(j)}>s\} R1​(j,s)={x∣x(j)<=s} 和 R2​(j,s)={x∣x(j)>s}

      c^m=1Nm∑xi∈Rm(j,s)yi,x∈Rm,m=1,2\hat{c}_m = \frac{1}{N_m} \sum_{x_i \in R_m(j,s)} y_i,x\in R_m,m=1,2c^m​=Nm​1​xi​∈Rm​(j,s)∑​yi​,x∈Rm​,m=1,2

    • 3.继续对两个子区域调用 1、2，直到满足停止条件。

    • 4.将输入空间划分为 $M$ 个区域 R1,R2,…,RmR_1,R_2,…,R_mR1​,R2​,...,Rm​，生成决策树：

      f(x)=∑m=1Mc^mI(x∈Rm)f(x) = \sum_{m=1}^M \hat{c}_m I(x \in R_m)f(x)=m=1∑M​c^m​I(x∈Rm​)

2.1.2 分类树的生成

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点。

基尼指数定义：分类问题中，假设有 $K$ 个类，样本点属于第 $k$ 类的概率为 pkp_kpk​ ，则概率分布的基尼指数定义为

Gini(p)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2Gini(p) = \sum_{k=1}^K p_k(1-p_k)= 1-\sum_{k=1}^K p_k^2Gini(p)=k=1∑K​pk​(1−pk​)=1−k=1∑K​pk2​

对于二分类问题，若样本点属于第 1 个类的概率是 $p$，则概率分布的基尼指数为

$$Gini(p)=2p(1-p)$$

对于给定的样本集合 $D$，其基尼指数为

Gini(D)=1−∑k=1K(∣Ck∣∣D∣)2Gini(D)=1-\sum_{k=1}^{K}(\frac{|C_k|}{|D|})^2Gini(D)=1−k=1∑K​(∣D∣∣Ck​∣​)2

这里，CkC_kCk​ 是 $D$ 中属于第 $k$ 类的样本子集，$K$ 是类的个数。

如果样本集合 $D$ 根据特征 $A$ 是否取某一可能值 $a$ 被分割成 D1D_1D1​ 和 D2D_2D2​ 两部分，即

Gini(D,A)=∣D1∣∣D∣Gini(D1)+∣D2∣∣D∣Gini(D2)Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)Gini(D,A)=∣D∣∣D1​∣​Gini(D1​)+∣D∣∣D2​∣​Gini(D2​)

基尼指数 $Gini(D)$ 表示集合 $D$ 的不确定性，基尼指数 $Gini(D,A)$ 表示经 $A=a$ 分割后集合 $D$ 的不确定性。基尼指数越大，样本集合的不确定性也就越大，这一点与熵相似。

• 算法（CART 生成算法）

  • 输入：训练集 $D$ ；停止计算的条件；

  • 输出：CART 决策树

  • 具体细节：根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策

    树：

    • 1.设结点的训练数据集为 $D$，计算现有特征对该数据集的基尼指数。此时，对每

      一个特征 $A$，对其可能取的每个值 $a$，根据样本点对 $A＝a$ 的测试为“是”或“否”将 $D$ 分割成D1D_1D1​ 和 D2D_2D2​ 两部分，利用 Gini(D,A)=∣D1∣∣D∣Gini(D1)+∣D2∣∣D∣Gini(D2)Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)Gini(D,A)=∣D∣∣D1​∣​Gini(D1​)+∣D∣∣D2​∣​Gini(D2​) 计算 $A＝a$ 时的基尼指数。

    • 2.在所有可能的特征 $A$ 以及它们所有可能的切分点 $a$ 中，选择基尼指数最小的特征

      及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成

      两个子结点，将训练数据集依特征分配到两个子结点中去。

    • 3.对两个子结点递归地调用 1，2 直至满足停止条件。

    • 4.生成 CART 决策树。

    • 5.算法停止计算的条件是结点中的样本个数小于预定阈值，或样本集的基尼指数小于预 定阈值（样本基本属于同一类），或者没有更多特征

2.2 CART 减枝

CART 剪枝算法从“完全生长”的决策树的底端剪去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。CART 剪枝算法由两步组成：首先从生成算法产生的决策树 T0T_0T0​ 底端开始不断剪枝，直到 T0T_0T0​ 的根结点，形成一个子树序列 {T0,T1,…,Tn}\{T_0,T_1, …,T_n\}{T0​,T1​,…,Tn​}；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

1.剪枝，形成一个子树序列

在剪枝过程中，计算子树的损失函数：Cα=C(T)+α∣T∣C_{\alpha} = C(T) + \alpha |T|Cα​=C(T)+α∣T∣ 。其中，$T$ 为任意子树，$C(T)$ 为训练数据的预测误差（如基尼指数），$|T|$ 为子树的叶结点个数，$\alpha >=0$ 为参数，Cα(T)C_{\alpha}(T)Cα​(T) 为参数是 $\alpha$ 时的子树 $T$ 的整体损失。参数 $\alpha$ 权衡训练数据的拟合程度与模型的复杂度。

对于固定的 $\alpha$ ,一定存在使损失函数 Cα(T)C_{\alpha}(T)Cα​(T) 最小的子树，将其表示为 TαT_{\alpha}Tα​ 。TαT_{\alpha}Tα​ 在损失函数 Cα(T)C_{\alpha}(T)Cα​(T) 最小的意义下是最优的。任意验证这样的最优子树是唯一的。当 $\alpha$ 大的时候，最优子树 TαT_{\alpha}Tα​ 偏小；当 $\alpha$ 小的时候，最优子树 TaT_aTa​ 偏大。极端情况下，当 $\alpha =0$ 时，整体树是最优的。当 $\alpha \to \infty$ 时，根节点组成的单结点树是最优的。

Breiman 等人证明：可以用递归的方法对树进行剪枝。将 $\alpha$ 从小增大，0=α0<α1<…<αn<∞0=\alpha_0<\alpha_1<…<\alpha_n<\infty0=α0​<α1​<...<αn​<∞，产生一系列区间 [αi,αi+1),i=0,1,…,n[\alpha_i,\alpha_{i+1}),i=0,1,…,n[αi​,αi+1​),i=0,1,...,n；剪枝得到的子树序列对应着区间 α∈[αi,αi+1),i=0,1,…,n\alpha \in [\alpha_i,\alpha_{i+1}),i=0,1,…,nα∈[αi​,αi+1​),i=0,1,...,n 的最优子树序列 {T0,T1,…,Tn}\{T_0,T_1,…,T_n\}{T0​,T1​,...,Tn​}，序列中子树是嵌套的。

具体为，从整体树 T0T_0T0​ 开始剪枝。对 T0T_0T0​ 的任意内部结点 $t$ ，以 $t$ 为单结点树的损失函数是：

Cα(t)=C(t)+αC_{\alpha}(t) = C(t) + \alphaCα​(t)=C(t)+α

以 $t$ 为根结点的子树 TtT_tTt​ 的损失函数为：

Cα(Tt)=C(Tt)+α∣Tt∣C_{\alpha} (T_t) = C(T_t) + \alpha |T_t|Cα​(Tt​)=C(Tt​)+α∣Tt​∣

当 $\alpha =0$ 及 $\alpha$ 充分小时，有不等式：

Cα(Tt)<Cα(t)C_{\alpha} (T_t) < C_{\alpha}(t)Cα​(Tt​)<Cα​(t)

当 $\alpha$ 增大时，在某一 $\alpha$ 有：

Cα(Tt)=Cα(t)C_{\alpha}(T_t) = C_{\alpha}(t)Cα​(Tt​)=Cα​(t)

当 $\alpha$ 再增大时，Cα(Tt)>Cα(t)C_{\alpha} (T_t) > C_{\alpha}(t)Cα​(Tt​)>Cα​(t)。只要 α=C(t)−C(Tt)∣Tt∣−1\alpha = \frac{C(t) – C(T_t)}{|T_t|-1}α=∣Tt​∣−1C(t)−C(Tt​)​，TtT_tTt​ 与 $t$ 有相同的损失函数值，而 $t$ 的结点少，因此 $t$ 比 TtT_tTt​ 更可取，对 TtT_tTt​ 进行剪枝。

为此，对 T0T_0T0​ 中每一内部结点 $t$ ，计算

g(t)=C(t)−C(Tt)∣Tt∣−1g(t) = \frac{C(t) – C(T_t)}{|T_t|-1}g(t)=∣Tt​∣−1C(t)−C(Tt​)​

它表示剪枝后函数减少的程度。在 T0T_0T0​ 中减去 $g(t)$ 最小的 TtT_tTt​ ，将得到的子树作为 T1T_1T1​，同时将最小的 $g(t)$ 设为 α1\alpha_1α1​。T1T_1T1​ 为区间 [α1,α2)[\alpha_1,\alpha_2)[α1​,α2​) 的最优子树。

如此剪枝下去，直至得到根结点。在这一过程中，不断地增加 $\alpha $ 的值，产生新的区间。

2.在剪枝得到的子树序列 T0,T1,…,TnT_0,T_1,…,T_nT0​,T1​,...,Tn​ 中通过交叉验证选取最优子树 $T_\alpha $

具体地，利用独立的验证数据集，测试子树序列 T0,T1,…,TnT_0,T_1,…,T_nT0​,T1​,...,Tn​ 中各棵子树的平方误差或基尼指数。平方误差或基尼指数最小的决策树被认为是最优的决策树。在子树序列中，每棵子树 T0,T1,…,TnT_0,T_1,…,T_nT0​,T1​,...,Tn​ 都对应于一个参数 α1,α2,…,αn\alpha_1,\alpha_2,…,\alpha_nα1​,α2​,...,αn​。所以，当最优子树 TkT_kTk​ 确定时，对应的 αk\alpha_kαk​ 也确定了，即得到最优决策树 TαT_\alphaTα​。

• CART 剪枝算法
  • 输入：CART 算法生成的决策树 T0T_0T0​；
  • 输出：最优决策树 TaT_aTa​；
  • 具体过程：
    • 1.设 k=0,T=T0k=0,T=T_0k=0,T=T0​；
    • 2.设 $a=+\infty$；
    • 3.自下而上对内部结点 $t$ 计算 C(Tt),∣Tt∣C(T_t),|T_t|C(Tt​),∣Tt​∣ 以及 g(t)=C(t)−C(Tt)∣Tt∣−1,α=min⁡(α,g(t))g(t) = \frac{C(t) – C(T_t)}{|T_t|-1},\alpha=\min(\alpha,g(t))g(t)=∣Tt​∣−1C(t)−C(Tt​)​,α=min(α,g(t))。其中 TtT_tTt​ 表示以 $t$ 为根节点的子树，C(Tt)C(T_t)C(Tt​) 是对训练数据的预测误差，∣Tt∣|T_t|∣Tt​∣ 是 TtT_tTt​ 的叶节点个数；
    • 4.自上而下地访问内部结点 $t$ ，如果有 $g(t)=a$，进行剪枝，并对叶节点 $t$ 以多数表决法决定其类，得到树 $T$；
    • 5.设 k=k+1,ak=a,Tk=Tk=k+1,a_k=a,T_k =Tk=k+1,ak​=a,Tk​=T；
    • 6.如果 $T$ 不是由根结点单独构成的树，则回到步骤 4；
    • 7.采用交叉验证法在子树序列 T0,T1,…,TnT_0,T_1,…,T_nT0​,T1​,...,Tn​ 中选取最优子树 TaT_aTa​；

参考材料

• XGBoost: A Scalable Tree Boosting System: https://arxiv.org/pdf/1603.0275
• 机器学习 | XGBoost详解：https://zhuanlan.zhihu.com/p/142413825
• 《统计学习方法》【李航】第 5 章 5.5 节