专栏丨基于数据挖掘的上市公司高送转预测(五)

*点链接报名第九届“泰迪杯”数据挖掘挑战赛

文丨杨陆 吉小为 屠怡婷

源丨第八届“泰迪杯”数据挖掘挑战赛特等奖作品

专栏丨基于数据挖掘的上市公司高送转预测(一)

专栏丨基于数据挖掘的上市公司高送转预测(二)

专栏丨基于数据挖掘的上市公司高送转预测(三)

专栏丨基于数据挖掘的上市公司高送转预测(四)

第 5 章 基于多种算法问题二的研究

5.1基于模型融合的预测模型构造

5.1.1模型选择

本文主要选择在测试集上得出的 AUC 作为评价各分类算法的指标，因此下面将六个算法调参前后各模型的测试集上得出的 AUC 对比，如表 8 所示。

表 8各模型 AUC 数值

将调参后 AUC 的值从小到大排序，依次是 LR 82.07%、RFC 83.10%、SVM 83.46%、XGBoost 85.25%、Lightgbm85.57% 和 Catboost 85.65%、，可见发现 Xgboost、Catboost、Lightgbm 这三对中 GBDT 的优化实现的算法效果远好于其他算法。

为增加对比效果，再使用 ROC 曲线观察各模型之间的优劣，ROC 曲线图是反映敏感性与特异性之间关系的曲线。横坐标 X 轴为 1-特异性，也称为假阳性率（误报率），X 轴越接近零准确率越高；纵坐标 Y 轴称为敏感度，也称为真阳性率（敏感度），Y 轴越大代表准确率越好。根据曲线位置，把整个图划分成了两部分，曲线下方部分的面积被称为 AUC（Area Under Curve），用来表示预测准确性，AUC 值越高，也就是曲线下方面积越大，说明预测准确率越高。曲线越接近左上角（X 越小，Y 越大），预测准确率越高。

ROC 曲线如图 6 所示。

图 6 ROC 曲线

不难发现 Xgboost、Catboost、Lightgbm 这三对中 GBDT 的优化实现的算法效果远好于其他算法，其中 Catboost 比 XGBoost、LightGBM 表现的更为优秀。本文为了更好的提升模型的预测准确率和泛化能力，使用 Stacking 模型融合，将这几个学习器的预测结果作为新的训练集，去学习一个新的学习器。

5.1.2 模型融合的介绍

本文主要使用 Stacking 方法进行模型融合，在介绍 Stacking 模型融合方法前， 首先需要了解集成学习这个概念。集成学习(ensemble learning)指的并非是某一个特定的机器学习算法，而是结合多个机器学习算法来构建模型去完成学习目标， 也就是常说的“博采众长”。

集成学习主要包括：Bagging、Boosting、Stacking，它们分别使用并行、串行、树行的计算方法。本文用到的 Stacking 模型融合方法，即为使用树行计算方法的集成学习方法。

由于人解决问题的思维是树形的，将模型树行化符合问题本身的逻辑，精确率和召回率呈稳态正相关。因此采用树行计算方法的 Stacking 方法可以整合不同模型的最好表现，使模型融合更加科学化，用以提升模型的预测准确率和泛化能力。

图 7 Stacking 融合模型过程图示

Stacking 融合模型一般分为 2 层内容。

第 1 层模型主要用于产生第 2 层模型的训练集数据(Training Data)。产生过程如下：首先，训练集数据内容依图所示， 是用一个基础模型进行 k 折交叉验证的结果。k 折交叉验证，就是先拿出 k-1 折作为训练数据，另外一折作为测试数据( Testing Data)。每一个交叉验证产生的预测结果组合起来，作为第 2 层模型的训练集数据。另外，还要对数据集原来的整个训练数据进行预测，这个过程会生成 k 个预测数据集，对于这部分数据，本文将数据集各部分相加取平均作为下一层模型的测试集数据。

第 2 层学习模型采用非线性模型，通过将第 1 层模型输出的结果作为训练数据训练模型，得到新的预测结果。通过将新的预测结果和第 2 层模型的测试数据集进行对比，观察预测准确度。

Stacking 集成学习算法的效果好坏取决于两个方面: 一个是基分类器的预测效果, 通常 基分类器的预测效果越好, 集成学习模型的预测效果越好; 另一个是基分类器之间需要有一定的差异性, 因为每个模型的主要关注点不同, 这样集成才能使每个基学习器充分发挥其优点。

本文基于经典的 Stacking 模型融合方法进行改进：

1.将其每一步验证中使用的单个相同模型，改为 6 个不同的机器学习模型进行预测。

2.使用第 1 层所有基分类器所产生的类别概率值作为第 2 层模型的输入。

5.1.3 模型融合过程

本文充分考虑了决定 Stacking 集成学习模型效果好坏的两个方面: 一是选择学习能力较强的基学习器; 二是充分考虑基学习器之间的差异性。LR 是解决工业规模问题最流行的算法，对于数据中小噪声的鲁棒性很好，并且不会受到轻微的多重共线性的特别影响。SVM 在解决非线性数据集的分类和回归中具有非常好的效果。XGBoost、Lightgbm、Catboost 是集成学习 Boosting 中泛化能力和学习能力较强的算法。6 种算法不仅有充分的理论支撑, 而且在科学研究中正扮演着重要的角色。第 2 层元学习器同样选择学习能力较强的 Lightgbm 算法, 用于对第1 层基学习器的集成, 并且使用 7 折交叉验证划分数据的方式防止过拟合的发生。

综上所述, 本文基于 Stacking 集成学习的分类模型第 1 层基学习器选择 LR、

RFC、SVM、XGBoost、Lightgbm、Catboost, 第 2 层元学习器选择 lightgbm，模型结构如图所示。

图 8 基于 Stacking 集成学习的预测模型

最终结果如上图所示：stacking 集成模型在测试集上的得分高于所有基础分类器。并且 Stacking 集成模型在测试集上的 auc 为 85.71%，说明模型较为稳定，不存在严重过拟合。

图 9 Stacking 集成学习模型与其他模型 AUC 对比

由此可见, 基于 Stacking 集成学习模型综合了各个基分类器的优点后, 并充分发挥了集成模型的性能, 因此具有更强的泛化能力和更好的预测效果。

5.2基于融合模型的预测第八年的决策结果

通过对下一年上市公司是否高送转的 Stacking 集成学习融合模型的建立，使用第 7 年年数据、日数据和基础数据数据预处理并特征选择后的合并数据中的特征因子去预测 3466 只股票第 8 年上市公司是否决定高送转。

图 10 第 8 年上市公司是否高送转直方图

得到预测结果：存在 10.01%只股票高送转，即有 347 个上市公司决定高送转， 3119 个上市公司不会高送转。为方便观察，绘制第 8 年上市公司是否决定高送转的 0-1 决策直方图，0 表示不执行高送转，1 表示执行高送转，如图 10 所示。

第 6 章 总结

本文通过结合影响上市公司下一年是否高送转决策实际情况与机器学习算法进行建模预测，主要目的是构建最优的分类模型预测上市公司下一年是否实施高送转。最终得到以下结论：

一、本文将年数据、日数据、基础数据按股票编号和年分组合并，将合并后特征处理的整体数据放入机器学习算法中预测上市公司下一年是否实施高送转。通过对模型训练集 AUC 的计算，模型得到了较好的预测能力，可见将三类数据按本文的方法合并的方法有一定的合理性与正确性。

二、在使用 LR、RFC、SVM、XGBoost、Lightgbm 和 Catboost 六种机器学习模型的评价指标训练集 AUC 对比，不难发现 Xgboost、Catboost、Lightgbm 这三种算法效果远好于其他算法。对于效果较好的 XGBoost、LGBoost、CatBoost 这三个模型，选择特征重要性排名前 20 个重要特征，挑选出三个模型共同确定的重要因子作为问题一的结果。

三、问题一的特征因子为基本因子：上市年限、总资产净利率、投资支出/ 折旧和摊销、息税折旧摊销前利润/负债合计、最低价、最高价、收盘价；成长因子：基本每股收益、每股净资产、稀释每股收益、每股资本公积、每股收益(期末摊薄)；时序因子：基本每股收益同比增长、总资产相对年初增长、最高价下半年变异系数、收盘价上半年变异系数、收盘价下半年变异系数。

四、在预测模型的选择上，本文基于 Stacking 集成学习的分类模型，第 1 层基学习器选择 LR、RFC、SVM、XGBoost、Lightgbm、Catboost, 第 2 层元学习器选择了 lightgbm，从而确定了最终最优的预测模型。Stacking 集成模型在测试集上的得分高于所有基础分类器，Stacking 集成模型在测试集上的得分高于所有基础分类器，其 auc 得分为 85.71%，可见建立的模型较为稳定，不存在严重过拟合且效果较好。

五、预测第 8 年上市公司是否高送转的结果：10.01%的上市公司选择高送转，即有 347 个上市公司决定高送转，3119 个上市公司不会高送转。

综上所述，本文采用的策略与方法有一定的准确性和现实意义，可以作为预测上市公司下一年是否实施高送转方案的有效模型。

参考文献

[1]邢小艳.基于模式识别的“高送转”投资策略研究[D].广东:华南理工大学.2016:8-10. [2]关怡婕.上市公司高送转的动因与财务效省略研究[J].Value Engineering. 2020:13-15. [3]赵爱玲.上市公司高派现高送转股利政策影响因素研究[J].财会月刊.2019(17):36-38. [4]王悦.上市公司高送转的影响因素分析[J].中外企业家. 2019(29):15.

[5]陈健,宋文达.量化投资的特点、策略和发展研究[J].时代金融. 2016(29):245-247. [6]白一池.资本市场量化投资策略和风控措施探析[J].金融视线. 2020(05):118.

[7]周志华.机器学习 [M].清华大学出版社.2016.

[8]徐慧丽.基于随机森林的多阶段集成学习方法[J].高师理科学刊,2018(2). [9]曹正凤.随机森林算法优化研究[D].北京:首都经济贸易大学,2014.

[10]林晓明.华泰人工智能系列之三:人工智能选股之支持向量机模型[R].广东:华泰证券研究所,2017.

[11]林晓明.华泰人工智能系列之六:人工智能选股之 Boosting 模型[R].广东:华泰证券研究所,2017.

[12]Guolin Ke.LightGBM: A Highly Efficient Gradient BoostingDecision Tree[J].2018. [13]Tianqi Chen and Carlos Guestrin. Xgboost: A scalable tree boosting system[J]. In Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2016:785–794.

[14]Lightgbm 基本原理介绍[DB/OL].https://blog.csdn.net/qq_24519677/article/ Details/82811215.

[15]chencas.catboost 原理[DB/OL].https://blog.csdn.net/chencas/java/article/ details/104418476.

[16]齐常青.面向不平衡样本分类的过采样集成学习算法研究[D].哈尔滨：哈尔滨工业大学.2019:15-16.

[17]贾文慧 . 基于 XGBoost 算法的骨科辅助诊断模型研究 [D]. 太原: 太原理工大学.2018:12-13.

[18]沈磊. 基于 Spark 的微博舆论监控系统的设计与实现[D]. 成都: 电子科技大学.2018:8-10.

DIG MORE

LEARN MORE

第1期丨人工智能云实习项目（机器学习预测方向）（5.1开课）

2021-03-23

实训丨Python量化投资线下实训营，2021五一/暑期档期!

2021-03-23

第13期丨零基础量化投资特训营(4.8开课)

2021-03-22

第6期丨Python数据挖掘特训营(4.15开课)

2021-03-22