证券市场的现状与量化智能平台的模块分析

在中国证券市场28年的发展过程中，经历了多次剧烈波动。从多次的牛熊更替过程中可以看出，投资者情绪在证券市场波动中起着推波助澜的作用。投资者过度的乐观或者过度的恐慌，使得证券市场股票价格严重脱离公司的内在价值。

在证券市场上，证券投资者是指的从事股票、债券等有价证券买卖的个人或机构。机构投资者是符合法律法规规定的，可以使用自有资金或筹集的资金专门从事有价证券投资活动的，登记注册或者经过政府相关部门批准而成立的机构。虽然中国在不断加快机构投资者的建设与发展，不断扩充中国证券市场的机构投资者比例，推动投资者结构的合理化，例如允许保险公司、社保基金等适当投资股票市场，允许部分经过认证合格的境外机构投资者进入中国资本市场，QFII和RQFII的不断扩容等。

机构投资者与个人投资者相比，(1)投资管理更加的专业化，能配备专门的部门进行信息搜集分析、投资决策运作以及上市公司研究等，并且有专门的投资专家进行管理。机构投资者的投资行为更加理性化，对于特定股票有较长的投资周期；(2)投资行为更加规范，机构投资者由于受到多方面的监管，投资行为相对比较规范，国家和政府通过一系列的法律和法规来监督和规范机构投资者的行为；(3)投资组合化，机构投资者往往具备交雄厚的资金实力，这使得机构投资者具备更强的风险承受能力。在投资过程中往往会根据证券市场情况进行更专业化的市场研究，从而进行合理的投资组合，使得自身投资风险降到最低。

但中国证券市场目前所处阶段还未达到半强式有效市场，公开信息对中国证券市场价格的波动依然存在显著的影响。从目前中国证券市场投资者结构比例上看，目前证券市场中99.73%的投资者为个人投资者。个人投资者由于受到自身条件和外部因素的限制，在做出投资决策行为时，较容易被其他投资者的投资行为影响，并模仿其投资决策，由于个人投资者的投资理念不成熟，很容易就形成了“跟风”行为，进而出现证券市场的“羊群效应”。在证券市场中，“羊群效应”使得投资者抛弃自身的私人信息而盲目追从别人，使得投资者行为具有较强的趋同性，这样证券市场基本面等因素对股票未来价格的影响能力就会削弱。“羊群效应”将引发过度反应，在趋势上升的市场中，投资者的从众心理使得其盲目追涨，股票的价格将远远超出其价值的限度，从而导致泡沫的产生；在趋势下跌的市场中，这种从众心理又使得投资者盲目地杀跌，增加市场风险。

“羊群效应”将导致证券市场的不稳定性和脆弱性，进而给整个金融市场带来风险。证券市场监管部门如何在证券市场“羊群效应”形成前探测出证券市场波动的范围，做好必要的风险防控，防止证券市场受外因影响造成剧烈波动，是一个关系到经济健康发展和社会稳定的重大问题。

上市公司的新闻、公告等信息在投资者中流转后，经过投资者的交流讨论，相互影响，容易对于上市公司目前经营状态，未来股票价格走势产生相对一致的看法，形成投资者情绪的聚集，造成公司股票价格的剧烈波动。上市公司若能在投资者情绪出现错误偏差时，及时介入，对错误信息进行澄清，正确引导投资者的投资行为，将避免公司股票价格较大幅度地偏离其本身价值，从而降低公司风险。

个人投资者由于受自身信息渠道的影响，无法像机构投资者那样广泛地收集上市公司相关信息，从而对股票价格做出合理判断。社会化媒体平台成了个人投资者获取信息的重要途径，然而，社会化媒体中海量的信息也为个人投资者对信息做出准确判断带来了极大的挑战。个人投资者无法吸收社会化媒体中所有的股票相关信息，这使得投资者只能根据片面的信息做出投资决策，极易受部分其他投资者的影响，造成财产损失。机器学习，人工智能的出现，使得借助计算机强大的运算能力，汇集提炼社会化媒体平台信息成为可能。个人投资者不再需要逐个的阅读吸收海量的信息，通过计算机所总结的社会化媒体平台信息就可以洞悉其他投资者情绪，全面掌握股票相关资讯，从而为正确做出投资决策提供必要的支撑。

综上所述，无论是证券市场监管者、上市公司还是个人投资者均需要从海量的社会化媒体信息中提前获取证券市场的投资者情绪，为监管决策、公司管理和投资行为提供依据。目前基于媒体感知的证券市场研究无法利用社会化媒体的特殊结构，不能对海量社会化媒体信息进行自动、高效和准确地获取、量化，造成证券市场媒体情绪感知滞后和低覆盖率，进而导致了利用媒体效应预测证券市场波动产生严重偏差。

投资者通过阅读新闻媒体、公司财报以及社会化媒体平台中的信息，依据自身的认知，对这些信息进行理解和吸收后，通过发帖、回复和评论等方式，反馈到社会化媒体平台中，进一步影响其他投资者的情绪。投资者在此基础上做出投资决策。

本研究在大数据背景下，基于社会化媒体本身的特征和结构，结合机器学习、人工智能和深度神经网络，利用创新的社会化媒体情感提取算法、CSCNN深度神经财经文本情感判断模型和基于社会化媒体情绪驱动的LSTM深度神经网络，构建出基于大数据的证券市场社会化媒体效应量化智能平台。该平台能自动快速的从东方财富股吧，新浪财经和雪球等平台中爬取社会化媒体信息，并自动进行数据清洗，过滤，筛选，情感抽取，构建基于股票和板块的社会化媒体市场情绪指数，根据证券市场信息和社会化媒体市场情绪指数对证券市场波动做出预测，实现证券市场大幅波动自动预警以及为证券市场监管、公司管理和投资者投资决策提供支持。

平台总体结构与功能模块

基于大数据的证券市场社会化媒体效应量化智能平台主要由社会化媒体信息获取模块、社会化媒体数据预处理模块、社会化媒体量化处理模块、人工情感标注模块、社会化媒体情感极性判定模块、投资者市场情绪指数量化模块、证券市场数据获取及预处理模块、基于社会化媒体情绪驱动的LSTM深度神经网络市场波动预测模块和决策支持模块等九大核心模块构成。

(1)社会化媒体信息获取模块：该模块包括采集新浪财经、东方财富股吧以及雪球等社会化媒体数据的组件。根据不同社会化媒体平台的特点，分别设计了分布式爬取策略，实时有效地使用广度优先算法，采集了所有相关的社会化媒体信息。同时与Redis高速内存数据库相结合，有效地提高了数据采集的性能。

(2)社会化媒体数据预处理模块：该模块对存储在MongoDB中待预处理的社会化媒体文本信息进行分析处理：对于缺失信息的数据，根据缺失的信息进行必要地填补，无法填补的信息则对将文本信息从MongoDB中移除；对于社会化媒体平台常用的表情符号(图片)替换为SMQIP可以识别的文本；对于不带情感信息的数字字符替换与去除；将证券市场中特有的证券代码替换为对应的股票名称。通过对采集文本数据的清洗、过滤和抽取关键字等预处理，为后续证券市场社会化媒体情绪抽取提高有效的基础数据。

(3)社会化媒体量化处理模块：该模块对社会化媒体文本数据根据证券市场特有环境以及中文词汇使用环境特点进行分词后，利用基于CBOW模型改造算法的简单神经网络对证券市场社会化媒体环境中的词语进行了向量化，将每个词汇在证券市场社会化媒体词向量空间中表示成一个唯一的1000维词向量。这个词向量空间是后续文本量化的基础。

(4)人工情感标注模块：该模块用于生成CSCNN深度神经网络情感提取模型的训练数据。根据规则分别选择东方财富网股吧、新浪财经和雪球网的部分文本数据作为样本，对文本数据进行分句后，邀请具有证券市场背景的专业人士对语句的情感进行标注，采用“投票”的方式确认所有语句的情感极性后，用于神经网络的训练。该模块同时支持对标注进行修正，并将修正后的结果重新用于神经网络的训练，提高神经网络情感提取的准确性。

(5)社会化媒体情感极性判定模块：该模块对于待情感标注的社会化媒体文本进行分句及分词处理后，首先利用Hash算法将语句与FSMDB中的常用语句进行匹配，并直接得出语句的情感极性；对于未能匹配的语句，根据训练好的词向量，将语句量化为数值矩阵，并将该数值矩阵作为CSCNN情感判定模型的输入变量，模型经过卷积、2-Max池化和Softmax函数后得出语句的情感分类概率，将概率值最大的分类作为该语句的情感极性类型。该模块定期将利用新加入FSMDB的社会化媒体文本语句和人工标注的语句，对CSCNN情感判定模型进行训练，不断地提高模型的情感极性判定能力。

(6)市场情绪量化模块：该模块包括的功能有：功能一，根据用户选择的股票和时间窗口，动态地获取数据库中在该时间窗口中所有社会化媒体文本内容，引用关系以及发布者信息。根据创新的SentenceRank市场情绪量化算法，结合文本内容相似度，评论相关性和发布者的影响力等，计算出每条社会化媒体文本数据的权重，利用社会化媒体的情感极性与权重得出该股票在对应时间窗口的证券市场情绪。功能二，以天作为时间窗口，自动运算出所用户关注股票池和板块的社会化媒体证券市场情感指数，并对异常波动给出警示。

(7)证券市场数据采集及预处理模块：该模块与高频交易数据库进行对接，获取证券市场实时交易数据。主要包括上交所Level2股票交易数据、深交所全息盘口数据以及wind经济数据库数据。这些数据与社会化媒体数据构成SMQIP的主要数据来源，为进一步的建模分析奠定基础。为了避免数据量纲不一致带来的预测偏差，同时提高LSTM深度神经网络在BPTT15反向传播时的运算效率，该模块还对采集到的证券市场实时数据进行了归一化处理。

(8)基于社会化媒体情绪驱动的LSTM深度神经网络市场波动预测模块：该模块结合社会化媒体情绪指数和市场历史交易数据，利用创新的基于社会化媒体情绪驱动的LSTM神经网络模型对证券市场波动率进行预测。该模型充分利用了证券市场历史交易数据，同时对社会化媒体情绪进行了有选择性的过滤，模拟投资者的投资决策过程，极大地提高了证券市场波动率预测的准确性。实验证明，该模型的预测准确率远高于支持向量回归(SVR)、人工神经网络(ANN)和增强树(BT)等机器学习算法。

(9)决策支持模块：该模块为证券市场监管者、公司管理者和证券市场投资者提供决策支持的可视化界面。通过该模块，证券市场监管者可以查看证券市场总体市场情绪变化以及证券市场波动情况，也可以重点监控某些关注股票和板块的市场情绪变化以及股票价格、交易量和板块指数波动情况，通过设置变化阈值，SMQIP可以自动对异常变化进行预警，为证券市场监管者提前介入提供帮助；公司管理者可以监控社会化媒体中上市公司相关的市场情绪指数变化，并与整体市场情绪指数进行对比，提前发现公司股票的市场情绪异动，对此做出必要的正确引导或处理；投资者在SMQIP中可以关注股票和板块，平台将给出股票价格波动预测和板块指数波动预测，为投资者在进行股票买卖决策，投资组合选取提供依据。