一般而言，量化投资可粗略分为六个环节：收集数据、数据清洗、特征提取、模型开发、组合优化、交易执行。数据收集和处理是量化投资中必不可少的环节，理解金融数据的复杂性及数据处理的重要性，对认识量化投资具有重要意义。
Q45：如何理解金融数据的复杂性，它有哪些主要特点？
（一）低信噪比
金融数据中噪音比例高，提取有效信号的难度较大，模型如果调整不够得当，就容易学习“噪音”。由于这一特性，量化投资在模型开发和调校时尤其强调避免过拟合，处理金融数据时格外注重逻辑。以A股为例，不同股票具有不同涨跌停规则，此外新股上市以及复牌等行为都需要特殊处理，故而需要在逻辑的基础上对信息进行合理的挖掘、过滤、组合。
（二）时序单调性
证券交易数据等时间序列有时序性（时间不可倒流），且金融市场时刻存在博弈，规律具有时变特性。量化投资方法论的目的是用历史数据预测未来，所以一定要避免未来信息的引入，并合理评估历史回测。
Q46：金融数据可以如何分类？
（一）按照数据格式分：
（1）标准化数据
常见的是截面、时间序列等数值类型数据，如交易所原始数据、原始行情及各类衍生出的价格、交易量、K线图等。普通投资者在炒股软件上看的分时图、K线图等数据也都衍生于交易所的原始数据，这些较为干净的数据被称为“标准化数据”。
（2）非标准化数据
以文本数据为主，包括财经新闻、财经论坛问答、卖方分析师投资报告、第三方机构提供的特殊数据等。这些数据里低相关非重大信息占比高，相比标准化数据会更复杂一些，所以被称为“非标准化数据”。为应用于量化策略开发，必须先对其进行数据清洗等结构化处理。
（二）按照数据来源分：
（1）价量数据
价量数据包括一切能从市场交易行为中提取的信息，不局限于股票及其他资产的价格，以及衍生的各项技术类指标。包括日间量价数据（日K）、日内量价数据（分时数据）、逐笔数据（股票的每笔成交和挂单数据）。其中日内量价数据的体量是日间量价数据的几百到几千倍，逐笔数据的体量可以是日间量价数据的万倍以上。
（2）基本面数据
既包括宏观基本面、产业链上下游发展、行业发展趋势等，也包括上市公司的财务报表如资产负债表、利润表、现金流量表等。主观投资在获取及处理基本面数据上拥有明显的相对优势，通过深度调研还可获取非公开非结构化信息。
（3）事件驱动数据
通过预测市场对特定事件的反应不足或过度反应，判断股票价格变化以获取超额回报。在金融领域，“事件”通常指“可能在短期导致投资者预期发生变化、对公司的基本面或其股票价格产生重大影响的情况”，比如股票回购和股东增持等。
（4）另类数据
另类数据是个相对的概念——当某种另类数据逐渐被市场上大部分参与者所接纳和使用时，就不再“另类”。目前来看，另类数据包括所有投资研究中使用的非传统来源的新型数据，如ESG数据、社交媒体评论、卫星图像、移动设备数据、应用程序使用情况、互联网搜索记录和消费者交易数据等。
一般而言，数据点及结构化数据越多，越有利于量化投资进行建模。目前国内主流量化私募的模型中价量因子占比较高，同时持续对基本面因子深入研究。随着量化行业的持续发展，未来各类因子都会提供非常重要的贡献。
Q47：国内对另类数据的研究和运用情况如何？
另类数据研究在海外已拥有较为成熟的应用。另类投资管理协会（AIMA）与金融科技公司SS&C合作发布的报告显示，目前全球活跃的另类数据供应商超过400家，而1990年时只有20家。根据AIMA与美国银行的联合调查，目前约有一半的资管机构已在使用另类数据，且这一数量还在不断增长。
但在国内，由于金融市场发展阶段的差异性，具体表现为获取难度偏大（高价值数据获取难、易获取数据质量低）、成本相对较高，非结构化数据的处理技术还不够成熟等原因，目前另类数据领域仍属蓝海。除了与多家数据第三方保持联动外，不少主流私募也在以较快的速度不断搜集、积累和持续探索另类数据，以寻找多元化、差异化的Alpha来源。
Q48：数据清洗和处理的一般步骤有哪些？
数据数量和质量将直接影响最终投资组合表现，其中数据的数量则是制约机器学习模型训练和预测准确度的关键因素。数据清洗和预处理的步骤一般包括：缺失值处理、 重复值处理、数据去极值、 数据中性化（指消除数据中的某些因素对投资策略的影响，从而使策略更具普适性和可靠性。常见的中性化包括市值中性化、行业中性化、风格中性化等)、 数据标准化（如日期可能需要被转换为特定的格式）等。
（CIS）
校对：刘榕枝
