金融市场的时间序列与横截面分析#

什么有效

我们在第二部分的结尾讨论了与该部分相关的算法（algorithm）。在那一章中，我们描述了用于为预测和仿真做准备的技术。现在，我们将讨论与第三部分所涉主题相关的算法。由于我们关注的是投资过程而非技术应用，本章的组织顺序与第三部分大体一致。

预测#

利用我们在前面章节中研究的特征（feature）和目标（objective）来预测未来估值和因子，有助于识别我们投资的潜在风险与回报，从而对其进行适当的选择和配置。在预测"alpha"和风险时，必须纳入诸如交易成本（transaction cost）和执行策略等现实因素，同时识别可能扭曲决策的不利交互和过度显眼的信号。

Alpha 模型#

如第11章所述，alpha 模型（alpha model）对于提升因子、目标、配置和仓位规模的预测力与置信度非常重要。Alpha 模型被用于多种与跟踪趋势和预测表现相关的应用中，例如：

使用包括最小绝对收缩与选择算子（least absolute shrinkage and selection operator，LASSO）、提升（boosting）和装袋（bagging）等方法选股，或使用非负矩阵分解（non-negative matrix factorization，NMF 或 NNMF）和 K-means 进行分类；
使用随机森林（random forest）、神经网络（neural network，NN）、支持向量机（support vector machine，SVM）、K-means^1^ 选债；
使用 LASSO 和状态空间模型（state-space model）进行趋势跟踪和均值回归（mean reversion）；
使用 LASSO、提升与装袋以及稀疏 Kalman 进行指数跟踪和对冲基金复制；
相对价格变动通常使用 Granger 因果关系（Granger causality）和协整（cointegration）、一对其余分类（one-vs.-rest classification）、脉冲响应（impulse response）、亲和传播（affinity propagation）、流形嵌入（manifold embedding）^2^；
状态识别（regime identification）可用于战术配置、证券选择或风险覆盖（risk overlay）^3^。

信号（signal）用于识别机会——相信有效市场（efficient market）的人称之为异常（anomaly）。虽然文献中关于信号的研究很容易找到，但作为一种商业模式，信号要获利却困难得多。信号用于预测响应，响应可以是数值型的（如收益率），可能受益于回归（regression）；也可以使用类别（如"买入"、"卖出"、"持有"）。信号可以横截面（cross-sectionally）地组合，例如取不同模型结果的平均；也可以串联组合（in tandem），例如用分类器识别特征，再在回归中使用这些特征预测响应。

数值型信号在数据分析中常用。通过收缩（shrinkage）来压缩相关性以使相关矩阵可逆的惩罚回归——如 LASSO（用于裁剪预测变量）、岭回归（ridge，用于降低共线性）和弹性网（elastic net，二者结合）——可以优于普通最小二乘法（ordinary least squares，OLS）回归等传统统计方法。限制为少数几层的树（包括梯度提升回归树，gradient-boosted regression tree）也很有效。带有交互的更复杂多因子信号可以受益于 SVM 和人工神经网络（artificial neural network，ANN）——尤其是长短期记忆（long short-term memory，LSTM）应用——但这些方法会妨碍绩效归因，并可能使投资者会议变得繁琐。还有一些深奥技术在信号生成方面有有趣的应用，尤其是那些结合滞后信号（lagged signal）、隐藏或潜在层（latent layer）和风险缩放（risk scaling）的技术。

当预测变量相对于观测数量较大时（大 p、小 n，Big-p, Little-n），树、ANN、SVM 和 K-NN 会很有效。OLS 和逻辑回归（logistic regression）等方法在这些情况下通常效果不佳。

分类器（classifier）在预测收益率方面可能更有效。人们可能自然地想直接预测收益率本身，但通过预测类别（如胜负）来简化任务可能会有所帮助。用分类器预测收益率可以采用 SVM（配以各种核函数）、逻辑回归（logit）、线性判别分析（linear discriminant analysis）、分类与回归树（classification and regression tree，CART）、被动攻击分类器（passive aggressive classifier，PAC）、随机梯度下降（stochastic gradient descent，SGD）以及树等方法。其他巧妙的分类方法包括面向大数据的 Birch 层次聚类、面向小簇低噪的亲和传播以及层次化基于密度的空间聚类（hierarchical density-based spatial clustering，HDBSCAN）；这些技术可管理离群点的影响。然而，无监督分类在收益率数据上的效果不如在因子上（例如识别位移、陡峭度和凸性作为收益率曲线的驱动因子）、降维、独立性和重要性上的效果好。

集成、提升和堆叠（ensemble、boosting and stacking）在预测收益率时，可能比单一复杂方法（大模型）有效得多，因为收益率受到趋势（自相关 autocorrelation）和其他混淆特性的影响而变得复杂，使预测充满挑战。通常，将一个复杂任务分解为更小的子任务，然后对结果取平均，会更容易也更有效。^4^ 提升（boosting）将一系列弱预测算法或学习器组合起来，使用诸如极端梯度提升（extreme gradient boosting，XGBoost）和自适应提升（adaptive boosting，ADABoost）等技术，把前一个模型的输出作为后一个模型的输入以提升预测力。提升、堆叠和装袋常常应用于树模型，但并不局限于此。

Bootstrap 聚合（bootstrap aggregating），即装袋（bagging），包括各种森林算法，通过投票技术（如加权平均）来组合模型。装袋是组合多个模型的强大工具，常常胜过复杂的单一模型，但在降低方差方面的效果好于提升预测力的效果。提升不仅仅是连接独立算法，它是一个在考虑交互的同时把它们组合起来的过程。

堆叠（stacking）或元标注（meta-labeling）类似于提升和装袋。但堆叠不是像取平均这样的简单公式对前一层模型进行投票，而是用一个模型对上一层模型的输出进行加权，以最小化方差并提升预测力。堆叠是组合多个团队或投资经理工作的一种自然且有用的方法。

决策树（decision tree）类似于常见的流程图或因果图，特别容易解释和说明。例如，一棵树的第一层可以根据净资产收益率（return on equity，ROE）来选股，然后在 ROE 分裂的基础上，根据现金流在下一层选股，以此类推。然而，由于它们使用阈值来分裂分支，单棵树可能不稳定并过拟合（overfit），就像组合优化（portfolio optimization）一样。装袋技术（如 bootstrap 抽样）可以使树更稳健，但就像组合的稳健优化一样，抽样训练可能很耗时。树是天然的分类器，但也可用于回归。例如，它们可以用于对单因子树拟合一条分段直线，或对双因子树拟合一个分段曲面。

期望收益（expected return）与买卖类别一样，是 alpha 模型的自然目标。期望收益可以简单地通过计算历史均值或 OLS 回归来估计。

基本面估计涉及基本面数据（fundamental data），如资产负债表和损益表比率。人们已多次尝试将机器学习（machine learning，ML）应用于基本面分析来预测收益率。在学术文献中，早期使用了 SVM 和 ANN，随后是自然语言处理（natural language processing，NLP）、集成方法、聚类分析、决策树和 LASSO。径向基函数（radial basis function，RBF）核常被用于让 SVM 进行大维度的非线性分类。对文本数据（包括新闻和社交媒体，关注内容、背景和情绪）的 NLP 分析可以提供 alpha 信号，并可用于元学习（meta-learning）以选择预测因子。

时间序列（time series）。 深度学习在时间序列分析方面不如在其他应用中那么强大和成功。金融时间序列远比大多数其他数据更难预测，后者像生产线质量数据那样具有定义良好的控制统计量分布。深度学习需要大量数据，适用于高频交易和另类数据（alternative data）——如卫星图像、序列分析和文本分析。专用模型和过采样技术（如使用生成对抗模型，generative adversarial model，GAM）显示出一些有前景的结果。

循环神经网络（recurrent neural network，RNN）是一种深度学习方法，可以处理自相关，类似于计量经济学家常用的传统自回归积分滑动平均（autoregressive integrated moving average，ARIMA）系列技术。长短期记忆技术（记住最近的隐藏状态然后忘记它）很常见。门控循环单元（gated recurrent unit，GRU）方法类似于 LSTM 应用，但更高效，常与 RNN 一起使用。循环跳跃层（recurrent skip layer）可用于处理季节性（seasonality）。

卷积神经网络（convolutional neural network，CNN）常用于分析图像，以类似于提升的方式不断发现新特征。对于时间序列应用，这意味着 CNN 可以（无需选择滞后）先发现季节性，再发现趋势。CNN 的一种新颖用法是识别经典的技术分析形态（technical analysis pattern），如头肩顶（head-and-shoulders）或楔形（wedge），把时间序列转换为图像再分析。关键在于，人类交易员和市场技术分析师在选择相信哪种解读时通常会运用相当的判断力，因为常常有许多技术指标描述同一段价格走势，而它们往往互相矛盾。CNN 的一个弱点是它对所有空间赋予相同的权重，而时间序列的不同时段可能具有不同的重要性；因果填充（causal padding）可以为 CNN 增加时间维度。

深度强化学习（deep reinforcement learning）将深度学习与不懈的强化学习相结合（与人学会累就停下不同）。该技术在自主飞行器指挥系统等领域产生了惊人的成果。值得注意的是，强化学习把延迟满足（delayed gratification）与归因（attribution）结合起来。这些模型可能在有限情况下取代人类决策，如订单执行策略，但在此应用中处理速度可能是一个限制。

金融中的基于主体（agent-based）仿真通常不如强化学习模型精细，因为它们不允许主体改变局面，只能做出反应。在线学习（online learning）允许算法在新数据生成时动态处理，而迁移学习（transfer learning）允许一个模型的知识被另一个模型使用。例如，如果一个模型基于一般价格变动训练，其学习可以被另一个模型使用并应用于某一特定的特异性投资。它可以把通用知识适配到具体应用的特殊性。基于协方差的算法（如 OLS、LASSO 或 Ridge）通过秩一更新（rank-one update）非常适合在线学习。高斯（Gaussian）、梯度（gradient）和一些树方法也可以适配到在线学习。

文本即数据（text-as-data）是一个专门的 ML 领域，值得专门讨论。自然语言处理（NLP）在传统的人类投资分析方面尚不擅长，^5^ 但在检测新闻、互联网搜索数据、监管文件、分析师电话会议和评论信中的情绪和句法复杂度等其他任务上很有效。NLP 在预测风险和收益方面也可能有用。元数据和 alpha 捕获技术（alpha-capture technology）可以识别有影响力或准确的作者。SVM 和 RNN 很流行，但来自变换器（transformer）的双向编码器表示（bidirectional encoder representations from transformers，BERT）等专门技术占据主导地位。

复杂和非线性工具的定价（pricing）使用高偏差模型（如 Black-Scholes 方程）可能涉及困难的计算和严格的限制。ANN 可以通过非参数估计放宽这些限制。

做空（shorting）是一项专门技能，但提供了极大的广度。没有做空，投资者只能表达看空观点，并可能在趋势市场中"被锁定"。像空头利息（short interest）、空头流通比（short-to-cover）和回补天数（days-to-cover）等简单度量可用于 alpha 和风险模式。做空面临多种挑战：

难以借入（hard-to-borrow）：我们最想做空的标的可能借不到，或在我们最需要时被召回。
负持有（negative carry）：施加额外的借入成本。空头必须向多头支付股息。
做空的竞争（competition for shorts）更内行。专业的专业投资者比散户更可能做空（"meme"交易者是例外）。
干预（intervention）：政府和并购等事件可能有利于多头。
趋势（trend）往往有利于多头，如股票牛市。
无限下行（unlimited downside）对大多数空头头寸是可能的，而对大多数多头来说，最大损失是价值归零。
负凸性（negative convexity）：价格动量是做空的一种反向风险现象（多头亏损时，其配置重要性下降；空头亏损时，其头寸规模反而变大）。
监管和会计规则（regulation and accounting rule）可能限制或禁止做空。
僵尸公司（zombie company）可能因负持有而使空头头寸持续失血。

风险模型#

风险模型（risk model）比 alpha 模型更多样，通常服务于不同目的。Alpha 模型一般专注于提升因子、目标、配置和仓位规模的预测力与置信度。风险模型则处理更多样的问题。关键的是，风险模型不像 alpha 模型那样具有对抗性——至少在一阶意义上没有电子战发生。

市场风险（market risk）涉及宏观尺度（投资期限）和微观尺度（市场冲击）上市场（价格）的一般运动。ML 可以帮助检查和预测风险度量，包括纳入像社交媒体信息流这样的定性和非结构化数据。在评估市场风险时，有几个关键因素需要考虑。

波动率（volatility）是最基本、最无处不在的市场风险度量。波动率具有可预测的特性，如均值回归、聚集（clustering）和下行动量（杠杆效应 leverage effect）。波动率已被研究多年，有效的统计和计量模型被广泛使用，包括随机模型（stochastic model）和广义自回归条件异方差（generalized autoregressive conditional heteroskedasticity，GARCH）及其扩展。非线性机器学习技术改进了传统的市场风险预测技术，既可单独使用，也可与传统方法（如堆叠）结合使用。将 SVM 和 ANN 应用于价格数据（尤其是序列学习（sequence learning）如 LSTM）可能有效，但速度慢且在小数据集上效果较差。用 SVM 从新闻源和社交媒体等来源挖掘文本数据，在评估内容和情绪方面也能很好地工作。对大型资产组合（如银行或养老基金）的市场风险进行非线性估计，计算量很大，可以用蒙特卡洛分析（Monte Carlo analysis）进行。一种捷径是使用实验设计（聚类、排序、拟合）来选择资产和场景的子集，然后用模型估计组合的高阶风险参数。可以通过元模型（meta-model）选择并组合多个模型。

风险管理（risk management）利用 ML 进行对冲和控制风险，是一个活跃的研究领域，但对像对冲这样的关键决策的可解释性（explainability）可能令人担忧。对传统方法更有效的常见替代方案包括层次聚类（hierarchical clustering）、惩罚回归（如 LASSO 和弹性网）以及 ANN（为非线性风险提供额外灵活性）。

状态和冲击风险（regime and shock risk）可能与市场风险不同，后者指更频繁、更可预期的损失（如在险价值（value at risk，VaR）所度量的）。状态变化（regime change）和冲击（shock）罕见，并涉及广泛而深入的交互（传染 contagion 和系统性风险 systematic risk）。在预测像市场崩盘这样的罕见事件时，不平衡数据（imbalanced data）可能是一个重大问题。

资产特定风险（asset-specific risk），包括信用模型（credit model）预测的风险，可能需要复杂而特异的建模，把确定性效应（如现金流瀑布 cash flow waterfall）和条件（如契约 covenant、担保 guarantee 和保险 insurance）与随机过程（stochastic process）结合起来。用于分类、评分和预测的信用风险建模是资产特定风险的一个被充分理解的例子，在金融中被广泛使用。信用建模常用于企业的困境和破产（公司债券）；个人的困境、破产和提前还款（住房抵押贷款支持证券 [RMBS]、资产支持证券 [ABS] 等）；以及消费者支出。传统模型早已被使用，但 ML 模型也被有效应用，例如高方差模型可以处理大容量数据。信用数据可能包括趋势，如通过信用卡账户实时监控的消费习惯，以及通过车内惯性测量装置监控的驾驶习惯。

传统统计和行为方法在信用和其他资产特定风险模型上表现良好。它们可以像优势劣势机会威胁（strengths, weakness, opportunity, threat，SWOT）分析、证据权重（weight of evidence）、多元线性回归（multiple linear regression，MLR）、逻辑回归、比例风险（proportional hazard）、LDA（和 Z 分数）或 probit 那样简单。更先进的技术（包括专家和模糊技术）也很流行。

ML 模型的精细程度和处理多因子、大数据集的能力，使其区别于传统模型。动态技术——包括在线、序列学习和异常检测——对于涉及行为变化（如欺诈）和信用转换时机的信用风险尤为重要。

机器学习模型在消费者信用估计中可能因偏差和缺乏可解释性而产生问题，带来法律和监管风险。^6^ 一旦贷款发放并在二级市场交易，这些担忧的影响可能减弱。遗传规划（genetic programming，用于小数据集）、SVM（具有抗过拟合的好处，并擅长估计违约损失率 [loss given default，LGD]）、KNN 和概率神经网络（probabilistic neural net）都常被采用。

负债和库存（liability and inventory）风险包括保险公司的理赔、承保和损失准备金，以及养老金受益人的退休和死亡预测。像二元回归（bivariate regression）这样的传统方法可以处理事件时机和规模之间的相互依赖。ARIMA 也常被应用（例如 Lee-Carter 精算模型）。更新的方法能力更强，包括用于人口结构的基于主体的模型、贝叶斯模型（Bayesian model）、GRU 以及一般的 ANN。ANN 能够进行比传统方法更复杂的分析，包括管理多个人群。

操作风险（operational risk），宽泛地包括模型风险（model risk）、法律和监管风险（legal and regulatory risk）、欺诈（fraud）和声誉风险（reputation risk），也可以受益于各种现代技术。一些常用方法包括用于文档分析和通信监控的文本分析、二元分类和异常检测。

交易成本模型#

交易成本分析（transaction cost analysis，TCA）模型可以确定性地分析计划内的费用和成本，但建模动态市场反应需要复杂的分析。对于大额交易，市场冲击（market impact）可能是主要成本，很容易把一个盈利策略变成亏损策略。两种重要的 TCA 模型是成本模型（cost model）和订单簿模型（order book model）。

成本模型设计起来很困难，因为存在较大的估计误差（如市场噪声）以及隐藏的状态和值（如暂时性冲击与永久性冲击）。知道竞争对手的模型可以帮助对手设计对策（如欺骗技术 spoofing technique），这是模型可能成为商业机密、公开研究有限的原因之一。直觉和经验可以帮助设计使用订单簿数据的高偏差模型，或指定方向、规模、流动性和不平衡等特征的模型。即便是直觉和经验，也可能遗漏未被预料到或太短暂而无法被模型捕捉的机制和交互。LASSO 回归可能有效。贝叶斯网络（Bayesian network）也可以帮助从模型中发展直觉。ANN 较不可靠但可能有效。对于涉及海量数据的市场动态，分段线性近似（piecewise linear approximation）可以比更复杂的形式提供更好的可处理性和速度。使用更复杂公式的好处常常被抵消，因为估计误差可能盖过预测误差。

限价订单簿（limit order book，LOB）模型比成本模型更具行为性，经济直觉较弱。复杂的高方差模型经常出现，包括 RNN 和 CNN，甚至接近数据挖掘的自动化 ML 工具——像 p-hacking 一样的数据挖掘在金融界通常不受欢迎——常被用来试图克服海量、复杂和嘈杂的数据。

许多模型在短期 LOB 预测上表现尚可，但缺乏在更长时间内可靠预测的能力。特殊的修改（如自衰减 self-attenuation）常用于提升性能。CNN-LSTM 在多个时间框架上提供了预测结果。

执行与再平衡#

投资的实际买卖——执行（implementation）——可能很简单，但通常需要规划和战术才能达到预期价格。大多数组合（包括买入持有组合）由于公司行为、申购和赎回，需要调整从而导致新的买卖。

再平衡（rebalancing）需要与初始投资相同的全部执行规划，外加额外策略（如最优频率和税收管理）。由于执行可能跨越多个时期，动态规划（dynamic programming）是理论上处理某些此类决策（如过渡管理 transition management）的传统方法，但对于资产众多或跨越多期的组合，这些方法可能不切实际。

像贝叶斯方法（Bayesian method）这样的 ML 方法高度适应，能够处理高频交易分析所需的大数据集。其他方法如 ANN、SVM 和高斯过程回归（Gaussian process regression）可以处理非线性解，并优于更传统的技术。聚类分析和像 LASSO 这样的惩罚回归可以管理大的特征集。

强化学习（reinforcement learning）在成本预测和执行策略设计方面比传统的向量自回归（vector autoregressive，VAR）方法更灵活，并可以纳入像隐藏流动性这样的重要细节。脆弱性和市场参与者之间的交互很重要，因为大订单可能破坏均衡并引发级联（cascade）。

集成模型#

对 alpha、风险、配置、选择、TCA、执行和归因使用不同模型有一些缺点。混用不同的模型和假设可能产生不相容的预测，使投资过程的各阶段错位。

集成模型可以确保交互效应被妥善处理，例如在配置中纳入交易成本。采用自上而下、使用多个非集成模型的方法，就像取解集的交集——只保留满足所有模型的解——而集成建模可能产生一个不同的、更准确的解空间，考虑到模型之间的重叠和交互。集成在很多方面都很困难。例如，不同信号可能有不同的衰减率（decay rate），使它们难以组合。

排序、选择和加权组#

我们将使用三大类技术来排序、选择和加权持仓组：

**横截面（cross-sectional）**技术，包括固定比例（启发式 heuristic）、组合排序（portfolio sort）以及按信号强度排序等简单规则；
优化（optimization），这是一种横截面技术，我们因其复杂性和重要性而单独处理；
时间序列（time series）技术，如根据触发器调整杠杆的风险覆盖（risk overlay）。

像许多机器学习技术这样的高方差工具前景广阔，但它们是否为战略配置决策提供最佳解决方案仍不清楚。它们对于因数据匮乏、需要远眺未来以发现"押韵而非重复"（rhyme, not repeat）的模式而苦恼的战术决策也很有用。

在使用分类生成类别时，收益率难以用作预测变量。嘈杂的数据和传染（contagion）使得像逻辑回归这样的参数模型表现优于 SVM、GB（gradient boosting）或 NB（naive Bayes）等高方差技术。

对大多数组合而言，优化是资产配置中"最干净的脏衬衫"。^7^ 优化允许组合经理在指定条件和目标下确定最佳组合权重。虚无主义（nihilism）在资产配置中很常见，许多人感到克服技术极限的徒劳。其中一些担忧在过去可能是有道理的（组合优化在 1952 年被引入，已是很久以前），但已通过改进得到解决（如 Jorion 使用 Bayes-Stein、Black-Litterman 的观点、Chow 的跟踪误差以及 Michaud 的重采样）。

对这些方法的无知和滥用也很普遍，包括使用历史数据而非信念——这违背了 Markowitz 的原始设计。组合优化有四个主要组成部分：期望收益、期望风险、约束和投资期限。

期望收益（expected return）常被错误地设定为历史平均收益，但可以更有创意地设计。它们常用 OLS 等统计技术估计，但也使用 LASSO 回归和 ANN 等技术（如我们前面在 alpha 模型一节所讨论）。

期望风险（expected risk）最常被错误地设定为历史波动率，但可以使其与投资者体验更相关，例如使用条件在险价值（conditional value-at-risk，CVaR）或缺口（shortfall）。更复杂的度量可能需要更复杂的优化技术，^8^ 并采用 SVM 和 ANN 等复杂的估计方法。风险通常比收益更容易估计。期望偏差（expected deviation）在时间和横截面上很棘手。协方差（covariance）是时变（time-varying）的，分布不便，需要收缩等技术使其更适合敏感的优化技术。协方差的替代方案（包括层次树和其他聚类方法）已被证明有效。优化（optimization）技术有限，必须做出妥协。目标函数（objective function）可以采取几种形式。规范地，目标函数是二次的，但可能更复杂或更难求解（如对 VaR 或 CVaR 进行惩罚，这需要凸函数）。

看似简单的约束（constraint）可能难以求解，需要专门的解法。复杂的约束（如基数持仓约束和非线性交易成本函数）可能需要不同的技术，包括锥规划（conic programming）、混合整数规划（mixed-integer programming）或二阶锥规划（second-order cone programming，SOCP）的解。全规模优化（full-scale optimization）似乎是终极解决方案，但若不付出巨大努力，它仍无法克服（如估计误差这样的）困难。

投资期限（investment horizon）的选择是一个特别困难的话题。优化问题最好表述为具有多个用于目标或实施的决策点。单期优化无处不在，因为多期优化（multiperiod optimization）困难。将多期优化应用于期限匹配的专用组合在某些情况下特别合适。例如，它在为负债驱动组合（liability-driven portfolio）进行对冲方面很有帮助，而不仅仅是免疫久期和凸性。确定性和随机方法（deterministic and stochastic method）都很常见，处理不确定性和不稳定性的技术（如稳健优化 robust optimization）也是如此。

机器学习可以为优化问题提供一些解决方案。例如，如果目标是找到最佳组合，为什么不用 ML 而用传统优化器来确定呢？像均值—方差优化（mean-variance optimization，MVO）这样的传统技术有许多注意事项和限制，但像多目标进化算法（multi-objective evolutionary algorithm，MOEA）和 ANN 这样的创新方案在放宽某些约束、允许更现实和复杂的优化方面很有效。元学习（meta-learning）可用于组合信号，包括使用强化学习。使用少量持仓通过自编码器（autoencoder）进行指数复制是一个活跃的研究领域。层次聚类等技术也被证明有效。

排序、选择和加权持仓#

许多流行策略在证券选择中被证明有效。宏观和主题策略（macro and thematic strategy）基于经济增长和社会投资评分等广泛因子进行投资。像战略资产配置（strategic asset allocation）一样，其中一些方案依赖长期预测和稀疏的数据集。经济状态预测就是一个好例子。这些模型可以使用经常修订的月度和季度数据来预测长周期。高偏差的统计模型似乎表现良好，并具有经济直觉的额外优势。它们往往被充分理解，并带来"如果预测错了，也有好同伴"的好处（而不是"错了还孤独"）。

对于旨在理解和验证理论的学术模型，应加以区分。它们常常是糟糕的预测器；其目的是洞察系统的机制，而非预测。基于直觉的实际偏差往往表现良好，尤其是当过拟合模型无法识别趋势的某些变化并不表示新状态时。预测模型预测，但它们并非总是为帮助分析师理解而设计；它们不像高偏差模型那样回答问题。它们可能提供不稳定但准确的结果，无法传达趋势，并可能脆弱。公平地说，ML 方法可能因为它们的使用方式而非其本质而胜出。随着研究在因果推断（causal inference，包括反事实 counterfactual 的使用）方面取得进展，ML 可能在"统计模型自己的地盘上"超越它们。

横截面策略（cross-sectional strategy）（其中一些是相对价值（relative value）策略），如固定收益套利（fixed-income arbitrage），可能具有复杂的确定性变换和非线性。这些机制是套利者（arbitrageur）的"家常便饭"。未能深思熟虑地应用领域知识可能是灾难性的。套利是一场输家的游戏（loser's game），有许多规则和微妙之处。

多策略基金（multi-strategy fund）和基金的基金（fund-of-fund，FoF）由于持仓和策略的不透明，^9^ 常用统计方法处理，它们可能过于多样化和难以用其他方式分析。元学习可以应用于这些策略，但必须小心识别像风格漂移（style drift）这样的状态转变。当数据代表非系统化策略（nonsystematic strategy）的表现时，这一点尤为重要。股票型策略（equity-based strategy），如多空基金（long/short fund），类似于横截面策略，但其驱动因子往往更难处理，变换也不那么机械化，尽管一些经理使用先进技术。事件驱动策略（event-driven strategy），如并购套利（merger arbitrage），需要最多的认知，最不可能被完全自动化。自动化常用于把投资筛选到可管理的数量，但对事件或情况的细致而深入的理解通常被认为是最佳实践。

仿真#

仿真（simulation）常用于分析策略和战术，与预测不同。它们受益于在"生产"环境之前，使用假想的或历史的数据在安全环境中测试和评估预测。投资中使用仿真的方式非常多。限价订单簿数据可用于重建和仿真市场，以测试执行策略。多主体仿真（multi-agent-based simulation）和随机森林等技术已被用于创建逼真的环境来测试执行策略。交易成本（包括市场冲击和税率）由于高频数据的噪声和复杂性，常用高偏差模型进行仿真。许多其他方法也被使用，但效果较弱。各种执行策略和规则可以使用基于主体的模型（agent-based model）和更复杂的方法进行仿真。基于主体的模型具有直观性、可解释性、可理解性和模块化的巨大优势。

负债和目标（liability and goal）通常是精算师（actuary）的领域，但精算估计可能受到政治现实的影响。投资经理可能希望仿真负债驱动因素和效应（如从工作到退休的人口转变），并可能使用这些人群的主体仿真和由此产生的提取策略等方法。

归因、监控、反馈和调整#

第18章和第19章将讨论事后绩效和风险归因，包括对风险和绩效来源进行分类的技术，以及按因子和投资决策分解风险和绩效。许多投资者（无论是散户还是专业投资者）未能度量和归因绩效，从而产生不利的行为偏差（behavioral bias）。例如，投资顾问在退出头寸时常常放弃通过选股和进场交易赚来的来之不易的收益，因为他们的退出决策往往出于筹集资金的愿望，而非因为投资论点被违反。^10^ 把科学方法应用于投资时，归因是必要的，它为投资过程周期的最后阶段提供信息：绩效和风险管理。这最后一阶段在理想之处运用技能，并利用对不断变化的环境条件的认识来改进策略并调整组合。

精细的 ML 技术可用于对外部经理进行分类和跟踪，也可用于检测欺诈和风格漂移，以及对策略进行逆向工程（reverse engineering）以便分析和复制。对于更透明的策略，更确定性的模型（如 Brinson 归因）更常用。

较早的结构化模型（如 Moody's 信用评级模型，曾施加线性连续约束（如 logit 或 probit 模型）），已被像随机森林这样更灵活的模型大大改进。
概率可以从树中提取，包括决策树和随机森林。
例如，经济指标可用于创建商业周期概率模型（扩张概率、衰退概率等模型），并可用分类器识别哪个模型最接近当前经济状态。像 Kalman 滤波、粒子滤波（particle filtering）和隐马尔可夫模型（hidden Markov model，HMM）这样的动态贝叶斯状态空间模型在状态识别中很流行。隐状态可以从波动率、反弹或暴跌等可观测状态中推断。像上确界增广 Dickey-Fuller（supremum augmented Dickey-Fuller，SADF）和广义 SADF（GSADF）这样的技术已被用于尝试识别泡沫（但难以预测泡沫何时破裂）。像 Hurst 指数这样的其他指标已被用于分类趋势性与均值回归行为。
熟悉正则表达式（regular expression）的人都知道，开发一系列简单的过滤器比设计一个单一、优雅且高效的表达式来执行同样任务要容易得多、开发更快、执行更快。
基于变换器（transformer）的深度学习神经网络架构（如 GPT-n 模型）令许多人印象深刻，但在没有人工监督的情况下用于投资存在危险的限制。
一些模型可能捕获或传输敏感信息用于训练。分析师需要注意他们的数据如何被使用，以及是否会以原始或处理过的形式提供给竞争对手。通过对数据进行巧妙的处理，也可能识别出本应保持匿名的客户、患者和其他实体。
Kris Kristofferson，"Sunday Mornin' Comin' Down"，1969 年。"最干净的脏衬衫"（cleanest dirty shirt）这一说法由 Bill Gross 在 2012 年 7 月的 PIMCO 投资展望中描述美国资产的可疑吸引力时再度流行。
许多先进的组合优化技术可用且易于使用；例如，它们是 MATLAB Financial Toolbox 和 Python 库 pypfopt 的一部分。
通常，基金的基金对其所投资基金的持仓没有"透明度"（transparency）或"穿透"（lookthrough）。它们可能只提供构成 FoF 的基金（甚至 FoF 本身）的月度收益。"内部"雇佣组合经理的多策略基金通常拥有实时的完全透明度。在不知道基金持有的确切资产的情况下，很难有效地应用先进的分析技术。
欲了解更多，请阅读我们在第18章中对启发式（heuristic）的讨论。