因子研究现状

6.1p-hacking 与"因子动物园"

2011 年，时任美国金融协会主席的 John Cochrane 在演讲中挖苦道：从前人们以为 CAPM 能解释预期收益截面差异的 100%，现在人们认为它几乎什么都解释不了，取而代之的是一座解释截面差异的"因子动物园"（factor zoo）。学术界发表的"显著"因子已超过 400 个。真的有这么多独立的收益驱动力吗？显然没有。那么这些因子是怎么被"挖"出来的？回答这个问题，要从统计检验最基础也最容易被误解的概念——p 值——说起。

p 值到底是什么

发表偏差：为什么人人追逐超低 p 值

动机链条很直白：p 值越低 → 因子越"显著" → 论文越吸引眼球 → 引用越多 → 期刊影响因子越高。于是期刊偏爱低 p 值的文章，学者偏爱挖低 p 值的因子。这就形成了发表偏差（publication bias）：只有"显著"的结果被写出来、发出来，"不显著"的结果被丢进抽屉——尽管从推动学科的角度看，"确认某因子无效"与"发现某因子有效"同样有价值。

Harvey et al.（2016）统计了 1963—2012 年顶级期刊上 316 个因子的 t 值分布，发现一个耐人寻味的现象：t 值落在 2.0～2.57 的文章数与落在 2.57～3.14 的文章数几乎一样多。理论上，p≈0.002 的因子应当比 p≈0.01 的因子稀有得多，两组数量却不相上下——这只能说明发表环节在按显著性筛选。金融学属于"软科学"：用哪段样本、哪个市场、月度还是年度再平衡、如何剔除异常值……每一步都有自由裁量空间。在追逐低 p 值的氛围下，这些"研究者自由度"全都会悄悄偏向让结果显著的那一边。

多重假设检验：显著性是如何被稀释的

下面的模拟器直观展示这一点：我们生成 N 个纯噪声策略（真实收益全为零），统计其中 |t| > 1.96 的"显著"因子个数。拖动滑杆增加尝试次数，看看"因子动物园"是怎么建成的。

怎么给伪发现"设闸"？统计学的思路是：先定义一个描述第一类错误（Type I error，错误拒绝原假设）的总量指标，再设计算法把它控制在给定水平之下。把一次多重检验的结果整理成下表（共检验 $S$ 个因子，拒绝了 $R$ 个原假设）：

不同校正方法的区别，就在于选择控制 $F_1$ 的哪个统计量。主流有三类。

FWER 有多严格？反过来看不校正的后果就明白了。若做 $N$ 个独立检验、每个都用 5% 门槛，则至少出一个伪发现的概率为 $1-(1-0.05)^N$：

先验的重要性：贝叶斯视角

提高 t 门槛是"一刀切"的防御。更根本的问题是：p 值回答不了"因子为真的概率"，而这恰恰取决于一个 p 值之外的量——真因子在候选池里的基础比率（base rate），也就是先验。同样是"10 连对"，出自音乐家分辨莫扎特与海顿（先验极高，结果只是确认常识）、出自老妇人分辨奶茶的冲泡顺序（先验存疑，结果足以扭转判断）、还是出自自称酒后能预知未来的酒馆老板（先验约等于零，结果只能算运气），结论截然不同。数据相同，先验不同，后验就不同。

Harvey（2017）把这一思想工程化，提出贝叶斯化 p 值（Bayesianized p-value）：用原始检验结果计算"最小贝叶斯因子"，再与先验结合得到后验概率，直接回答 $\operatorname{prob}(H_0 \mid D)$。

6.2从"因子动物园"到"因子大战"

6.1 节讲的是挖单个因子的乱象；这一节把镜头拉到多因子模型层面。一个好的多因子模型本该回答两个问题：资产收益背后的驱动有哪些？每个驱动的经济学原因是什么？但 Fama–French 三因子之后，新模型的发表越来越像一场竞技：谁能在样本内解释更多异象，谁就赢。本书作者把这种以"解释异象个数"论英雄的比拼称为"因子大战"——解释异象当然是模型的重要任务，但它不应是唯一标准。

形同意不同：两个投资因子的路线之争

因子大战最有戏剧性的战场，是 Fama–French 五因子模型（FF5）与 Hou–Xue–Zhang 四因子模型（HXZ，q-factor）里那对"孪生"投资因子。两者用的变量几乎相同——最近一个财年的总资产变化率——但理论出发点完全不同：

Hou et al.（2019b，Which factors?）从理论和实证两头攻击 FF5 的逻辑。理论一击最狠：多因子模型关心的是未来单期预期收益，而股息贴现模型推导时用的是长期平均收益。把估值恒等式改写成单期形式，符号就翻转了。一期展开的估值恒等式为：

q5 模型：给 q-factor 加上预期投资增长

Hou et al.（2020）把 HXZ 四因子扩展成五因子，即 q5 模型（Hou–Mo–Xue–Zhang）。动机来自 Cochrane（1991）：控制当期投资与预期盈利后，预期投资增长率与预期收益正相关。数学上，把原来"资产一期折旧完毕"的两期模型扩展为多期（折旧率 $\delta \lt 1$），由投资的第一性原理——边际成本等于折现的边际收益——可写出投资收益率：

战况与冷思考

6.3用行为金融学解释异象和因子

传统金融学的大厦立在两块基石上：投资者持有理性预期（及时处理全部信息、按贝叶斯法则更新信念），并按期望效用最大化做决策。行为金融学（behavioral finance）对这两块基石逐一发难：预期会系统性出偏（预期偏差）、大脑处理不完全部信息（认知限制）、面对不确定性的偏好也并不理性（风险偏好偏差）。半个世纪下来，它已从"异端"变成解释异象与因子的主流视角之一：因子未必代表系统性风险，也可能捕捉了错误定价的共同来源——例如全市场的投资者情绪（Hirshleifer and Jiang 2010，Kozak et al. 2018）。第 4 章的 Stambaugh–Yuan 与 DHS 模型正是这条思路的产物。

行为金融学的知识体系可以画成两大支柱：套利限制回答"错误定价为什么消不掉"；心理学（预期偏差、风险偏好偏差、认知限制三部分）回答"错误定价从哪来"。下面依次展开。

支柱一：套利限制

支柱二（上）：预期中的偏差

套利限制解释了错价为何消不掉；接下来的心理学偏差解释错价从哪冒出来。先看扭曲"预期"的四个主角——它们也是解释动量、反转、PEAD 等异象的核心零件。

支柱二（中）：风险偏好中的偏差——前景理论

支柱二（下）：认知限制

把偏差装配成异象：一张对照表

上面这些心理零件如何组装出第 3、5 章见过的各个异象？下表是本节的总装图：

行为有效市场：两个假说的分家

6.4投资者情绪

6.3 节的偏差是"单兵作战"：一篇论文通常只研究一种偏差与收益的关系。但真实市场里，千万投资者的各种偏差交织在一起、此消彼长。有没有一个总量指标，能概括这些偏差对定价的综合影响？有——投资者情绪（investor sentiment）。

先看它为什么必要。资产定价的基本公式（第 2 章 GMM 部分出现过）：

怎么度量：Baker–Wurgler 情绪指数

情绪看不见摸不着，度量只能靠代理变量。Baker and Wurgler（2006）是这一领域的集大成者：他们选了六个各自带噪声、但都与情绪相关的市场指标，用主成分分析（PCA）提取公共成分——思路是"每个代理指标 = 真实情绪 + 各自的噪声"，取第一主成分能把噪声对冲掉、留下公共的情绪信号。

情绪高涨时，异象更强——尤其是空头端

拿到指数就可以做检验：按 $\mathrm{SENT}^{\perp}$ 把样本月份分成情绪高涨与低迷两组，比较各异象在两种状态下的表现。逻辑预期是：乐观投资者偏好年轻、小市值、高波动、不分红的投机性股票；情绪高涨时这类股票被买得过贵，未来收益走低。Baker and Wurgler（2006）用美股数据证实了这一点：规模、上市年龄、波动率、盈利、分红、成长与困境等异象的多空收益都能被情绪显著预测（研发类异象是少数例外）。

Stambaugh, Yu and Yuan（2012）把检验做得更细：对 11 个知名异象，分别考察多头端、空头端与多空组合在两种情绪状态下的表现，并用预测性回归控制常规因子：

情绪与市场整体

情绪还改变市场层面的风险–收益关系。Yu and Yuan（2011）发现：情绪低迷期，市场呈现教科书式的"高风险高收益"；情绪高涨期，风险与预期收益脱钩——大量对风险不敏感的噪声资金入场，把风险补偿抹平了。用利率、市盈率、剩余消费比率等其他状态变量划分市场则观察不到这种差异，可见这是情绪特有的效应。延伸研究：Huang et al.（2018）用新闻文本情绪研究股、债、商品、地产、货币五类资产，发现情绪影响会跨资产传导；Jiang et al.（2019）从公司公告与电话会议文本提取管理者情绪（manager sentiment），它负向预测市场收益、与投资者情绪互补，控制它之后 BW 指数对异象的预测力明显减弱。

6.5风险补偿、错误定价还是数据窥探

一个异象在样本内显著，背后无非三种原因：风险补偿（收益是承担某种系统性风险的报酬）、错误定价（价格错了且套利限制让它错着）、数据窥探（它压根就是运气）。区分三者不是学究趣味：风险补偿型可以长期持有赚溢价，错误定价型要抢在纠错之前、并警惕拥挤，数据窥探型必须直接扔掉。三类解释各有一套检验设计，汇总如下，随后逐一拆解。

检验风险补偿

（1）常识核查。不算正式检验，却最锋利：风险解释要求"赚得多的一端更危险"。以 PEAD 为例——风险解释意味着刚发布盈利好消息的公司比发布坏消息的公司风险更高，这违背常识，基本可以排除。

（2）β 与特征赛马。若变量 X 之所以预测收益，是因为它代理了某种系统性风险暴露，那么用 X 构建因子模拟组合、再算每只股票对该组合的 β，这个 β 应比 X 本身更能预测收益。实证反复打脸：Daniel and Titman（1997）发现 BM 特征本身比"对价值因子的 β"预测力强得多；Hirshleifer et al.（2012）在应计利润上发现同样格局——特征赢、β 输，风险解释难以成立（回忆第 2 章：这正是"特征 vs 协方差"之争）。

（3）宏观状态联动。风险溢价应与宏观风险的兑现窗口挂钩：Savor and Wilson（2013, 2014）发现宏观数据发布日的市场超额收益约为平日的 10 倍、且这些日子里 CAPM 表现更好；照此逻辑，风险型异象应在宏观信息日更赚、在衰退期大亏。Lakonishok et al.（1994）用 Fama–MacBeth 收益序列按经济周期分段检验价值因子：衰退期表现与平时无异、有时更好——价值溢价的风险解释被削弱。

检验错误定价

（1）业绩公告窗口。若异象源自错价，财报是纠错的集中时刻——异象收益应集中在公告窗口内兑现；若源自风险，收益应均匀分布在所有交易日。Engelberg et al.（2018）的设计：用日收益对"异象变量 × 公告窗口哑变量"的交叉项做混合回归（加时间固定效应与常规控制变量），交叉项系数显著大于异象变量主效应即支持错价。他们检验了美股 97 个异象：公告窗口内的异象收益约是平日的 6 倍——错误定价的有力证据。

（3）注意力与套利成本的截面。错价应该在"最容易错、最难纠"的股票里最严重。有限注意力不可直接观测，代理变量包括：小市值、分析师覆盖少、媒体报道少、机构持股低；套利成本的代理变量包括：特质波动率高（对冲难，Pontiff 2006；Stambaugh et al. 2015）、负面新闻多、机构持股低。检验用两板斧：条件双重排序——先按代理变量分组、组内再按异象变量排序，比较各组异象收益；或 Fama–MacBeth 回归加"异象变量 × 代理变量哑变量"交叉项。若注意力更低、套利成本更高的组中异象显著更强（交叉项显著），支持错价解释。

检验数据窥探

数据窥探的唯一解药是没被挖过的数据：时间上的样本外、空间上的其他市场。Harvey et al.（2016）直言：条件允许时，全新样本外数据是排除假因子的最好办法（他们那篇论文的标题 …and the Cross-Section of Expected Returns 本身就是对"××× and the cross-section of expected returns"式挖因子论文的嘲讽）。

6.6因子样本外失效风险

就算一个因子通过了 6.5 节的全部审查，把它拿去实盘前还要回答最后一个问题：样本外它还能剩下多少？共识是"一定会缩水"，原因有三：曝光让错误定价被套利掉、资金拥挤、交易成本。本节把这三笔账算清楚。

曝光：论文发表之日，就是收益打折之时

McLean and Pontiff（2016）追踪了 97 个已发表的选股变量，把每个因子的历史切成三段：论文使用的样本内、样本终点到发表日之间的样本外（发表前）、以及发表后。结果：样本外收益比样本内平均缩水 26%——这部分是纯粹的统计偏差（样本内过拟合的水分）；发表后缩水 58%——比 26% 多出来的约 32 个百分点，就是"发表"本身的代价：论文公之于众，套利资金蜂拥而至，错误定价被交易掉了（publication-informed trading）。注意这个结果的另一面：发表后收益并没有归零——如果因子纯属数据窥探，发表后应该只剩噪声；剩下四成收益说明这批因子里确有真货，只是"知道的人多了就不灵了"。

因子拥挤

交易成本：纸面收益与净收益

学术论文的因子收益大多不扣交易费用，且默认可以无摩擦做空——两者都系统性高估了可得收益。Kok et al.（2017）指出 BM 类价值策略的回测优势主要来自做空一小撮微型市值成长股，实际根本执行不起。Novy-Marx and Velikov（2016）系统测算了交易成本对因子净收益的侵蚀，并给出三条止血方案：只用交易成本低的股票构建组合；降低再平衡频率；对买卖价差设更严格的约束。Chen and Velikov（2019）用有效价差（effective spread）核算 120 个因子：扣费后样本内月均收益从 0.6% 以上跌到 0.3%，样本外甚至为负；用尽优化交易算法后样本外也只剩约 0.13%。更扎心的是，这 120 个因子的月均收益分布近似均值为零的正态——和随机生成 120 个因子没太大差别。于是他们用经验贝叶斯方法把"发表偏差"修掉：

6.7因子投资难以取代基本面分析

因子投资里相当一部分因子由财务报表指标构建（BM、ROE、应计利润……），称为基本面因子；用它们定量选股的做法被称为基本面量化（quantamental）。随着 Smart Beta 产品把基本面因子批量产品化，"宽客占领华尔街"成了媒体标题。但一个尖锐的问题随之而来：拿几个财务比率排排序，真的能替代 Graham 与 Dodd 传下来的基本面分析吗？以研究盈余操纵闻名的 Richard Sloan（2019，Fundamental analysis redux）给出的答案是：不能。

因子化会漏掉什么：BIG5 的故事

这个例子的教训不是"因子没用"，而是因子是内在价值的粗糙代理：它读的是报表数字的表面值，读不出数字背后的行业格局、一次性事件与会计失真。对普通投资者，因子化的意义恰恰在于不需要 Stadium Capital 的能力也能分散地赚概率的钱——个别 BIG5 看走眼没关系，三千只股票摊薄后大数定律仍站在你这边。但要明白：广为人知的因子没有"实施成本"，按有限套利的逻辑，它们能捕捉的错误定价也注定有限。

让会计学反哺因子

现阶段基本面分析提升因子投资的两条现实路径：用会计知识加工因子，以及识别财务造假排雷。前者举个最简单的例子——杜邦分解：

放眼未来，量化与基本面分析的合流是大势所趋：理想形态不是"几个比率排序"，而是用量化手段低成本地复制优秀分析师对报表勾稽关系的解读。在那之前，基于因子的基本面量化只是过渡形态——它无可替代，但也远非基本面分析的完美替身。

6.8机器学习与因子投资

Gu, Kelly and Xiu（2020，下称 GKX）给"机器学习"下了一个务实的定义：一系列服务于统计预测的高维模型 + 防止过拟合的正则化方法 + 高效筛选大量候选模型的算法。在因子投资场景下，它的核心用途就两个：预测（公司特征 → 个股预期收益的截面关系，或市场整体的时序预测）与特征选择（几百个候选变量里哪些真正重要）。为什么必要？当候选特征成百上千时，排序法（一次只能摆弄两三个变量）和 OLS 回归（维数一高就被噪声淹没）都撑不住了。

线性模型：从 OLS 到惩罚回归

OLS 在高维、低信噪比数据上的病灶：特征多重共线时系数估计方差爆炸；几百个特征几百个参数，700 个月的样本根本喂不饱；最小化样本内残差平方和的目标天然鼓励过拟合，且对肥尾收益率的极端值极其敏感（稳健化的常见做法是把平方损失换成 Huber 损失：误差小于阈值 $\xi$ 时用平方项、超过时改用线性项，即 $h(x;\xi)=x^2$ 若 $|x|\le\xi$，否则 $2\xi|x|-\xi^2$，见式 6.30–6.31）。治高维病的主药是惩罚项：

非线性模型：树与神经网络

线性模型最大的先天缺陷是难以刻画特征之间的交互——"小市值 + 高动量"的效应未必等于两者之和；手工加交互项会组合爆炸。非线性模型正是为此而生。

模型评估与 GKX 实证

GKX 的实证是这个领域的标杆：美股 1957—2016 共 60 年，94 个公司特征 × (8 个宏观变量 + 1) + 74 个行业哑变量 = 920 个特征，赛 13 个模型——全特征 OLS、三特征 OLS、PLS、PCR、弹性网络、广义线性、随机森林、GBDT，以及 1～5 层隐藏层的神经网络。主要结论：

• 排名：全特征 OLS 一败涂地（大盘股上尤甚）；带惩罚的线性模型显著优于 OLS；树模型略优于线性但差距不显著；神经网络最优（三层隐藏层的 NN3 居冠），显著强于线性模型、对树模型的优势不够显著。更深不等于更好——NN4、NN5 反而回落，低信噪比数据喂不饱深网络。
• 幅度：最好的模型对个股月收益的 $R^2_{\mathrm{oos}}$ 也只有 0.4% 左右——机器学习确实提升了预测，但提升是"从几乎为零到零点几个百分点"，与图像识别的 99% 准确率是两个世界。别小看它：0.4% 的截面预测力足以支撑可观的多空组合表现，但它离"印钞机"极远。
• 什么特征重要：动量/趋势类与流动性类量价特征贡献最大；线性模型几乎只用趋势类，非线性模型对各类特征的利用更均衡。A 股研究结论类似（非线性 > 惩罚线性 > OLS，DFN 与 XGBoost 表现突出），但最重要的特征换成了交易摩擦/流动性类——与 A 股散户占比高、流动性溢价强的市场结构一致。

PCA 与因子选择：把"找因子"交给数据

前面是有监督学习（给定特征预测收益）；无监督学习的代表 PCA 则从另一个方向进攻：也许我们根本不知道真因子是什么，不如把它们当作隐变量从数据里提出来。

三项代表性工作，各解决一个痛点：

• Giglio and Xiu（2019）：借道隐性因子空间估计任意可观测因子的溢价，对遗漏变量免疫。实证亮点：动量溢价在传统 FM 回归里随控制变量翻符号，用该方法则稳定合理；对流动性、中介杠杆等不可交易因子也能给出方向正确的溢价。Rapach and Zhou（2019）用稀疏 PCA 从 120 个宏观变量提取可解释的稀疏宏观因子，配合此法构建的四因子模型解释力可比 HXZ 与 FF5。
• IPCA（Kelly et al. 2019）：经典 PCA 只能估静态模型；IPCA 把因子暴露参数化为公司特征的函数（特征作暴露的工具变量），让 β 随特征动态变化。实证：六个 IPCA 因子的样本外切点组合夏普比率高达约 4.05，同期"FF5+动量"六因子只有约 1.37；前几个 IPCA 因子可大致对应价值/杠杆、市场、动量、短期反转，可解释性尚可。核心启示：公司特征的动态变化才是理解因子暴露的关键。
• RP-PCA（Lettau and Pelger 2020）：经典 PCA 只用二阶矩（协方差），会丢掉"因子必须被定价"的一阶矩信息；RP-PCA 在目标函数里加入均值项，提出的五个因子既解释共同波动又解释截面差异，且有较好的经济学对应。

机器学习的问题：为什么金融不是图像识别

• 低信噪比：个股月收益几乎全是噪声，可达的 $R^2_{\mathrm{oos}}$ 以零点几个百分点计。图像识别里信号占绝对主导、可达准确率 99%+；金融里再强的模型也只能把"几乎不可预测"改善成"略微可预测"。
• 样本太小且只有一条路径：最完整的美股月度数据也只有 700 个月左右，而且历史只发生了一次——在同一条价格路径上反复调参，本质上就是 6.1 节的 p-hacking。前向回测（walk-forward）只能防"用到未来数据"，防不了"对着这条路径过拟合"。
• 非平稳：图像里猫的定义不会因为你识别了它而改变；市场规律会——被发现的规律引来套利，数据生成过程本身漂移（6.6 节）。训练集越久远，越可能描述一个已不存在的市场。
• 交叉验证失效：金融序列自相关 + 异方差，随机切分会让训练集信息泄漏进测试集。对策：按时间切分并在训练/测试集之间留出隔离带（purging）。
• 回测夏普被系统性高估：给定收益分布，波动率越高的资产在单次回测里越容易"抽到"高夏普；加上多次尝试的选择偏差，需要用平减夏普比率（deflated Sharpe ratio）之类的工具矫正。
• 可解释性：黑箱模型的显著预测力必须回溯到"哪些特征在起作用、经济逻辑是什么"（可用特征重要性/敏感度分析），否则你无法判断它学到的是规律还是巧合——这又回到了先验与经济学故事。

总的判断：机器学习已经证明能有限但真实地改进收益预测与因子研究，它的最佳角色是与经典方法结合——正则化是先验的算法化、集成是稳健性的算法化、PCA 是模型无关的因子提取——而不是取代多因子框架。数据模型终究要靠业务理解落地。

import numpy as np
from math import erf, sqrt

rng = np.random.default_rng(0)
M, T, n_true = 505, 240, 5
mu = np.zeros(M)
mu[:n_true] = 0.005                  # 真因子月均收益 0.5%
R = mu + 0.02 * rng.standard_normal((T, M))   # 月度波动 2%

import numpy as np
from math import erf, sqrt

rng = np.random.default_rng(0)
M, T, n_true = 505, 240, 5
mu = np.zeros(M)
mu[:n_true] = 0.005
R = mu + 0.02 * rng.standard_normal((T, M))

t = R.mean(0) / (R.std(0, ddof=1) / np.sqrt(T))
p = np.array([2 * (1 - 0.5 * (1 + erf(abs(x) / sqrt(2)))) for x in t])
alpha = 0.05

def report(rej, name):
    tp = rej[:n_true].sum(); fp = rej[n_true:].sum()
    print(f"{name:12s} 拒绝 {rej.sum():3d} | 检出真因子 {tp}/{n_true} | 假阳性 {fp:3d}")

report(p < alpha, "不校正")
report(p < alpha / M, "Bonferroni")

order = np.argsort(p)                 # Holm 逐步法
rej = np.zeros(M, bool)
for k, idx in enumerate(order):
    if p[idx] <= alpha / (M - k):
        rej[idx] = True
    else:
        break
report(rej, "Holm")

thresh = alpha * np.arange(1, M + 1) / M      # BH
below = p[order] <= thresh
rej = np.zeros(M, bool)
if below.any():
    rej[order[:below.nonzero()[0].max() + 1]] = True
report(rej, "BH (FDR)")

cM = (1.0 / np.arange(1, M + 1)).sum()        # BY
below = p[order] <= thresh / cM
rej = np.zeros(M, bool)
if below.any():
    rej[order[:below.nonzero()[0].max() + 1]] = True
report(rej, "BY (FDR)")

import numpy as np

rng = np.random.default_rng(7)
T = 600
S = np.zeros(T); S[0] = 1.0            # 两状态马尔可夫链，留存概率 0.95
for tt in range(1, T):
    S[tt] = S[tt-1] if rng.uniform() < 0.95 else 1 - S[tt-1]

alpha_L = 0.003
alpha_S = np.where(S == 1, -0.012, -0.001)
sig = 0.025
long_leg  = alpha_L + sig * rng.standard_normal(T)
short_leg = alpha_S + sig * rng.standard_normal(T)
ls = long_leg - short_leg

def mean_by_state(x, name):            # (1) 分组均值 + Welch t
    hi, lo = x[S == 1], x[S == 0]
    se = np.sqrt(hi.var(ddof=1)/len(hi) + lo.var(ddof=1)/len(lo))
    print(f"{name} 高情绪 {hi.mean():+.4f} | 低情绪 {lo.mean():+.4f}"
          f" | 差 t = {(hi.mean()-lo.mean())/se:+.2f}")

def predreg(y, name):                  # (2) R_t = a + b S_(t-1) + e
    X = np.column_stack([np.ones(T-1), S[:-1]]); yy = y[1:]
    coef, *_ = np.linalg.lstsq(X, yy, rcond=None)
    resid = yy - X @ coef
    cov = resid @ resid / (T-3) * np.linalg.inv(X.T @ X)
    print(f"{name} b = {coef[1]:+.4f}, t(b) = {coef[1]/np.sqrt(cov[1,1]):+.2f}")

for f, n in [(long_leg,"多头"), (short_leg,"空头"), (ls,"多空")]:
    mean_by_state(f, n)
for f, n in [(long_leg,"多头"), (short_leg,"空头"), (ls,"多空")]:
    predreg(f, n)

import numpy as np

rng = np.random.default_rng(3)
n, p, n_true = 600, 50, 3
X = rng.standard_normal((n, p))
X = (X - X.mean(0)) / X.std(0)
beta_true = np.zeros(p); beta_true[:n_true] = [0.30, 0.20, 0.15]
y = X @ beta_true + 3.0 * rng.standard_normal(n)
y = y - y.mean()
sig2 = beta_true @ beta_true
print(f"理论可达 R2 = {sig2/(sig2+9.0):.3f}")      # 约 0.017

def lasso_cd(X, y, lam, beta0, n_iter=300):
    beta = beta0.copy(); r = y - X @ beta; n = len(y)
    for _ in range(n_iter):
        for j in range(X.shape[1]):
            r = r + X[:, j] * beta[j]
            rho = X[:, j] @ r / n
            beta[j] = np.sign(rho) * max(abs(rho) - lam, 0.0)
            r = r - X[:, j] * beta[j]
    return beta

lam_max = np.abs(X.T @ y).max() / n
lambdas = lam_max * np.logspace(0, -2.5, 30)
path = np.zeros((len(lambdas), p)); b = np.zeros(p)
entered = []
for i, lam in enumerate(lambdas):
    b = lasso_cd(X, y, lam, b); path[i] = b
    for j in np.where(b != 0)[0]:
        if j not in entered: entered.append(j)
print("进入顺序（前10）:", entered[:10], " 真信号=0,1,2")
for i in [9, 19, 29]:
    nz = np.where(path[i] != 0)[0]
    print(f"lam={lambdas[i]:.4f}: 非零 {len(nz):2d}, 假发现 {(nz >= n_true).sum():2d}")

Xtr, ytr, Xva, yva = X[:400], y[:400], X[400:], y[400:]
best = (None, np.inf, None); b = np.zeros(p)
for lam in lambdas:                    # 验证集选 lam
    b = lasso_cd(Xtr, ytr, lam, b)
    mse = ((yva - Xva @ b) ** 2).mean()
    if mse < best[1]: best = (lam, mse, b.copy())
sel = np.where(best[2] != 0)[0]
print(f"验证集选 lam={best[0]:.4f}, 选中 {len(sel)} 个: {sel}")

b_ols = np.linalg.lstsq(X, y, rcond=None)[0]
print("OLS |系数| 前5:", np.argsort(-np.abs(b_ols))[:5])