機(jī)器(qì)學習(xí)時(shí)代↑ε→的(de)回測規程

作(zuò)者：石川

摘要(yào)：在回測中牢記并遵守這(zhè)些(xi•§≤♠ē)準則可(kě)以有(yǒu)效降低(dī)過  €δ拟合的(de)風(fēng)險、避開(kāi)噪音(yīn)、找到(dε•↓₩ào)真正在樣本外(wài)可(kě)持續的(de)因果關系，獲取更™₽π×高(gāo)的(de)收益。

0 引言

讓我們從(cóng)下(xià)圖這(zhè)個≤£(gè)令人(rén)欣喜的(de)回測（backtesting）說(≥™σshuō)起。

上(shàng)圖是(shì)某針對(duì)美(měi)© ≤股的(de)選股策略在長(cháng)達 50 年(nián)的(de)回測內±™&₩(nèi)的(de)淨值曲線。該策略采用(yòng)多(duō)空₹β‌φ(kōng)對(duì)沖、市(shì)值中性的(de)方法構建。該策♠®略表現(xiàn)出了(le)五大(dà)優秀量化(huà)策略的(₽βde)必要(yào)不(bù)充分(fēn)（呵呵）特征：

Too good to be true?

沒錯(cuò)，它正是(shì) data mining >φ→的(de)産物(wù)。該因子(zǐ)的(de)構建完全沒有(yǒu™​♠)使用(yòng)任何基本面或者交易數(≠☆≤ shù)據，而僅僅依賴美(měi)股上(shàng∑→)市(shì)公司股票(piào)代碼上(shàng♦€↕)的(de)字母。比如(rú)蘋果公司的(de)§λ€§股票(piào)代碼是(shì) AAPL，該代碼上↕ ₹(shàng)的(de)第 1 至 4 位上(sh£←₽‍àng)的(de)字母分(fēn)别為(wèi) A、A、P 以及 L§δφ‌。該因子(zǐ)的(de)構建方法是(shì)做(zu →ò)多(duō)股票(piào)代碼第三位字母為(wèi) S 的↓♦(de)股票(piào)、做(zuò)空(kōng)股票(pià§₽& o)代碼第三位字母為(wèi)  U 的(de)股票(λ↕≠λpiào)（記為(wèi) S(3) – U(3)）。在實驗中，考慮股票(piào)代碼的(de)∏↑♣ 前 3 位字母；考慮到(dào)全部可( •☆£kě)能(néng)的(de) 26 個(gè)字母，以←§≥↓及每個(gè)字母可(kě)以出現(xiàn) δ在多(duō)、空(kōng)兩頭，因此實驗中有(yǒu)成千♣∏ 上(shàng)萬種組合方式。而 S(3) – U(3) 這(zhè)種組合♠×‍>正是(shì)從(cóng)這(zhè)些(xiē)組合中脫穎 ←而出的(de)、具備了(le)上(shàng)述五大(dà)優秀特征的(de)®→​£、僅僅來(lái)自(zì) data mining 的(d>←e)虛假策略。上(shàng)面這(zhè)個(gè)策略是(shì)靠蠻力（bru​<€εte force）找到(dào)的(de)，并不(bù)£>↕能(néng)說(shuō)是(shì)機(jī)器(®Ω‌βqì)學習(xí)（Machine Learning）的(de)産σ≥物(wù)。機(jī)器(qì)學習(xí)會(hu∞♣>ì)進行(xíng)仔細的(de)交叉驗證（cross-₩<$☆validation）以确保我們在訓練集和(hé)測試集上(shàng)看(k•'↕±àn)到(dào)相(xiàng)似的(de)結果。不(bù)幸的(de)是§φ(shì)，上(shàng)述策略在整個(gè)回測期內(nèi)的(de‌¥®)穩定表現(xiàn)大(dà)概率會(huì)讓它通(tō"σ∑ng)過交叉驗證。這(zhè)背後的(de)原因是(shì)股票(p★₽ αiào)市(shì)場(chǎng)的(d£÷e)數(shù)據容易出現(xiàn)路(lù)徑依賴，造成訓練集和(hé)測γδ₹試集之間(jiān)并不(bù)獨立。

這(zhè)個(gè)例子(zǐ)說(shuō)明(míng)，量化(huà)投資的(de)小(xiǎo)夥伴在回測基于機(jī)器(‌α>qì)學習(xí)的(de)策略時(shí)将面臨很(hěn)大(÷♦​→dà)的(de)挑戰。回測的(de)目的(de)是(shì)去(qù)僞存真，排除噪音(yīn€ γ)、發現(xiàn)預測指标和(hé)資産收益率✔ε之間(jiān)真正的(de)因果關系，從(cóng)而在樣本外(wài¥↓★↔)的(de)實盤交易中獲得(de)收益。如(rú)果回測不(bù)靠譜、落σ≥♣入各種陷阱，那(nà)麽實盤的(de)結果則可(kě)想而知(zhī)。這(→±≤zhè)個(gè)問(wèn)題在機(jī)器(qì)學習(xí)如(rú® ♠ )此普及的(de)今天顯得(de)更加嚴重。為(wèi)了(le)幫助量化(huà)交易者更好(hǎo÷✘↓)的(de)杜絕樣本內(nèi)的(de)過∞•€•拟合，提高(gāo)發現(xiàn)真正有(yǒu)效策略的(de)概率，三♣>™位大(dà)咖站(zhàn)了(le)出來(lái)：來(lái)自(zì) ☆¶γ↓Research Affiliates ♣✘的(de) Robert Arnott，杜克大(dà)學教授、前 A≥©↔σFA 主席 Campbell Harvey，以及諾貝爾經濟學獎✔‌±獲得(de)者 Harry Markowitz 在 IPR Journ±σals 的(de)最新成員(yuán) Journal of Financia∑₩↕πl Data Science 的(de)處女(nǚ)刊上(sh≥™₹&àng)發表了(le)一(yī)篇題為(wσ¥§☆èi) A Backtesting Protocol in th&©e Era of Machine Learning 的(de)文(wén)章(zhāng)（Arnott©'δ, Harvey, and Markowitz 2019）。

本文(wén)中我用(yòng)“規程”來(lá≈€δi)對(duì)應 Protocol 一(yī)詞，它也(yě)可(kě)☆‍©以被譯作(zuò)“協議(yì)”或者“清單♦♥”，其目的(de)就(jiù)是(shì)通(tō≤φ"♣ng)過逐步遵循這(zhè)些(xiē)準則來(l₽&β♣ái)減少(shǎo)樣本內(nèi)過拟合的(de)可(kě)能"€α≠(néng)性。這(zhè)個(gè) p★γ≤δrotocol 之于回測可(kě)靠性的(de)作(zuò)用(yòng)就(✘ ↓↕jiù)好(hǎo)比飛(fēi)行(xíng)員<™(yuán)的(de) checklist 之于飛(fφ​<ēi)行(xíng)安全的(de)作(zuò)用(yòng)。Arno¥ ≈tt, Harvey, and Markowitz (2019)•∞✔♠ 一(yī)文(wén)提出的(de) protoco♦§"l 一(yī)共包括七部分(fēn)，它們是(shì)：

它們構成了(le)一(yī)個(gè)完整且可(kě)操作(÷‍×zuò)的(de)體(tǐ)系，能(néng)夠幫助我們更好(&§¶hǎo)的(de)規避樣本內(nèi)的(de)虛假信号、找出能(né¥αng)在樣本外(wài)更有(yǒu)效的(de)>✔'交易策略。前文(wén)《所有(yǒu)樣本數(shù)據都(dōu)是£★(shì)樣本內(nèi)》曾論述過 protocol 中的(de)第四部分(f≠εēn)。不(bù)過，鑒于它的(de)系統性，我想用(yòng)今天這(zhè←"¥±)篇文(wén)章(zhāng)把這(zhè)七個(gè)角度全部梳理(lǐβα)一(yī)下(xià)。以下(xià)行(xíng)文(wén)→β并不(bù)會(huì)逐字逐句的(de)轉述 Arα≤שnott, Harvey, and Markowitz (201≠↑9) 提出的(de)每一(yī)個(gè) bul©∞∑let point，而是(shì)會(huì> •)結合我有(yǒu)限的(de)經驗和(hé)粗淺的​&(de)認識解讀(dú)我認為(wèi)最重要(y×€•ào)的(de)一(yī)些(xiē)內(nèi)容。浏覽本文♠÷↓∏(wén)并不(bù)能(néng) 100% 代替閱讀(dú)原作(zuò)←<↔，因此強烈建議(yì)感興趣的(de)小(xiǎo)®₽"&夥伴找來(lái) Arnott, Harvey, and Markow§∏<itz (2019) 看(kàn)一(yī)看(kàn)。此外(wài)，由于公衆号之前在倡導科(₩¶≠kē)學回測和(hé)防止過拟合方面也(yě)做(zuò)過許多(d'↑uō)努力，很(hěn)多(duō)文(wén)章✘π¥♥(zhāng)都(dōu)能(néng)很(hěn)好(←≠φ&hǎo)的(de) fit 進這(zhè)個(gè) prot∞"Ω♠ocol，所以會(huì)在行(xíng)文(wéσ•∏n)中把它們串聯起來(lái)。下(xià)文(wén)第 1 到(dào)第 7 節将分(fēn)别論< ±≈述這(zhè)個(gè) protocol 的(de)七個(gè)方面。第 ♣>"8 節總結全文(wén)。

1 研究動機(jī)

回測規程的(de)第一(yī)個(gè)方面是(shì)研究動機(jī)（Research Motivation）。Harvey 教授直言，金(jīn)融領域的(de)數(shù)據樣本太少(shǎo)了(©•♥le)（也(yě)許超高(gāo)頻(pín)除外(wài)）。以美®→δ♥(měi)股為(wèi)例，現(xiàn)代金(jīn)融時©$$♥(shí)代的(de)股票(piào)月(yuè)頻(pí ≥®∑n)數(shù)據大(dà)概隻有(yǒu) 700 期（≥λ相(xiàng)當于 60 年(nián)），這(zhè)對(du   ™ì)于機(jī)器(qì)學習(xí)應用(y≠₩✔òng)來(lái)說(shuō)太少(shǎo)了(l₩€✔e)（回想一(yī)下(xià) A 股，通(₩ ♣tōng)常單因子(zǐ)評測的(de)回測期隻有(yǒu)區↑ ® (qū)區(qū) 10 年(nián)，真≥α☆是(shì)太短(duǎn)了(le)）。因此，這(zhè)個(gè) pro•‍₹≤tocol 中第一(yī)也(yě)是(shì)最重要(yào)的(d↑÷σe)一(yī)點就(jiù)是(shì) a clear economic found≠λation for any model —— 任何策略都(dōu)應該有(yǒu)一(yī)個(gè)↓‌理(lǐ)論先驗。注意，是(shì)先驗，而不(bù)是(s→&™★hì)看(kàn)到(dào)數(shù)♣α之後再“真香”編故事(shì)。

Chordia, Goyal, and Saretto ( "≈2017) 使用(yòng)基本面指标的(de)不(bù)同組合♥∏≠方法構建了(le)兩百萬個(gè)針對(duì)美(měi)股的(d≥ →₽e)因子(zǐ)策略。在實驗設計(jì)中，他(tā)們對(duì) dat™→a mining 進行(xíng)了(le)必要(♣"¥yào)的(de)懲罰，并最終找到(dào) 17 個(gè)在統計(↑≤∏jì)上(shàng)和(hé)經濟上(shàng ¶←φ)都(dōu)顯著的(de)因子(zǐ)。其中一(yī)個(gè)因子(zǐ)的(de)δ×↔α構建方法為(wèi)：分(fēn)子(zǐ)是(sh♠'σì) long-term debt issuance 和(h§♥σé) preferred stock reπα¶deemable 之差；分(fēn)母是(shì) minimum™♦÷& rental commitments fourδ£∏λ years into the future。這(zhè)個(gè)因子(÷£¶→zǐ)使用(yòng)了(le)三個(gè)财務指标，但(dàn)是(shì↕₽↕)該組合卻毫無業(yè)務含義。而上(shàng)述其他(tā) <×16 個(gè)“顯著”的(de)因子(zǐ)都(d§≤ōu)具有(yǒu)類似的(de)結構，它們都(dōu)是(shì) d₹÷ata mining 的(de)結果。在現(xiàn)實中，人(rén)們往往站(zhàn)在“任何策 α§略都(dōu)應該有(yǒu)一(yī)個(gè)理(lǐ)α 論先驗”的(de)對(duì)立面上(shàng)，即先看(kàn)₹≈÷數(shù)據再找理(lǐ)由。比如(rú)對(duì)于前面那(nà)個(Ω©gè) S(3) – U(3) 的(de)例子(zǐ)。它>±的(de)那(nà)些(xiē)優秀特征會(huì)讓人(rén)去(qù∞✘σ)尋找虛假的(de)理(lǐ)論依據來(lái)說(shuō)服λ↓≠‌自(zì)己。當一(yī)個(gè)人(rén)能(nénα₽ ÷g)夠為(wèi) S(3) – U(3) 找♦÷到(dào)理(lǐ)由，那(nà)麽如(rú)果回測的"π∏(de)結果顯示相(xiàng)反的(de)結果♣>★，即 U(3) – S(3)，相(xiàng)•∏γ¶信 TA 也(yě)能(néng)夠找到(dào∑φ×')理(lǐ)由。

Any suspicion that thβ e hypothesis was developed after looking at the data is an obviou""s red flag.

2 多(duō)重假設檢驗

Protocol 的(de)第二方面是(s© ₹hì)當心多(duō)重假設檢驗（Multiple Testing and Statistica™≈∞l Methods）。公衆号的(de)小(xiǎo)夥伴對(duì)它一(yī)定不( ≠bù)陌生(shēng)，之前的(de)文(wén)章(zhāng<€)《出色不(bù)如(rú)走運？》、《出色不(bù)如(rú)走運 (II)？》、《出色不(bù)如(rú)走運 (III)？》談的(de)全是(shì)它。多(duō)重假設檢驗指的(de)是(shì)：當我們測試一(yī)個(gè)策略的(de)許多(duō)組參數★ (shù)，或者很(hěn)多(duō)選個↔§÷•(gè)因子(zǐ)時(shí)，僅僅依靠運氣，這(zhè÷∏♥)些(xiē)參數(shù)或者因子(zǐ)中效果最好(hǎ©♠o)的(de)那(nà)個(gè)就(jiù)能(néng)π₩☆在樣本內(nèi)獲得(de)很(hěn)高(gāo)的(de)夏普率（這(zσ≤hè)也(yě)被稱作(zuò) inflated ₹≤≈Sharpe Ratio）。在回測時(shí)必須時(shí)刻考慮多(duō)重假設檢驗的(de)影(←¥yǐng)響。用(yòng)白(bái)話(huà)的(de)理(lǐ)解就(jiù)是(s'<≠hì)：如(rú)果我以某個(gè)金(jīn)融學或經濟學原理(✔↓♦lǐ)為(wèi)先驗，構建了(le)一(yī)★☆λ>個(gè)因子(zǐ)并測試有(yǒu)效，那(nà)麽它大(dà)概是♦ ♥Ω(shì)真有(yǒu)效；然而，如(rú)果©π♠®我兩眼一(yī)抹黑(hēi)試了(le) 100♥♠φ 個(gè)因子(zǐ)，然後隻挑出了(l§‌ε☆e)最好(hǎo)的(de)那(nà)一(yī)​¶≥個(gè)，那(nà)麽這(zhè)個(g≠∏α§è)因子(zǐ)很(hěn)可(kě)能(n←©éng)隻是(shì)個(gè) luc​ ky factor。

Bailey and Lopez de Prado (2012, ‍←<<2014) 專門(mén)就(jiù) inflaσ♦↓γted Sharpe Ratio 進行(δαααxíng)了(le)探討(tǎo)。他(tā)們假設不(bù)同₩$¥₽參數(shù)的(de)策略的(de)夏普率↕€δ滿足均值為(wèi) E[SR]、方差為(✘>Ω wèi) V(SR) 的(de)正态分(fēn)布。在上(↔§shàng)述假設下(xià)，N 組不(bù)同參數(shφ↓←>ù)中樣本內(nèi)最大(dà)的(de)夏普率的(d≠Ωe)期望滿足（式中 γ 是(shì)歐拉-馬斯刻若尼常±↑數(shù)）：

該關系式表明(míng)，樣本內(nèi)的(de)最大(d₩✔÷à)夏普率随 N 增大(dà)和(hé) V(SR) 增大(♣©εdà)。假設 V(SR) = 1，則我們隻需要↕ ∞​(yào)測試 100 組設定，樣本內(nèi)的(de∑™)虛高(gāo)夏普率就(jiù)高(gāo)達 2.5，盡管它對(duì)應↓δ£的(de) null hypothesis 是(shì)該策略真實夏 ≠£普率為(wèi) 0。這(zhè)就(jiù)是(shì)不(bù) ≥$考慮多(duō)重假設檢驗的(de)危害。在《出色不(bù)如(rú)走運 (III)?》一(yī)文(wén)中，我們根據 Novy-M¶φδarx (2015) 的(de)方法、使用(yòng)中證 500 的(d‍β★e)成分(fēn)股做(zuò)了(le)随機(jī)因子(zǐ)的(de)♣‌✔實證。在實證中，純随機(jī)的(de)産生(shēng)對♥α↓(duì)收益率毫無預測性的(de) n 個(gè)因子(z'™÷γǐ)，然後根據它們的(de)表現(xiàn≤§✔↔)選出其中最好(hǎo)的(de) k 個(gσ☆è)，再把和(hé) k 個(gè)因子(zǐ)配置在一(yī)起，考察它們在πε樣本內(nèi)上(shàng)述 k 個(gè)因子♦≥(zǐ)構成的(de)投資組合收益率的(de) t-statistic 到(dào)底能(néng)有(y≈γ♦ǒu)多(duō)高(gāo)（由于這(zhè)些(±✘xiē)随機(jī)因子(zǐ)毫無預測性，因此 nul<£<l hypothesis 是(shì)它們的(de)預期收益率為(wèiδ∑<)零；評價标準為(wèi)投資組合收益率 t-statistic 經驗分(fēn)布的(de) 95% 分(fēn)位數♠∞±(shù)阈值）。

下(xià)圖給出了(le)實證結果。從(cóng)中不(bù)難觀察到(d₽εào)以下(xià)三點：（1）随著(zhe) n 和(hé∑€↑€) k 的(de)增加，對(duì)于按照(zhào)随機(jī)因子≥≠(zǐ) t-statistic 絕對(duì)值賦權配置的(de)策略，它們的(deδλ♠λ) t-statistic 阈值遞增；（2）随著(zhe) n 的≈÷♠∞(de)增加，等權配置和(hé)按因子(zǐ)¶​§樣本內(nèi)表現(xiàn)配置的(de)效果越來(l<¶λ↕ái)越接近(jìn)；（3）對(duì)于等♥₩權配置因子(zǐ)的(de)情況，能(néng)夠觀察到(↔λ©∏dào)策略的(de)效果并不(bù)随 k 遞增；這(zhè)₩♦≤'是(shì)因為(wèi)當 k 逐漸增大(dà)時✘'(shí)，使用(yòng)更多(duō)的(de)因子(zǐ)可(kě)ε∏←₹以降低(dī)組合的(de)波動率、提升 t-statistic 的(de)阈值；一(yī)旦 k 超過最優值¥ε♥©，越來(lái)越多(duō)排名靠後的(de)因子(zǐ)被選入，£<<降低(dī)組合的(de)收益率以及 t-statistic 阈值。

為(wèi)了(le)在實證研究中發現(xiàn)樣本內(nèi)更好(∑✔δ​hǎo)的(de)策略或者更顯著的(de)因子(zǐ) —— 無€♥‍論是(shì)為(wèi)了(le)討(tǎo)好(hǎo)基金(j≈×₩λīn)經理(lǐ)還(hái)是(shì)為"™₹(wèi)了(le)在頂刊上(shàng)發文(α‌ ♣wén) —— 多(duō)重假設檢驗的(de)不(bù)正之風(f<↕ēng)早已席卷了(le)學術(shù)界和(hé✔π)業(yè)界。Harvey, Liu, and Zhu (2016) 研究了(le♠♥​)學術(shù)界發表的(de) 316 個(gè)選≠‍​股因子(zǐ)。他(tā)們通(tōng)過考慮♥ 不(bù)同因子(zǐ)之間(jiān)相(xiàng)關性提出了(le)一δ∞×(yī)個(gè)全新檢驗框架。該方法可(kě)以排除 multip•÷&↔le testing 的(de)影(yǐng)響。該研究表明(mí♣∏ng)，隻有(yǒu)在 single testing →↓₹中 t-statistic 超過 3.0（而非人(rén)們傳統認為(Ω<wèi)的(de) 5% 的(de)顯著性水(shuǐ)平對(duì)應的±>&(de) 2.0）的(de)因子(zǐ)才有(yǒu)可(kě)能(nén©®'≈g)在排除了(le) multiple testing 的(de'$∞)影(yǐng)響之後，而非來(lái)自(z$∏¥₽ì)運氣。不(bù)過，Harvey 同時(shí)也(yě)指出，3.0 ←→×∏其實都(dōu)是(shì)非常保守的(de)♥↔↕。我們自(zì)己在回測時(shí)應時(shí)刻謹記 multipleγ± testing 的(de)影(yǐng☆☆φ≤)響；此外(wài)，在學習(xí)别人(rén)的(de)發現(xiàn) ∑時(shí)也(yě)要(yào)保持著(€αεzhe)一(yī)顆懷疑之心，因為(wèi)沒有(≠÷←±yǒu)多(duō)少(shǎo)人(rén)告訴我們¶☆α，在 TA 提出的(de)這(zhè)個(☆♦ ♦gè)樣本內(nèi)顯著因子(zǐ)之前有(yǒu)過多(duō)少(☆≤↔₽shǎo)次失敗的(de)嘗試。

3 樣本選擇和(hé)數(shù)據

Protocol 的(de)第三部分(fēn)是(shì)樣本選擇和(hé)數(shù)據（Sample Choice ✔≤↓and Data）。它的(de)核心要(yào)素包括：（1）回測前就(jiù)要(yào)确定回測區(qū)間(jiān)，而非δ£Ω事(shì)後調整；（2）确保數(shù)據→£ε♦質量；（3）小(xiǎo)心處理(lǐ)異常™® 值（outliers） —— 不(bù)要(yào)α←凡事(shì)都(dōu)想當然；（4）認真記錄進行(xíng)的(d←​e)數(shù)據變形處理(lǐ)。所有(yǒu)的(de)這(zhè)些(xΩ♥∞↑iē)努力其實都(dōu)是(shì)為(wèi)σ☆≤了(le)避免 p-hacking。Harvey 教授在介紹 Arnott, Harvey, and ‌§✘₽Markowitz (2019) 這(zhè)篇文(wéδ÷ ≥n)章(zhāng)的(de)短(duǎn)片中講了(l≠≈↓πe)一(yī)個(gè)故事(shì)。一(yī)個(gèε₽§)量化(huà)研究員(yuán)給他(tā)展示了(le)一(™β≥←yī)個(gè)股票(piào)策略，該策略在♥÷♣回測期內(nèi)的(de)表現(xià≠©αφn)非常好(hǎo)；隻不(bù)過該回測有(yǒu)一(♣₹yī)個(gè)緻命的(de)問(wèn)題：它的(de)回測窗(ch €uāng)口不(bù)包含 2008 年(n‍αián)的(de)金(jīn)融危機(jī)。當 Harvey 教授問¥​←(wèn)他(tā)為(wèi)什(shén)麽排除這(zhè)段εα時(shí)期，得(de)到(dào)了(le)令人(rén)無語的(de)∑✘ 答(dá)複：“因為(wèi)策略在這(z☆→<hè)段時(shí)間(jiān)內(nèi)失效了(le)↑♦”。

這(zhè)就(jiù)是(shì)先看(kàn)結果再調Ωπ♠₩整回測區(qū)間(jiān)，妥妥的(de) p-h☆✘acking 反例。法國(guó)哲學家(jiā)孔德将科(kε‍σē)學分(fēn)成不(bù)同的(de)等級（Comte 1856）§∑γ₩。像數(shù)學、物(wù)理(lǐ)這(zhè)類“硬科♠α₩(kē)學”位于等級的(de)上(shàng)方，而社會(hβ←uì)學、經濟學這(zhè)些(xiē)“軟↕πφ科(kē)學”位于等級的(de)下(xià)方。“硬”和(hé)“軟”φ‌≈本身(shēn)并無“好(hǎo)”與“壞♦♦&”之分(fēn)。硬科(kē)學可(kě)以從(cóng)數(s ε¶hù)據可(kě)以直接得(de)到(dào)結論、無需任☆>​何人(rén)工(gōng)解釋，且結論是(shì &✔♦)高(gāo)度可(kě)歸納的(de)。比如(rú)數(shù)學上(shàng)的(de↓★)四色問(wèn)題，一(yī)旦證明(míng)成立那(nà)就(jiù)是< ®(shì)成立；又(yòu)如(rú)物(wù)理(lǐ)上(shàng↓δ)的(de)引力波，一(yī)旦發現(xiàn)那(nà)就♠σ (jiù)是(shì)說(shuō)明(mín♣±g)它的(de)存在，這(zhè)些(xiē)都(dōu)是(sεδ∏≈hì)确切的(de)。反觀軟科(kē)學，研究成果依賴于提出怎樣的(de)假設，如(r→©ú)何處理(lǐ)數(shù)據，以及如(rú)何分(fē✘¥♦ n)析、解釋結果，總之“事(shì)在人(rén)為(wèi)”。金(jīn)融學是(shì)軟科(kē)學，很"↑£(hěn)多(duō)實證分(fēn)析結果都(dδβōu)會(huì)因人(rén)而異。

比如(rú)在股票(piào)研究中“使用(yòng)過α✘ Ω去(qù) 50 年(nián)的(de)數(shù)據還§ Ω≥(hái)是(shì)過去(qù) 30 年(nián)的(d∞±∞e)數(shù)據？”“使用(yòng)美(měi↕∏φ<)股還(hái)是(shì)其他(tā)國(guó₽₹♦→)家(jiā)的(de)股票(piào)？”“使用(yònφεδg)日(rì)收益率還(hái)是(shì)周☆  收益率？”“使用(yòng)百分(fēn)比收益率還(hái)是(shì↕φ&)對(duì)數(shù)收益率？”“是♣∞©(shì)否以及如(rú)何剔除異常值？”“使用(yòng) OLS 還(h&☆>€ái)是(shì) GLS？”……這(zhè)些(xiē)看(±♥σ≠kàn)似自(zì)然的(de)選擇背後其實都(dōu)以↓γ追求樣本內(nèi)更顯著的(de) pσ$<≤-value 為(wèi)動機(jī)，一(yī)切阻♦‍礙獲得(de)超低(dī) p-value 的(de)數(shù)據都(dō& ‍×u)會(huì)被巧妙的(de)避開(kāi)。這(zhè)種為(wèi)了(le)獲得(de)超低(dī) p-value 而×★γ±在研究中刻意選取的(de)數(shù)據處理(lǐ)方法就(ji≈ ₩¥ù)是(shì) p-hacking。

人(rén)們對(duì)于 p-hacking 的(de)狂熱​<(rè)源于對(duì) p-value 的(de)錯(cuò)誤解讀(d 'ú)。在統計(jì)學中，如(rú)果 H0 和(hé) H♠ε₽∏1 分(fēn)别表示 null hypothesis 和(hé) ↕£alternative hypothesis，則 p-value €✔‌= prob(D|H0)，即在 H0 成立下₩↕(xià)觀測到(dào)數(shù)據 D 的™↔(de)概率。從(cóng)該定義出發，p-value 不(bù)代πδ表原假設或者備擇假設是(shì)否為(wèi)真$∑σ實的(de)，即 p-value ≠ prob(H0|D) 以及 p-value ≠ prob(H1|D)。

在檢驗一(yī)個(gè)策略或者因子(>‌zǐ)是(shì)否有(yǒu)顯著收益時(shí)，我們需↔$要(yào)的(de)是(shì) prob(H0|♥✘D)，即在觀察到(dào) D 的(de)條件(jiàn)下(xià)，原∑φ₩ 假設為(wèi)真的(de)概率是(shì)多(d₩§uō)少(shǎo)。這(zhè)個(gè)問(wèn)題僅依靠 p-♦‌"©value 自(zì)身(shēn)無法回答(dá)的(de)。為(w÷λèi)此，Harvey (2017) 提出了(₹↓le)一(yī)個(gè)基于貝葉斯的(de)∏↑♥"框架，它可(kě)以正确求解我們關注的(de)問(wèn)題。關于 p-hacking 和(hé)上(shàng)述貝葉$≈∑&斯框架，《在追逐 p-value 的(de)道(dào)路(lù)上(shàng)狂 ↔奔，卻在科(kē)學的(de)道(dào)路(lù)上(shà "$ ng)漸行(xíng)漸遠(yuǎn)》一(yī)文(wén)曾有(yǒu)過非常詳細的(de)論述，​Ω 在此不(bù)再贅述。

4 交叉驗證

回測規程的(de)第四部分(fēn)是(shì)交叉驗證（Cross-Validation），這(zhè)部分(fēn)包括以下(xià)兩個(gè)要(y↓↑€¥ào)素：

前文(wén)《所有(yǒu)數(shù)據都(dōu)是(shì₹≥α)樣本內(nèi)》曾對(duì)上(shàng)述兩點分(fēn)别做(zuò)↔ ®過詳細闡述，本文(wén)就(jiù)不(bù)在重≥←複之前的(de)內(nèi)容。這(zhè)一(yī↔♣)條想要(yào)強調的(de)是(shì)：由于曆史數(shù)據都(dōu)是(shì)已經發生(shēn≈≈βg)過的(de)，它們都(dōu)是(shì↑ £)樣本內(nèi)數(shù)據，因此必須小(xiǎo)心解讀(dú)交叉≠‍€驗證的(de)結果，即便通(tōng)過了(le)交叉驗證，也(yě)不(bù)能(néng)無≈↓→©腦(nǎo)的(de)相(xiàng)信完全♥×排除了(le)過拟合的(de)問(wèn)題。關于更合理(lǐ)的(de)使用(yòng)交叉驗證，Bailey e¶ φ×t al. (2017) 的(de)研究成果值得(d✔¶✔πe)借鑒。他(tā)們提出了(le)一(yī)個(gè) Combinatorially-Symme¥$¥→tric Cross-Validation（組合對(duì)稱交叉驗證，簡 →₩₩稱 CSCV）方法，它可(kě)以定量的(de)計(jì)算(s≥€uàn)樣本內(nèi)過拟合的(de)概率。《美(měi)麗(lì)的(de)回測 —— 教你(nǐ)定 σ量計(jì)算(suàn)過拟合概率》一(yī)文(wén)詳細的(de)介紹了&>(le)該方法。它的(de)優勢在于：

舉個(gè)例子(zǐ)。按照(zhào) CSCV 方法，下(xià)圖≠∞€₽描述了(le)某趨勢追蹤策略在不(bù)同參數(shù)下→ε☆(xià)，其樣本內(nèi)夏普率（SR_IS）和(hé)同≤±×₽參數(shù)在樣本外(wài)夏普率（SR_OOS）的(×<↕de)負相(xiàng)關關系，意味著(zh§♦✘♦e)驗本內(nèi)效果越好(hǎo)對(duì)應著(zhe)樣本外(wàα∏™φi)表現(xiàn)越差。該策略的(de)樣本內(nèi)過拟合概率高(gāo★α₹)達 0.572。一(yī)個(gè)真正有✘↑(yǒu)效的(de)策略在樣本內(nèi)的(de)過↔×ΩΩ拟合概率不(bù)應如(rú)此之高(gāo)。

無論從(cóng)獨立性還(hái)是(shì)可(kě)交易特征而言，交易≤φ✘數(shù)據其實都(dōu)十分(fēn)匮←₽€乏。它們對(duì)傳統的(de)交叉驗證造成了(le)極大(↑'¥±dà)的(de)挑戰，在使用(yòng)機(jī)器(qì)學習(xí)時(sφ∞αhí)應牢記這(zhè)一(yī)點，理(™™>lǐ)性看(kàn)待交叉驗證結果。

5 模型動力學

模型動力學（Model Dynamics）是(shì)回測規程的(de)第五部分(fēn)，它關注的(de)是(shì)量化(huà®>)策略在樣本外(wài)的(de)表現(xiàn)‌♠逐漸變差的(de)問(wèn)題。而這(zhè)背後可(kě)能(nén‍>g)存在兩個(gè)原因：（1）市(shì)場(chǎng)結構發生(shēng)變化(huà)導緻&¥策略失效，比如(rú)越來(lái)越多(duō)的(≠‌de)人(rén)開(kāi)始使用(y €òng)某個(gè)策略或者因子(zǐ)，ε™Ω÷使得(de)它變得(de)擁擠。（2）策略使用(yòng)者自(zì)身(s≈€∏←hēn)的(de)行(xíng)為(wèi)偏差導緻一(yī)個(gè§>)好(hǎo)模型最終淪為(wèi)一(yī)個(gè)失效模型。我在之前的(de)文(wén)章(zhāng)中多(duō)次表達過一(₽>yī)個(gè)觀點：任何策略能(néng)賺錢(qián)都(dōu)>₹δ 是(shì)利用(yòng)了(le)市(™φπ♣shì)場(chǎng)的(de)某種非有(yǒu)效性；一(yī)旦使用(y•↓¶òng)該策略的(de)人(rén)越來(lái)越多(duō)，市(s '≤hì)場(chǎng)在這(zhè)方面就(jiù)變得(de)∞®'更加有(yǒu)效，從(cóng)而削弱策略的(de)盈 <π利能(néng)力。

在技(jì)術(shù)分(fēn)析領域，上(φ'÷shàng)述觀點的(de)最好(hǎo)例證之一(yī)是(shìβε γ)布林(lín)帶（Bollinger bands）。毫無疑問(wèn‌∞Ω®)，布林(lín)帶是(shì)幾十年(nián)前最盛行(xí'πλng)、最管用(yòng)的(de)技(jì)術(shù)分(fēn)↑φ析策略之一(yī)。然而，人(rén)們越來(lái)越發現(x↑ iàn)該方法掙錢(qián)的(de)能(néng)力越來(lái)越差。♦↔λ¶對(duì)此，Fang, Jacobsen, anα™↓d Qin (2017) 針對(duì)全球十幾個(gè)主$✔要(yào)市(shì)場(chǎng)進行(xíng)了(leπ≤∏₽)實證分(fēn)析。他(tā)們的(de)研究發現(xiàn)，1983 和(hé)≠±↔≤ 2001 這(zhè)兩個(gè)重要(yào)時(s"≤©hí)間(jiān)節點對(duì)于布林(lín)帶的(de★λ)效果影(yǐng)響巨大(dà)。1983 ₩≤≥年(nián)，John Bollinger首次在電(diàn)視(shì)±‌廣播中介紹了(le)布林(lín)帶，使得(de)這(zh±<™è)個(gè)之前神秘的(de)方法開(kāi)始走進大(dà)衆視(s>π£hì)野。而 2001 年(nián)，Joh ¥n Bollinger 更是(shì)發表了(le)Bol§'"™linger on Bollinger Bands 這(<♣σ≥zhè)本紅(hóng)極一(yī)時(shí)的("✔de)技(jì)術(shù)流聖經；在随後的(de) 4 年(n‌•♣ián)內(nèi)，這(zhè)本書(shū)₽≈被翻譯成其他(tā) 12 種語言在全世界範圍內>ε♠β(nèi)迅速傳播，這(zhè)使得(de)布林(lín)帶¶★↕₹一(yī)下(xià)變得(de)家(jiā)喻戶曉。Fang, Jaco‌✔bsen, and Qin (2017) 發現(xiàn)，布林(l÷ ∏ín)帶的(de)流行(xíng)和(hé)普及（特别是(s♥☆γhì) 2001 年(nián)之後）直接造成了(le)該策略的(de)失&₹​γ效。

這(zhè)樣的(de)例子(zǐ)在股票(piào)因子(z £♦©ǐ)投資中也(yě)不(bù)勝枚舉。一(yī)個(gè)新因子(zǐ)被提出後，随著(§ ₹zhe)越來(lái)越多(duō)人(rén)使用(yò™♦‌ ng)，它在 post-publication 樣本外(wài)的(de ☆↕)效果勢必會(huì)打折扣。McLean and Pontiff (2 ✔∑♥016) 研究了(le) 97 個(gè)因子(zǐ)在被發表之後的(♣↓‌de)表現(xiàn)，發現(xiàn)因子(zǐ)的≤β(de)收益率比論文(wén)中的(de) in-s★>ample 降低(dī) 50% 以上(shàng)。←±有(yǒu)時(shí)，策略并沒有(yǒu)變得(de)擁擠，但(dàn)它♣α§×在樣本外(wài)還(hái)是(shì)持↓§★續變差。這(zhè)背後的(de)另一(yī)個(g✘₹è)原因是(shì)使用(yòng)者的(de)非理(lǐ)性行(x₹∑±íng)為(wèi)偏差。任何一(yī)個(gè)策略或者交易系統，都(dōu)是(♠λ≤÷shì)基于對(duì)市(shì)場(chǎng)的✔‌(de)某個(gè)假設。然而市(shì₽ §)場(chǎng)充滿著(zhe)不(bù)确定性，因此它必然會↑ (huì)在一(yī)些(xiē)時(shí)候背離(lí)這(zhè)↑ 個(gè)假設，這(zhè)時(shí)該交∏×易系統就(jiù)會(huì)出現(xiàn)虧損。一(yī)個(gè)優秀的(de)交易系統是(&γ•shì)一(yī)個(gè)長(cháng)期來(lái)看(♣&★kàn)能(néng)夠盈利的(de)系統，而非一(yī)個(gγ εΩè)能(néng)夠每筆(bǐ)交易都(dōu)賺錢(qián)的(de)βα ®系統。

随著(zhe)交易的(de)進行(xíng)，由于小(xiǎo)數(←↕σshù)定律造成的(de)偏誤，很(hěn)多(duō)人(∏♠<∞rén)在幾次虧損後就(jiù)開(kāi)‍‌‍始“懷疑人(rén)生(shēng)”了(le)，認為(wèi)“thi ←£s time is different”©♠、開(kāi)始要(yào)對(duì)策略動刀(dāo)子(zǐ)。這(zhè)種想法非常危險。如(rú)果你(nǐ)真的£Ω(de)這(zhè)麽做(zuò)的(de)了(le)，為(wèi)'¶​了(le)每一(yī)筆(bǐ)的(de)虧損都(dō✘β±u)對(duì)你(nǐ)的(de)系統進行(x↔♠íng)了(le)修補，便走上(shàng)了£∑(le)“處處精準過拟合”的(de)快(kuài)車(chē)✘>>道(dào)，策略最終将會(huì)對(duì)市(shì)γ•≤δ場(chǎng)未來(lái)的(de)變化(huà)無能(néng)為(wè≥ i)力。

Most traders take a good >​&♣system and destroy it by trying t♠ε₩<o make it into a perfect s★✔ystem. –– Robert Prechter

改造一(yī)個(gè)長(cháng)期來(lái)看(kàn)可(kλ♥α∑ě)以賺錢(qián)的(de)優秀系統必須要(yào)非常小≥•(xiǎo)心。對(duì)哪怕是(shìδ‍)一(yī)個(gè)參數(shù)的(de)哪怕是(shì)一(←↔yī)丁點的(de)調節都(dōu)會(huì)®∞改變該系統的(de)效果。這(zhè)麽做(zuò)是(shì)♣®‍®以改動後的(de)系統對(duì)最新的(de)交易數(shù)據表現(xi☆←✘àn)更佳為(wèi)前提；但(dàn)是(shì)如(rσ×®ú)果不(bù)能(néng)證明(míng)它在未來(lái÷>≠)的(de)樣本外(wài)更有(yǒu)效，那(nà)麽如(rú)此λ•≠“改進”仍然是(shì)徒勞的(de)。量化(huà)投資背後的(de)核心是(shì)單次優勢 + 大(dà)數(←↔σ₹shù)定律。這(zhè)二者中大(dà)數(shù)定&←‌÷律又(yòu)更加重要(yào)，它要(yào)求我​÷們在交易中盡一(yī)切努力做(zuò)到(dào☆Ω)一(yī)緻性。一(yī)般交易者的(de)學習(xí)曲線如©✔∏(rú)下(xià)面圖中的(de)黑(hφ​ēi)色曲線：無法做(zuò)到(dào)嚴格λ₩♥↔遵循一(yī)個(gè)交易系統，總是(shì)帶著"©©γ(zhe)個(gè)人(rén)情感進行(xíng)交易，将自♥'(zì)己行(xíng)為(wèi)帶來(lái)的(de)不(bù)确定性錯¥≤§≥(cuò)誤地(dì)強加于系統的(de)表現(xiàn)之上(shàngΩ‌ )。這(zhè)些(xiē)交易者無法持之以恒，三天兩頭更換 €¶ 系統，最終輸光(guāng)本金(jīn)。與之相(xiàng)↔≤"€反的(de)，一(yī)個(gè)優秀的(de)交易者會(≥  φhuì)專注于一(yī)緻性，這(zhè)會₩®(huì)讓他(tā)在通(tōng)往盈利的(de)進程中越走越遠(€γ$yuǎn)，最終到(dào)達勝利的(de)< ∞彼岸。

6 模型複雜(zá)度

回測規程的(de)第六部分(fēn)是(shì)模型複雜(zá)度（Model Compleδ☆≈☆xity），主張我們應該追求策略的(de)而簡單性和(hé)可(kě)解釋₩✔∏←性。

我們大(dà)概都(dōu)有(yǒu)下(xià)面這(zhè)樣γ φ₩的(de)經驗：一(yī)個(gè)策略♦₽☆的(de)夏普率不(bù)夠亮(liàng)眼，那(nà)麽↑‌可(kě)以通(tōng)過加入止盈、止損，中性化(huà)"®₽處理(lǐ)、甚至是(shì)對(duì)投資标的(d★→¶e)進行(xíng)篩選來(lái)進一(yī ↓♠✔)步提高(gāo)其在樣本內(nèi)的(de)表現(xiàn)。此‌€≠外(wài)，對(duì)上(shàng)面的(de)每一(yī)個(g∑±™è)處理(lǐ)方法，我們似乎都(dōu)能(≤∑±&néng)找到(dào)合理(lǐ)的(de)解釋和(hé)來(l±βái)自(zì)其他(tā)文(wén)獻的(de)理(lǐ)論和(hé ♣​)實證支持。在确認偏誤下(xià)，我們非常願意相(xiàng)信這(z>↕hè)些(xiē)處理(lǐ)都(dōu)是(shì)合理(l&"∞ ǐ)的(de)、并沒有(yǒu)引入過拟合。任何通(tōng)過增加參數(shù)維度來(lái)提高(gāo)樣本內(π↕nèi)的(de)表現(xiàn) —— 無論↕‍ 這(zhè)些(xiē)理(lǐ)由聽(tīng)上(shàng)>γ¶去(qù)多(duō)麽合理(lǐ) ——   " 都(dōu)實打實的(de)提高(gāo)了(le)"↓α模型的(de)複雜(zá)度；更高(gāo)的(de)模φ¥¶β型複雜(zá)度則更容易出現(xiàn)過拟合。前文(wén)《模型複雜(zá)度随想》曾對(duì)上(shàng)述觀點做(z÷γ≥uò)過一(yī)個(gè)簡單實驗。該文(wén)★δ←±提出了(le)如(rú)下(xià)圖所示≤×的(de)流程來(lái)定量計(jì)算(suàn)模型複雜(zá)度φ≠♣↓造成的(de)過拟合程度。

考慮一(yī)個(gè)基于均線多(duō)頭排序♦ε的(de)簡單多(duō)頭趨勢追蹤策略。模型複雜(zá)度的♠>♣±(de)兩個(gè)維度是(shì)：（1）均線多(duō)頭排序'λ中用(yòng)到(dào)的(de)不(bù)同周期均線的↕γ×(de)個(gè)數(shù)；（2）這(zhè)些(x× ↑iē)均線秩相(xiàng)關系數(shù)₹≥₹的(de)阈值（用(yòng)來(lái)決定是(shì)否開(kāi)倉₽π≠、空(kōng)倉）。使用(yòng)純随γδ機(jī)遊走産生(shēng)的(de)假想資産價格曲線，按不(b♥α↓&ù)同複雜(zá)度構建趨勢追蹤策略。模型的(de)過±↔拟合度和(hé)複雜(zá)度之間(jiān)的(d¶δe)關系如(rú)下(xià)圖所示，說(shuō)明(míng)模型過拟合度随模型複π☆雜(zá)度遞增。

在第六方面，Arnott, Harvey, and Markow≠₩itz (2019) 倡導的(de)第二點是(shì)追求可(kě♠ )解釋的(de)機(jī)器(qì)學習(xí)（seek↕•γ interpretable machine learning）。量化(hu≈×✔πà)策略，尤其是(shì)使用(yòng)了(l®♠e)機(jī)器(qì)學習(xí)算(suàn)法的(de)量化('αhuà)策略不(bù)應該是(shì)黑(hēi)箱。任何使用(yò∑÷‌₩ng)者都(dōu)應該了(le)解這(zhè)個(g≥÷è)算(suàn)法到(dào)底幹了(le)什(shén)麽∞"。最近(jìn)幾年(nián)，計(jì)σ♦™算(suàn)機(jī)領域的(de)一(yī)個(gè)細分ε♦(fēn)學科(kē)逐漸受到(dào)世人(rén)關注，它研究的(♦βde)對(duì)象是(shì) inter​ε•pretable classification 和(hé) i €♠nterpretable policy deε¥πsign（一(yī)個(gè)例子(zǐ)見(jiàn)✔φ Wang et al. 2017）。相(xiàn©←g)信在未來(lái)，可(kě)解釋的(d©≤×♣e)機(jī)器(qì)學習(xí)在金(jīn)融領域能(néng)夠大(€$↕​dà)有(yǒu)可(kě)為(wèi)。關于模型複雜(zá)度，我想補充一(yī)點 Ar₩וφnott, Harvey, and Markowitz (2019) 沒↕→¥有(yǒu)的(de)內(nèi)容，同樣來(l€♣☆ái)自(zì)《模型複雜(zá)度随想》，那(n∑<☆¶à)就(jiù)是(shì)相(xiàng)較于簡單的(de)模型，複☆‍雜(zá)度更高(gāo)的(de)模型可(kě)能(nσ'éng)會(huì)在虧損時(shí)給人 •(rén)更痛苦的(de)主觀感受。在這(zhè)方面，我做(zuò)了(le)一(yī)些('‌‍xiē)探索性的(de)研究，指出了(l©γ‌e)模型複雜(zá)度和(hé)實盤痛苦♣Ω<程度之間(jiān)的(de)非線性關系：

根據以上(shàng)描述，模型複雜(zá)度和(hé)☆φ實盤的(de)痛苦程度大(dà)概如(rú)下(xià)圖₹↓♣∏所示（具體(tǐ)請(qǐng)看(kàn)《模型複雜(zá)度随想》）。

在當下(xià)，我們越來(lái)越崇尚各"‌種複雜(zá)的(de)模型。以上(shàng)©✘​✔探索僅僅希望提出一(yī)些(xiē)思考：我們在樣本外(wài)是(shì)否 100% 做(zuò)‍¶₽✔好(hǎo)了(le)準備接受複雜(zá)模型？交易中存在各種認 ®知(zhī)偏差，如(rú)果我們連最簡單的(de)按一(yī)根均線做(∞™₽zuò)趨勢追蹤都(dōu)無法堅決的(de)執行(xíng)，那(n' ±≥à)又(yòu)有(yǒu)什(shén)麽來(lái)保證我們在面對(≤≈≈•duì)實盤虧損時(shí)能(néng)夠堅守複雜(zá)模型呢(ne)？₹÷如(rú)果我們不(bù)能(néng)堅守™‌複雜(zá)模型，那(nà)麽開(kāi)發複雜(zá)模型所  ©付出的(de)心血和(hé)努力是(shì)否付之東(dōng)流呢(ne)？βφ

7 研究文(wén)化(huà)

回測規程的(de)最後一(yī)部分(fēn)是(shì¶σ♠)研究文(wén)化(huà)（Research Culture），它包括以下(xià)兩點：

上(shàng)面第一(yī)條說(shuō)的(de)是(shì)，在開(kāi)發量化(huà)策略或者因子(zǐ)φ™×時(shí)，比起追求樣本內(nèi)的(de)驚豔效'‌果，我們更應該看(kàn)中研究的(de)&™質量，例如(rú)研究是(shì)否避免了(le)各種偏差、盡最大(dà)努力的(©σφde)排除了(le)過拟合、是(shì)否存在先驗理(lǐ)論γ∑€、是(shì)否足夠獨立等。一(yī)個(gè)因子(zǐ)或指标，無論有(yǒ★ u)用(yòng)沒有(yǒu)，隻要(yào)能(nén"€g)夠被複現(xiàn)，都(dōu)是★♥☆♥(shì)有(yǒu)益的(de)發現(xiàn)，都(dōu)為(wèi)Ω÷∑幫助我們更好(hǎo)的(de)理(lǐ)解市(shì)場(chǎng)起到≥☆φ♦(dào)了(le)巨大(dà)貢獻。

在學術(shù)界，為(wèi)了(le)提升期刊的(de)聲​§≤望，編輯們都(dōu)更傾向于錄用(yòng)低(dī) p-value 的γ™‍(de)文(wén)章(zhāng)；為(wèφ'♠↔i)了(le)在更高(gāo)水(shuǐ)"↔•平的(de)期刊上(shàng)發文(wén)，學者們更傾向于找到(dào★π​&)低(dī) p-value 的(de)因子(zǐ)。在π¶' 美(měi)國(guó)絕大(dà)多(duō)數(shù)學校(xià≠'Ωo)裡(lǐ)，如(rú)果能(néng)在 ÷•Ω↑Journal of Finance 發表一(yī)篇文(→≠♥&wén)章(zhāng)，一(yī)個(gè)教授就(jε€≠iù)有(yǒu)可(kě)能(néng)得(de)到(dào)終身¥¥ (shēn)教職。這(zhè)一(yī)環扣一(yī)環的(de)錯(cuò<$)誤關系導緻了(le)嚴重的(de) pub↔>lication bias，我們被大(dà)量依靠樣本內(nèi← $) data mining 和(hé) p♦♦-hacking 獲得(de)的(de)虛假因子(σ↓≤zǐ)蒙蔽了(le)雙眼，而高(gāo)研究質量卻低(d₹α$✘ī)顯著性的(de)因子(zǐ)在頂級期刊上(shàσβ≤✘ng)則難有(yǒu)容身(shēn)之處§∞≤。

這(zhè)部分(fēn)的(de)第二條說(shu✔≈₩ō)的(de)是(shì)，很(hěn)多(d↕™uō)時(shí)候由于基金(jīn)經理(lǐ)的(de¥☆≥←)精力有(yǒu)限，無法親力親為(wèi)研究每個(g€☆₽è)策略。因此會(huì)把研究分(fēn)發給不(bù)同的(de)βΩ↓✔研究員(yuán)。研究員(yuán)應該保持獨立性、進行(xíng)高(gφφ×εāo)質量的(de)研究，而不(bù)是'↑♠(shì)通(tōng)過尋找虛假的(de)顯著性∑→來(lái)取悅基金(jīn)經理(lǐ)。任何策略都(dōu)最終會(huì)失效，而客觀、嚴謹的(de)研究文(÷πwén)化(huà)才是(shì)能(néng)夠源遠(yuǎn)流長(chá↔βng)的(de)，才是(shì)我們應該努力追尋的(de)。在美(měi)國(guó)，要(yào)論業(yè)界的(de)←≤“學術(shù)天團”，一(yī)般人(rén)大(dà)概首先會(huìΩ≥)想到(dào) AQR。然而，還(hái)有(yǒu)α‍↑≈個(gè)更老(lǎo)牌、更大(dà)牌的(de)管理(lǐ)人(rén)↓★✔∏，它就(jiù)是(shì) Dimensiona×→l Fund Advisors L.P.，₽®它的(de) Directors 中不(bù)乏 Eugene ✘→Fama、Ken French、Myron Scholes 這(zhè)‍®"↔些(xiē)赫赫有(yǒu)名的(de)學者。在₹ ♠ Dimensional 的(de)官網上(shàng)記錄著♣®(zhe) Ken French 下(xià)面這(zhè)句≤→÷€話(huà)，一(yī)語道(dào)破了(le)研£'究文(wén)化(huà)的(de)真谛 —— 任何時(shí)候我們都(dōu)要(y♠ ¶ào)努力探尋真谛、做(zuò)對(duì)←&≈的(de)事(shì)情。

8 結語

好(hǎo)了(le)，上(shàng)面七小(xiǎo)節介紹了(le)回測€ &©規程中的(de)七方面內(nèi)容。接下(xià)來(lái)我們可(k§☆Ωě)以“召喚神龍”了(le)。下(xià)圖↓±給出了(le) Arnott, Harvey, anα★<d Markowitz (2019) 自(zì)己總結的(de)七方面，每λ→¶一(yī)個(gè) bullet poi¶→♣→nt 都(dōu)值得(de)好(hǎo)好(hǎoε↓)體(tǐ)會(huì)。

最後想強調的(de)是(shì)，Arnott, Harvey, and Ma ​rkowitz (2019) 并不(bù)是(★≥'©shì)為(wèi)了(le)否定機(j♥$≈ī)器(qì)學習(xí)在投資中越來(lái)越重要(yào)的(dλ✔e)作(zuò)用(yòng)。恰恰相(xiàng)β>☆$反的(de)是(shì)，他(tā)們提出這(zhè)個(gè)框架 ‌≤♥就(jiù)是(shì)為(wèi)了(le)讓我們更↓$¥÷好(hǎo)的(de)享受機(jī)器(qì)學習(xí)的(d>γ​≥e)成果。對(duì)投資來(lái)說(shuō) $，我們最關心的(de)是(shì) prediction>₹✘$ 是(shì)否準确，而非參數(shù)的(de) adjudication®$。它的(de)意思是(shì)隻要(yào)能(néng)提α 高(gāo)樣本外(wài)的(de)預測性，我們可(kě)以↔≈犧牲參數(shù)估計(jì)的(de)準确性。公允¶€↓♠的(de)說(shuō)，從(cóng)探尋市(shì)場(chǎng)↑•♥真谛的(de)角度來(lái)說(shuō)，我們當然關心 β 的(de)≥×估計(jì)是(shì)否準确；然而，從(cóng)投資實際效果的(≠∏÷de)角度來(lái)看(kàn)，我們更應關注樣本外(wài) < §↕y 預測值是(shì)否靠譜。預測的(de)目标是(shì)最小(xiǎo)化(huà) loss func<♦tion；而傳統計(jì)量經濟學中 estimation 的(de)目标是λΩ$(shì)參數(shù)的(de) unbiase₹±"dness。參數(shù)估計(jì)準了(le)不(bù)一(yī®™)定意味著(zhe)樣本外(wài)的(de)預測性一(y♠→♣εī)定更好(hǎo)。關于這(zhè)方面 π∏的(de)論述，我推薦各位看(kàn)看(kàn) Sendhil Mulla ♥∏Ωinathan 教授在 AFA Lecture 上(shàng >×)做(zuò)的(de) Machine Lea™×♥®rning and Prediction in♦≠☆ Economics and Financeγ₽£" 主題演講。

客觀的(de)說(shuō)，由于金(jīn)融數(shù)據的(de)一( ♥‍yī)些(xiē)特殊性（非結構化(huà)、高(g‌₩Ωāo)維度、稀疏、信噪比低(dī)等），傳統計(↓☆jì)量經濟學在很(hěn)多(duō)時α​(shí)候确實難有(yǒu)作(zuò)為(wèi)，而λ♣₹機(jī)器(qì)學習(xí)算(suàn)法則更有(yǒu)前景。®"λ≤關于這(zhè)點，Lopez de Prado≠≤ 做(zuò)過一(yī)篇題為(wèi) 《The ↑​7 Reasons Most Econometriε'↕c Investments Fail》的(de)報(bào)告。[ Ω量化(huà)投資與機(jī)器(qì)學習(xí)] 公衆号曾對(du>↔ì)這(zhè)篇報(bào)告進行(x✘∞íng)過解讀(dú)（見(jiàn)《AQR最最最新 | 計(jì)量經濟學應用(yòng)投資失敗的(de)7個₽§(gè)原因》），感興趣的(de)朋(péng)友(yǒu)不(λ•↕bù)妨看(kàn)一(yī)看(kàn)。當然，這(zhè)并不(‌↑×bù)意味著(zhe)我們就(jiù)應該輕易摒棄計(jì)量經濟學模✔α±型、毫無顧忌的(de)投身(shēn)到(d'∏ào)機(jī)器(qì)學習(xí)的(de)懷抱。

It is naïve to think we nγΩo longer need economic ←♥models in the era of machine learning←φ. Given that the quant≠÷ity and quality of data is relatively→≈​ limited in finance, machine l∏☆∏earning applications face®£ many of the same issues quantitaφ•✘ tive finance researchers have struggl♥↕®→ed with for decades.

本文(wén)介紹的(de)回測規程乍一(yī)看(★$↓ kàn)完雖然沒有(yǒu)太多(duō)驚豔之處，但(dàn)它卻能(nénγ×g)産生(shēng)非常積極的(de)效δ↕¶☆果。正如(rú)飛(fēi)機(jī)駕駛艙裡(lǐ)面的(de±Ω≤↑) checklist 能(néng)極大(dà)的(de)提升♠€飛(fēi)行(xíng)安全一(yī)樣，在回測♣∞☆中牢記并遵守這(zhè)些(xiē)準則可(kě)以有®"γ(yǒu)效降低(dī)過拟合的(de)↓♠風(fēng)險、避開(kāi)噪音(yīn♣≤)、找到(dào)真正在樣本外(wài)可(kě)持續的(de)因果§∞α關系，獲取更高(gāo)的(de)收益。♥↕ε

參考文(wén)獻

Arnott, R., C. R. Harvey, and H. ★₹Markowitz (2019). A backte£ •≤sting protocol in the era of machi↑↑ne learning. Journal of Financial Data Science 1(1), 64 – 74.

Bailey, D. H. and M. Lopez de£↕™​ Prado (2012). The Sharpe ratα✘io efficient frontier. Journal of Risk 15(2), 3 – 44.

Bailey, D. H. and M. Lopez de Prado (₹≥2014). The deflated Sh€♥λ★arpe ratio: correcting for selectio>₽≈★n bias, backtest overfitt>★ing, and non-Normality.≤♥ The Journal of Portfolio Managem™​÷‌ent 40(5), 94 – 107.

Bailey, D. H., J. M. Bo ✘σrwein, M. Lopez de Prado, an≤☆÷☆d Q. J. Zhu (2017). Th>↕e probability of backtest overfitti✔§>ng. Journal of Computational Finance 20(4), 39 – 69.

Chordia, T., A. Goyal, and A♦ α. Saretto (2017). p-Hackinδ₽>g: evidence from two mil↓₩lion trading strategies. •↕™Swiss Finance Instit♠±ute Research Paper No. 17-37, SSRN.

Comte (1856). The Positive PΩ₽Ωhilosophy of Auguste Comte, tr¥αΩanslated by Harriett Marinea±≥πu (Calvin Blanchard, New York). ¶β¶πVol. II.

Fang, J., B. Jacobsen,→∞ and Y. Qin (2017). Popularity versusα↔¥≈ profitability: evidε ence from Bollinger bands. The Journal of Portfolio✘∞✘₹ Management 43(4), 152 – 159.

Harvey, C. R. (2017). P✔≥ residential address: The scientific o​"utlook in financial economics. Journal of Finance 72(4), 1399 – 1440.

Harvey, C. R., Y. Liu, and↔↓<≈ H. Zhu (2016). … and the cross-sectio$δ∏n of expected returns.​φ→ Review of Financial Stud γies 29(1), 5 – 68.

Lopez de Prado, M. (201÷‍δ8). Advances in financial machine learningσ₽∏ . Hoboken, NJ: John Wiley & Sons.

McLean, R.D. and J. Pont‌&≥iff (2016). Does academic research de‍₩∞↑stroy stock return predicta¶←&bility? Journal of Finance 71(1), 5 – 32.

Novy-Marx, R. (2015). Backtesting ∑>↔strategies based on multiple sigσαnals. NBER Working Paper, ↔↑No. 21329.

Wang, T., C. Rudin, F. Doshi-Vele<  ≤z, Y. Liu, E. Klampfl, anε☆φd P. MacNeille (2017). A Bayesian fra★¥mework for learning rule sets for int£↓βerpretable classificatiλ​€☆on. Journal of Machine Le'$♣arning Research 18, 1 – 37.

免責聲明(míng)：入市(shì)有(yǒu)風(fēng)險，投資需謹慎。在任何情況下(xià)σ₽，本文(wén)的(de)內(nèi)容、信息β↑及數(shù)據或所表述的(de)意見(jiàn≤€÷σ)并不(bù)構成對(duì)任何人(rén)的(de)投資建議(yì)。&★∑♠在任何情況下(xià)，本文(wén)作(★‌★ zuò)者及所屬機(jī)構不(bù)對(→✔®¶duì)任何人(rén)因使用(yòng)本文(wén)★‍∞的(de)任何內(nèi)容所引緻的(de)任何®<§損失負任何責任。除特别說(shuō)明(₽‍→míng)外(wài)，文(wén)中圖表均直接或間(jiān)接來(×♠lái)自(zì)于相(xiàng)應論文(wén)，僅為(wèi)介紹之≥↓ 用(yòng)，版權歸原作(zuò)者和(hé)≤♦♥期刊所有(yǒu)。