後金(jīn)融危機(jī)時(shí)代，花(huā)旗銀(yín)行 ★←©(xíng)是(shì)如(rú)何提高(gā₹♦'o)數(shù)據質量的(de)？

作(zuò)者：石川

摘要(yào)：本文(wén)介紹世界頂級金(jīn)融機(jī)構花(huā∏"​)旗銀(yín)行(xíng)如(rú)何處理(lǐ)并提高(gāo)數(​∞↔​shù)據質量。

0 引言

量化(huà)投資決策的(de)數(shù)>↓β 學模型要(yào)分(fēn)析大(dà)量的(de)§ ₩宏觀經濟數(shù)據以及股票(piào)交易數(shù)據，模型✘≥✔€有(yǒu)效與否直接由輸入數(shù)據的(de)質量決定。垃∑​圾進，垃圾出（garbage in, garbage o≈↓ut），模型輸出結果的(de)質量隻會(huì)比輸入數(shù)據‌→© 的(de)質量更差。那(nà)麽，一(yī)套科(kē)£π$€學、完整、有(yǒu)效的(de)數(shù)據質量分(fēn)析框架就(jβ​iù)顯得(de)格外(wài)重要(yào)。今天，我們就(j±•¥÷iù)來(lái)為(wèi)你(nǐ)介紹世界頂級金(jīn)融機(jī)構₹ 花(huā)旗銀(yín)行(xíng)←§是(shì)如(rú)何處理(lǐ)并提高(gāo)數(shù)據≥♦♦÷質量的(de)。

1 契機(jī)

2008 年(nián)全球金(jīn)♦πש融危機(jī)暴露了(le)美(měi)國(gu₽£±ó)金(jīn)融體(tǐ)系的(de)內(nèi)←✘$在缺陷，危機(jī)過後政府部門(mén)普遍提高ε&(gāo)了(le)對(duì)金(jīn)融機 $‍ (jī)構的(de)監管要(yào)求和(hλ☆​é)監管力度。對(duì)于金(jīn)融機(jεεī)構自(zì)身(shēn)而言，數(shù)以萬計(∞<jì)決策的(de)制(zhì)定倚賴數(shù)以億計(jì)數(shùφσ)據的(de)準确性，金(jīn)融危機(jī)充分(fēn)暴露‌≈©了(le)這(zhè)個(gè)領域存在嚴重問(wèn)題。因此，來(αγlái)自(zì)危機(jī)的(de)警示和(hé)趨于嚴苛的(↑•de)監管，共同促使金(jīn)融機(jī)構重新審視(shì)提高(g≥ ♥∏āo)數(shù)據質量的(de)重要(yào)性。筆(bǐ)者有(yǒu)幸于 2011 年(nián)就( ©jiù)職于全球最大(dà)的(de)金(jīn)融機(jī)構之一(yī×™δ )的(de)花(huā)旗銀(yín)行(xíng)并直接參與數(shù)₹"≈↓據質量的(de)工(gōng)作(zuò)。本文(wén)對(duì)花(hu<Ω∑ ā)旗銀(yín)行(xíng)改善數(shù)據質量的(d•™←e)分(fēn)析框架進行(xíng)簡單梳理(lǐ)。感興趣的<λ★(de)讀(dú)者可(kě)以進一(yī)步參閱我和(h$←é)當時(shí)的(de)同事(shì)為(wèi)此發→​表的(de)論文(wén) Shi et al. (♠≠2015) 以及出版物(wù) Jugulum (2014)。

2 CDO

作(zuò)為(wèi)行(xíng)業(yè)$>的(de)領袖之一(yī)，花(huā)旗銀(yín)行(x♠β•íng)在 2009 年(nián)下(xià)半↑☆δ年(nián)成立了(le)企業(yè)層面的(↑γ×♥de)數(shù)據辦公室（Chief Data Off★•ε©ice，下(xià)稱 CDO），主要(yào)有(yǒu)兩個(gè)作(zuò)用(yò‍>δng)：

通(tōng)過這(zhè)個(gè)部÷ <門(mén)，花(huā)旗将數(shù)據質量的(de)實時(shí)♣£₩監控深入到(dào)日(rì)常運作(zuò)的(de)方方面面，幫助及時₽¶ β(shí)發現(xiàn)包括流動性、信✘φ✔貸、市(shì)場(chǎng)、保險和(hé)運營在內(nèi)的•​•(de)各項風(fēng)險。花(huā₹↕✔¥)旗堅信，高(gāo)質量的(de)數(shù)據不(bùδ>)僅是(shì)企業(yè)競争力的(de)關鍵所在，也(yě)有(yǒu)助<☆于提升監管部門(mén)的(de)信心。

3 分(fēn)析框架

這(zhè)個(gè)新成立的(de)數(s∏↕Ωπhù)據部門(mén)包括幾個(gè)小(xiǎo)組，而我在>≥的(de)組專門(mén)負責數(shù)據分(fēn)析和(hé)改進。這&‍♥(zhè)個(gè)組由數(shù)據專家(jiāΩσ♠∏)和(hé)分(fēn)析師(shī)組成，負責構建數(shù)據≤$ 質量的(de)監控和(hé)改進框架。整個(gè)分(fγ♠ēn)析框架由兩部分(fēn)組成。

接下(xià)來(lái)，我們就(jiù)來(lái)看(k←ε↓∑àn)看(kàn)漏鬥法是(shì)如(rú)何篩選¥‍γΩ核心數(shù)據元素的(de)（這(zhè)是(s₽ >δhì)花(huā)旗銀(yín)行(xíng)的(de)獨創）。對(duì)β§→>于 6 Sigma，由于它是(shì)業(yè)界廣為(wèi)人(rénα¥ )知(zhī)的(de)過程改善方法，我們隻稍作(≥§πzuò)提及但(dàn)不(bù)會(huì)重點描述。為(wèi)了(×★le)結合實際，我們将用(yòng)巴塞爾第二協定的(de)用(yò$σ↓ng)例來(lái)說(shuō)明(míng)花™>±(huā)旗的(de)數(shù)據質量分(fēn)析框架。

4 漏鬥法

漏鬥法包含核心數(shù)據元素的(de)識别和(hé)優選✘σ→兩部分(fēn)（流程圖見(jiàn)圖 1）。

圖 1 漏鬥法識别和(hé)優選核心數(shù)據元素 CDE•₽≥s

漏鬥法因“輸入元素多(duō)、輸出元素少(shǎo)”而得(de₩≈)名。下(xià)面我們将按照(zhào)先後順序，對(duì)β♣漏鬥法的(de)這(zhè)四個(gè)步驟分(fēn)别進行(xíng)™ε∏≈詳述。

4.1 引入業(yè)務專家(jiā)，“客戶需求”∞₹是(shì)重中之重

引入業(yè)務專家(jiā)觀點是(shì)這(zhè)個(gè)分✘®(fēn)析框架的(de)核心之一(yī)。一(yī)切提高•ε✘(gāo)數(shù)據質量的(de)努力都(dōu)是(shì)為(wèi)¥✘♦了(le)每一(yī)個(gè)具體(tǐ)的(de)業(yè)務用(€£<<yòng)例，而業(yè)務專家(jiā)在這(zhè)個™&★(gè)過程中就(jiù)是(shì)“客戶”，數(shù)據元素的(Ω↑de)鑒别必須從(cóng)“客戶需求”（voic→< e of customers）開(kāi)始。業(yè)務專家(jiā)為(wèi) CDO 的(de‌♥•)數(shù)據專家(jiā)解釋業(yè)"✔₩ε務過程的(de)商業(yè)邏輯，闡明(míng)該業(yè)務的(de)β≤♦輸入和(hé)輸出數(shù)據元素都(dōu)有(yǒu)哪些(£Ω£xiē)。在二者的(de)配合下(xià)， ε $由業(yè)務專家(jiā)首先拟定候選核心→✔$數(shù)據元素。在巴塞爾第二協定這(zhè)個(gè)用(yò₹→>ng)例中，花(huā)旗的(de)相(xiàng)關★≈£ 業(yè)務專家(jiā)首先鑒别出 35 個(gè)數(shù✔→)據元素。

4.2 使用(yòng)評分(fēn)矩陣，↔'按對(duì)業(yè)務的(de)重要(yào)性為(wèi)數§‍≠(shù)據元素打分(fēn)

雖然業(yè)務專家(jiā)可(kě)以初選出λφ₽ 很(hěn)好(hǎo)的(de)候選數(shù)據元素，但 ™€(dàn)進一(yī)步的(de)篩選就(jiù)需要(yào)一(yī)‌α×¥個(gè)可(kě)以量化(huà)的(de)科(kē)學體(tǐ)系了(le)，評分(fēn)矩陣便應運而生(shēn✘→g)。

圖 2 數(shù)據元素評分(fēn)♣π↓框架

評價矩陣如(rú)圖 2 所示。首先選出一(yī)系§♠列和(hé)業(yè)務相(xiàng)關的(™↔♠&de)數(shù)據評價标準，并按照(zh↕≈π ào)其重要(yào)性打分(fēn)。為(wèi₹ &)了(le)有(yǒu)一(yī)定的(de &$)區(qū)分(fēn)度，分(fēn)數(shù)σ>‌分(fēn)為(wèi) 1、4、7、10 四檔。其次，将每個(gèΩλ δ)數(shù)據元素按每個(gè)評價标σ€準的(de)規則進行(xíng)打分(fēn)，打分(fēn)同樣✔•按照(zhào) 1、4、7、10 四擋。将标準的(de®£)重要(yào)性得(de)分(fēn)和(hé)數(shù)據元素對∑₽(duì)于該标準的(de)得(de)分(fēn)兩兩相•β(xiàng)乘再求和(hé)，便得(de)到(dào)每個(gè)元素的(✔∞≤φde)總分(fēn)，并根據這(zhè)個(gè)總分(fēn)把它們從(£Ωσβcóng)高(gāo)到(dào)低(dī)排序。這(zhè)‍‍∑個(gè)評分(fēn)矩陣幫助業(yè)務專家(jiā)對(duì)候選©≤<元素進行(xíng)量化(huà)比較。在巴塞爾協定用(yòng  )例中，利用(yòng)這(zhè)個(gγ‌₹∞è)評價矩陣，業(yè)務專家(jiā)從(cóng) 35 π' 個(gè)候選元素中選出了(le)分(fēn)數(σ¶•πshù)最高(gāo)的(de) 21 個(gè)。

4.3 進行(xíng)相(xiàng)關性分(fēnε‌λ)析，進一(yī)步精簡核心數(shù)據元素

在漏鬥法的(de)第三步，相(xiàng)關性分(fēn)析被用(yòng♥© )來(lái)檢查是(shì)否有(yǒu)多(duō)個(gè)數(shùε$​)據元素具有(yǒu)很(hěn)高(gāo)的(de)相(xiàng♥'≠‍)關性。這(zhè)是(shì)因為(wèi↔ )如(rú)果兩個(gè)元素的(de)'≤相(xiàng)關性非常高(gāo)，那(nà)麽我們隻監測其中一(yī)個 "β(gè)即可(kě)。這(zhè)樣能(néng)進一(yī)步減少(sδ•×hǎo)核心數(shù)據元素的(de)個(gè)數(sh∏≈‌✘ù)。對(duì)于連續的(de)數(shù)據元素（比如(rú)用♣∞>(yòng)戶的(de)存款數(shù)）和(hγ"é)離(lí)散的(de)數(shù)據元素↕↑（比如(rú)客戶的(de)姓名），回歸分(fēn)析和(hé∞×)關聯分(fēn)析分(fēn)别被用(yòng)來(lΩαái)檢查元素之間(jiān)的(de)相(xià≈λng)關性（注：在金(jīn)融行(xíng)業(yè)的(de)用(yòng)例中→↓↕，線性相(xiàng)關性一(yī)般來(lái)說(shuō)ε÷∞¥就(jiù)足夠了(le)）。

圖 3 顯示了(le)在我們的(de)用(yòng)例中，部分(f÷&ēn)候選元素之間(jiān)的(de)相(xiàng)關性。值λ™←得(de)一(yī)提的(de)是(shì)，₹§¥±相(xiàng)關系數(shù)的(de)取值±÷ε在 -1 到(dào) 1 之間(jiā↔™₩n)，越接近(jìn) 1 說(shuō)明(míng)★Ω®↕正相(xiàng)關性越高(gāo)，越接近(j♥≠β ìn) -1 說(shuō)明(míng)負相(x♠&✘iàng)關性越高(gāo)，越接近(jìnβ​∞) 0 說(shuō)明(míng)線性相(xiàng)關性越不(bù)明(míng)顯（注：也(yě™✔)許它們有(yǒu)非線性相(xiàng)關性，但(dàn)不(bù)•≠¥在我們考慮範圍內(nèi)）。在應用(yòng)中，0.85 ✔✔和(hé) -0.85 被用(yòng)來(lái≈↔×)當作(zuò)高(gāo)相(xiàng)關β♠ &性的(de)阈值。

圖 3 元素之間(jiān)的(de)線性相(xiàng)關性

相(xiàng)關分(fēn)析顯示，有(y€₩§ǒu) 10 個(gè)元素組成了(le) 8 對(duì)兩兩相(xià∑‍®ng)關的(de)配對(duì)。這(zhè)表明(míng)¶≈$，我們隻需要(yào)從(cóng)這(zhè)↕ '™ 10 個(gè)元素中選出 4 個(gè)即可(kě)；另外(φ>πwài) 6 個(gè)元素将和(hé)這(zhè) →↑σ4 個(gè)元素高(gāo)度相(xiàn&¥λg)關。如(rú)何進行(xíng) 10 ×€÷$選 4 能(néng)？信噪比分(fēn☆€‌)析将隆重登場(chǎng)。

4.4 通(tōng)過信噪比分(fēn)析，确定最終核心數(>≈λshù)據元素名單

信噪比源于質量控制(zhì)，用(yòng)來(lái)測量信号δ≈¥相(xiàng)對(duì)于環境噪聲的(de)大(&♠↑dà)小(xiǎo)（Taguchi 1986, ♥¶§Taguchi and Jugulum 1999）。信噪比定♠ 義如(rú)下(xià)：

這(zhè)個(gè)定義說(shuō)明(míng)信噪比低(→ ★αdī)的(de) CDE 有(yǒu)更大(dà)的(de)φ§∏$波動性。數(shù)據的(de)波動性往往說(shu£φ>↓ō)明(míng)産生(shēng)這(zhè)個(gè)數(sφ×hù)據的(de)業(yè)務過程有(yǒu)更大(d©÷£à)的(de)不(bù)确定性、因此需要(y>₹®ào)實時(shí)的(de)監控。因此對(duì)于兩個(gè)高(gāo)度相(xiàng)關的(de)數σ✘≈∏(shù)據元素，我們選擇信噪比低(dī)的(de)作(zuò)ε•λ>為(wèi)需要(yào)監控的(de)對(duì)象。對(duì) 4.3 >λ節提到(dào)的(de) 10 個(gè)元素計(×¥®jì)算(suàn)信噪比，結果如(rú₽ )圖 4 所示，我們從(cóng)中選取信噪比¥₹•低(dī)的(de) 4 個(gè)元素。

圖 4 高(gāo)度相(xiàng)關數(shù)據元素的(de)信<±®噪比

通(tōng)過相(xiàng)關性和(hé)信噪比分(fēn)析，我們進一('♣$yī)步舍棄6個(gè)數(shù)據元素←€。最終，整個(gè)漏鬥法的(de)四個(g$¥è)步驟将核心數(shù)據元素個(gè)數(s♠δ•hù)由原始的(de) 35 個(gè)降至最終的(de) 15 個(gè₩↓€)（減少(shǎo)了(le) 57%）。這±∏(zhè)為(wèi)後面數(shù)據質量的(de)∞♣檢測大(dà)大(dà)減少(shǎo)了(le)所需的(de)人( ¥♠£rén)力和(hé)資源。

5 數(shù)據質量監測和(hé)改善

核心數(shù)據元素确定後，便可(kě)對(duì)它們的(de)質量進行(σ★"™xíng)實時(shí)監測，一(yī)♣ 旦發現(xiàn)問(wèn)題便可(kě)采用(yòng) 6 SigΩ∑קma 方法改進業(yè)務流程，防範風(fēng)險♠↔。想要(yào)量化(huà)數(shù)據質量，必須首先選∏λ§←取評價的(de)維度，它們稱為(wèi)數(shù)據✔→質量維度（data quality dimension）。一(yī)個(gè)數(shù)據質量維度可(kě)以✔ε∏定義為(wèi)描繪該數(shù)據在某一(yī)方面的(de)質量♦​的(de)屬性，比如(rú)數(shù)據的(de)完™•σ整性、一(yī)緻性、有(yǒu)效性、準确≠®性等。

舉個(gè)例子(zǐ)，客戶年(nián)齡是(shì)一(yī)α★≈個(gè)數(shù)據元素，如(rú)果所有(yǒu)的(de)客戶在客戶年®☆(nián)齡這(zhè)個(gè)元素上(shàng)都(♠©↑dōu)有(yǒu)數(shù)值，則這(zhè)÷α↕個(gè)元素在完整性這(zhè)個(gè)屬性上(shàng♣♣₽)的(de)數(shù)據質量是(shì)滿分(fēn)。ε₽♥<但(dàn)完整性僅僅刻畫(huà)單一(yī)特性，所以♦σ✘™我們并不(bù)知(zhī)道(dào)用(yòng)戶的(de)₹ε¥年(nián)齡是(shì)否正确（比如(rú)用(yòng)戶÷←× A 可(kě)能(néng)實際是(shì) 30 歲但(★÷↓dàn)我們的(de)記錄顯示為(wèi) 40 歲）、∞≠ε≠取值是(shì)否有(yǒu)效等（比如(rú)我↑ σ們的(de)記錄可(kě)能(néng)顯示'δ♣​用(yòng)戶B的(de)年(nián)齡為(wèi) -1，這(↔♦zhè)顯然是(shì)無效的(de)）。因此，需要 ☆→≈(yào)從(cóng)多(duō)個(gè)維度考慮數(shù)據元素$‍的(de)綜合質量。圖 5 顯示了(le)在巴塞爾用(yòn₹&®g)例中，最終确定的(de) 15 個(gè)核心數(s™↓₹hù)據元素在完整性、一(yī)緻性和(h∑≤≠×é)有(yǒu)效性三個(gè)維度上(shàng)的≠‍δδ(de)質量得(de)分(fēn)（注：表中數(shù)據僅是(shì§✔€)模拟分(fēn)數(shù)，并非真實分(fēn)數(shù♦≠)）。

圖 5 數(shù)據質量得(de)分(fēn)

量化(huà)的(de)數(shù)據質量使得(de)我們可(kě)以通(t↓≈ōng)過統計(jì)過程控制(zhì)（≤☆→statistical process control）對☆∑(duì)數(shù)據質量進行(xíng)監測。一(yī)旦發現(xiàn)異常值或者數(shù)據質量的(de)¶®♣突然惡化(huà)，便根據數(shù)據産生(shēng)的(≥δde)邏輯順藤摸瓜找到(dào)産生(shēng)數(shù)據的✔ ®ε(de)業(yè)務環節，然後采用(yòng) 6 Sigma 流程改善中的(✘α±↓de)經典分(fēn)析方法對(duì)業(yè♠‌ ♥)務進行(xíng)完善，真正的(de)做(zuò)到‍≈(dào)有(yǒu)的(de)放(fàng)矢。

6 結語

數(shù)據是(shì)金(jīn)融機(jī)構最重要(§♦✔yào)的(de)無形資産。無論是(shì)銀(yín)行(‍₹∞♣xíng)、公募私募基金(jīn)、互聯網金(jīn)融公司，高(gā₽₩o)質量的(de)數(shù)據都(dōu)是π₽ (shì)它們賴以生(shēng)存的(de÷∏ σ)前提條件(jiàn)。特别的(de)，對(duì)于量化(huà)投↕₩≠資來(lái)說(shuō)，投資決策的(de‌α÷→)數(shù)學模型要(yào)分(fēn)析大(dà)量的(de)宏觀經濟數¥★¶​(shù)據以及股票(piào)交易數(shù)據。這(zhè)些¶'λ∏(xiē)模型有(yǒu)效與否由輸入數(sh÷©≤ù)據的(de)質量直接決定。所謂垃圾進，垃圾出（Garbage in, garbage out），模型輸出結果的(de)質量隻會(huì)比輸λ>ε入數(shù)據的(de)質量更差。然而，業(y♦'δè)界并沒有(yǒu)多(duō)少(shǎo)文(wén)獻系統的(α☆≥↔de)闡述一(yī)個(gè)能(nén$♥g)被直接應用(yòng)于實際的(de)數(shù)據α>δ♥質量分(fēn)析框架。在這(zhè)方★<®面，花(huā)旗可(kě)謂是(shì)先驅之一(yī)✘‌' 。希望通(tōng)過今天的(de)介紹，讓更多(duō)的(de)小α∏​(xiǎo)夥伴了(le)解到(dào)世界頂尖銀(yín)行₹¶(xíng)在這(zhè)方面所做(zuò↓π×)的(de)努力；更希望有(yǒu)人(×₹rén)能(néng)因此受到(dào)啓發，把數(sγ‌π hù)據質量的(de)提高(gāo)帶入到"↑(dào)他(tā)們自(zì)己的(de)投資實戰σ→中。

參考文(wén)獻

R. Jugulum (2014). Competing with High Quality D₩• ata: Concepts, Tools, and Techn←✘¥iques for Building a Successful Appr∑©oach to Data Quality. Wiley.

Shi, C., R. Jugulum, H. I. Jo ×≠εyce, J. Singh, B. Granese, R. •≥≈Ramachandran, D. Gray​>, C. H. Heien, J. R. Ta ≥lburt (2015). Improving Financi ™al Services Data Quality ↕★– a Financial Company Practice. International Journal of≠∞>↓ Lean Six Sigma 6(2), 98 – 110.

Taguchi, G. (1986), Introduction to Quality Engineering®★♦α, Asian Productivity ≈↑$Organization, Tokyo.

Taguchi, G. and R. Jugulum (1999). ∑↕¥Role of S/N ratios in mul♣₹λΩtivariate diagnosis. Journal of Japanese Quali>♠ty Engineering Socie♠£♠ty 7(6), 63 – 69.

免責聲明(míng)：入市(shì)有(yǒu)風(fēng)險，投± 資需謹慎。在任何情況下(xià)，本文(wén)的(de)‍≥內(nèi)容、信息及數(shù)據或所表述的(de)意見(j§♦iàn)并不(bù)構成對(duì)任何人(rén)>Ω的(de)投資建議(yì)。在任何情況下(xià)♥✔±，本文(wén)作(zuò)者及所屬機(jī)構不(bù)對(d↓™∑"uì)任何人(rén)因使用(yòng)本文(wén)的(de)任β≠✘ε何內(nèi)容所引緻的(de)任何損失負任何責"₹任。除特别說(shuō)明(míng)外(wài)，文(wén)中圖表∏∑™α均直接或間(jiān)接來(lái)自(zì)于相(xiàng)應論文(wén♣↕™★)，僅為(wèi)介紹之用(yòng)，版權歸原作(zuò↑≠☆)者和(hé)期刊所有(yǒu)。