第19講 掌握相關性

  相關性是計算機擅長的範疇。此外，因AI而成為主流的機器學習，其框架背後也蘊藏著相關性的思路。今後，能夠理解相關性會變得越來越重要。那麼，「相關性」是什麼？應該怎麼運用呢？

  假如你在人才開發部工作，現在需要考慮今後的研修事宜。首先，你為了從日前進行的公司內部能力測試結果中，找出邏輯思考能力和溝通能力的相關性，製作了散點圖（橫軸是邏輯思考能力的分數，縱軸是溝通能力的分數）。

  A、B、C、D中的哪一個圖可以推斷出邏輯思考能力越高，溝通能力就越高呢？A、B、C、D中的哪一個圖可以說明邏輯思考能力與溝通能力沒什麼關係呢？

  如果邏輯思考能力與溝通能力有相關性，那麼邏輯思考能力提升的話，溝通能力也會提升；反之，邏輯思考能力降低的話，溝通能力也降低。也就是說，圖表會呈現出數據分布朝右方上揚的現象。

  數據分布朝右方上揚而且數據比較均衡集中的是圖A，圖A可以說明邏輯思考能力與溝通能力之間存在相關性。圖B的數據也是朝右方上揚，但與圖A相比，數據稍微分散。

  而圖D整體的數據比較分散，有邏輯思考能力高但是溝通能力低的人，也有溝通能力高但是邏輯思考能力低的人，可以初步認為邏輯思考能力和溝通能力之間沒什麼關係。圖C與圖D相比，也能夠看出數據分布稍微朝右方上揚，但趨勢與圖A、圖B相比稍微偏弱。

  現在先說明一下相關性。如果某個要素X發生變化時，另一個要素Y也隨著X的變化而發生變化，我們就說這兩個要素有相關性。

  如果隨著X的增加，Y也增加的話，就叫正相關；如果隨著X的增加，Y減少的話，就叫負相關。

  

  如果邏輯思考能力與溝通能力有相關性，就意味著會呈現出邏輯思考能力高的人溝通能力也高的趨勢。

  判斷有無相關性的指標叫作相關係數（用R來表示），根據相關係數的不同，可以做出以下的解釋（正相關的情況）。

  ·0.9及以上　有非常強的相關性

  ·0.7～0.9　 有強相關性

  ·0.5～0.7　 有相關性

  ·0.3～0.5　 有弱相關性

  ·不到0.3　　沒有相關性

  上述圖A至圖D的散點圖的情況是，相關係數分別為0.9、0.7、0.5、0.3，圖A有非常強的相關性，圖B有強相關性，圖C有相關性，圖D有弱相關性。

  相關係數通過計算軟體可以直接計算出來，但是請務必遵循以下2個要點。

  1. 描繪散點圖

  2. 在此基礎上，計算相關係數

  1. 描繪散點圖

  請在計算相關係數之前，先描繪散點圖。通過視覺能夠獲得的信息量是極大的，建議大家通過觀察去了解數據的分布趨勢。要確認是「朝右方上揚」還是「朝右方下降」，或者「是否不均衡」。

  此外，有時候數據還會分布成幾個組。這些情況如果只看相關係數的數值是無法判斷的。

  2. 在此基礎上，計算相關係數

  通過散點圖知道了趨勢之後，請務必確認相關係數的數值。

  以下的兩個散點圖，相關係數都是「0.5」，但它們分布的情況有所不同。

  練習題1

  現在要確認店鋪的工作人員人數與銷售額（每家店）是否存在相關性。

  X軸是店鋪工作人員的人數，Y軸是每家店每月的銷售額（單位：百萬日元）。請思考，根據以下的散點圖，可以如何進行解釋？

  解答

  從散點圖來看，可以看出數據分布朝右上揚的趨勢，但是不明顯。另外，相關係數是0.4，也不是一個高的數值。因此，可以解釋為，工作人員的人數與銷售額沒有太大的相關性，工作人員的人數多，銷售額也不一定高。

  練習題2

  那麼，如果是下圖的話，可以怎樣解釋呢？

  解答

  這個圖表的數據分布呈現朝右方上揚的趨勢，相關係數是0.8，是較高的數值。因此，可以解釋為，如果店鋪工作人員的人數多，銷售額就會提升。

  其實剛才確認的兩個圖表，原始數據是相同的，不同的是有沒有納入以下這兩個數據。

  即店鋪工作人員的人數多，銷售額卻不高的X店；以及店鋪工作人員的人數少，但銷售額卻很高的Y店。

  把這兩家店作為離群點從數據中剔除的話，就可以認為整體的趨勢是工作人員人數與銷售額有相關性。

  這樣的話，接下來要思考的就是，把這兩家店作為離群點與其他數據分開來看是否合適。

  那麼，我們試想一下，在怎樣的情況下會出現人數多但銷售額不高（X店），以及人數少但銷售額較高（Y店）的情況呢？

  （X店）

  團隊合作不佳

  店長剛剛變更，經營方針落實得不徹底

  雖然人數多，但有幾個人實質上並沒有在工作等

  （Y店）

  人數雖然少，但其中有經驗的人較多，接待顧客的技巧非常高

  得益於店長的經營技巧，下了一些有別於其他店鋪的功夫

  有地方優勢，如顧客流量高等

  造成與其他店鋪情況不同的趨勢，可能存在多個原因。如果對剛才羅列出來的可能性進行充分驗證後，發現確實存在上述某些情況，就可以把X店和Y店作為離群點剔除。剔除了X店和Y店以後的散點圖，就可以代表整體趨勢。

  我們能夠發現離群點，是因為如上述所言，通過描繪散點圖，得以從視覺上獲取信息。從表格中的數據去識別離群點雖然也可行，但數據量增加後就會變得困難。這就是在直接計算相關係數之前要先描繪散點圖的原因。

  在剔除離群點的時候，可以從以下三個角度來考慮。

  ·在散點圖上，把視覺上看起來與其他數據的集合分離開來

  ·離群點的數量與總數相比並不多

  ·有定性的理由可以支持剔除離群點

  初期的數據，有可能是偶然獲取的，需要判斷是否應該用一個數據來代表整體的情況。

  STEP UP！

  為了驗證氣溫與到店顧客數有關聯性的假設，製作了如下散點圖。橫軸是氣溫，縱軸是單日平均到店的顧客數。對此可以進行怎樣的解釋呢？

  相關係數是0.5。雖然不是很高的數值，但也可以考慮氣溫與到店顧客數存在相關性。

  另一方面，請思考一下氣溫與到店顧客數本身是如何變化的。可以想像，寒冷與炎熱的時候顧客數都會減少。

  所以應該考慮的不是「氣溫與到店顧客數是否相關」，而是「是否存在某個具體溫度值會使到店顧客數增加」。

  人們一有數據可能就會想轉化為圖表，並且考慮根據圖表進行解釋。然而，如果不加注意，就會變成一切以圖表為準，變成解釋圖表了。

  為了避免這種情況發生，在進行圖表化之前，要先考慮清楚數據之間的相關性，再轉化為圖表。

  剛才的散點圖是以所有的數據為基礎製作的，但其實應該把某個氣溫以前的趨勢和某個氣溫以後的趨勢分開，轉化成兩個散點圖，這樣更符合自然規律。

  實際以25℃為界，把25℃以下的情況和25℃以上的情況區分開來描繪成散點圖，得出以下圖表。相關係數的絕對值都是0.95，是非常理想的值。

  相關係數只是一種指標，重要的是要結合定性的意義來思考。在應用時，要考慮哪個範圍的數據可以視作同一範疇的。要做到這一點的話，「描繪圖表，用頭腦來判斷」很重要。而且，這樣的判斷，事實上只有人才能做到。

  描繪散點圖，將相關係數的計算交給計算機，另一方面，要清楚知道人應該思考什麼事情，要靈活地運用相關性。

  小結

  √ 相關性的計算是計算機擅長的範疇

  √ 不單單依賴於相關係數，這點很重要，務必描繪出散點圖來觀察

  √ 在描繪散點圖之前，認真思考可能會出現怎樣的分布

  √ 沒必要對所有的信息一律用相同的方法來處理。可以剔除離群點，也可以把數據分組

  √ 定性的解釋也很重要