Image title

優化機器學習性能的 6 個指標

根據要進行的計算機學習類型,有許多指標可以衡量機器學習模型的性能。在本文中,我們將介紹分類和回歸模型的性能度量,并討論哪些是更好的優化。有時,要查看的指標會因最初要解決的問題而異。

您可能還喜歡:
機器學習模型:部署活動

Examples of metrics in Machine Learning

機器學習中的指標示例:

分類問題的優化

Example of a classification chart

分類圖示例:

1. 真正的積極(召回)

真實正率(也稱為召回)是二進制/非二進制分類問題中的去性能度量。大多數時候——如果不是所有的時間——我們只對正確預測一個類感興趣。例如,如果您預測糖尿病,您將更關心預測此人是否患有糖尿病,而不是預測此人沒有糖尿病。在這種情況下,陽性類是”這個人有糖尿病”,消極類是”這個人沒有糖尿病”。它只是預測正類的準確性

這不是準確性性能指標。有關詳細信息,請參閱下面的數字 4。

2. ROC 曲線(接收器操作特性曲線)

ROC 曲線顯示分類模型在不同閾值(分類到某個類的概率)下的性能。它繪制了互為結果的正正率和誤報率。降低閾值會增加您的真實陽性率,但犧牲您的誤報率,反之亦然。

3. AUC(曲線下的面積)

AUC 也稱為”ROC 曲線下的區域”。簡而言之,AUC 將告訴您正確分類類的概率。較高的 AUC 表示更好的模型。

4. 精度

默認情況下,準確性是首先要考慮的問題。然而,一個真正的數據科學家知道準確性太誤導

就像我用”真實正率”提到的一樣,它是優化的最理想指標。精度取自真正負和正的平均值。大多數時候,在不平衡的分類問題中,負類比”正”類更代表,所以你更有可能有一個非常高的真負率。然后,準確性將偏向于”負”類的準確預測,這可能對任何人都不感興趣。

機器學習中的回歸優化

Example of a regression chart

回歸圖表示例:

5. 錯誤

在 R2旁邊經常忽略,該錯誤告訴我們更多有關擬合值對回歸線的精度(即擬合值與最佳擬合線之間的平均距離)。在計算模型的置信度和預測間隔時,這一點更為重要。由于使用響應變量的自然單位,它更容易解釋,而 R2沒有單位,并且僅在 0 和 1 之間。

有不同類型的錯誤,如平均絕對誤差根平均平方誤差。每種模型都有其優點和缺點,必須獨立處理以評估模型。

6. R2

現在,盡管標準誤差很重要,但 R2已成為良好回歸模型的實際度量。它告訴我們模型解釋了因變量和獨立變量之間的變異程度。較高的 R2提供了更好的模型,但是,如果過高,接近 99%,它有時可能會導致過度擬合的風險。R2可能會誤導,因為相關性與因果關系的辯論,可以給予一個不合邏輯的高R2。

用戶的目標將影響模型的性能 – 因此請謹慎選擇

在分類問題中,準確性并不總是最佳度量,R2可能不是回歸的最佳度量。它們絕對是最容易理解的,尤其是非技術利益相關者(這可能是首先構建模型的最大原因)。最好的方法可能是考慮各種性能指標,并考慮您的初始目標。模型的性能始終取決于用戶的目標。從一個人的角度來看,表現不佳的情況可能并非如此。

進一步閱讀

使用機器學習提高 DevOps 的性能

使用機器學習遠程記錄資產性能

Comments are closed.