セマンティックセグメンテーションの評価方法

https://jp.mathworks.com/help/releases/R2018a/vision/examples/semantic-segmentation-using-deep-learning.html

上のURLを参考に自分で用意したデータセットでセマンティックセグメンテーションを行ったのですが，セマンティックセグメンテーションの評価法がわかりません．精度で評価する場合，MeanAccuracyとGlobalAccuracyのどちらを使用すればよいのでしょうか？

Answer 1

[Kenta]

こんにちは、そのほかにもF値やIOUなどがありますが、どの指標がよいかは、Kodai Sato様の目的によるので少なくとも私には明確には答えられないような気がします。

例えばglobal accuracyの定義は以下のようになっています。下のURLをそのまま引用しています。

https://jp.mathworks.com/help/releases/R2018a/vision/ref/evaluatesemanticsegmentation.html

"GlobalAccuracy is the ratio of correctly classified pixels, regardless of class, to the total number of pixels. Use the global accuracy metric if you want a quick and computationally inexpensive estimate of the percentage of correctly classified pixels."

こちらは単に、全ピクセルのうち、どのくらいが正しく分類できているか示しています。シンプルでわかりやすい・すぐに計算できる一方で、例えばラベルが非常に不均衡な場合（Aが１００に対しBが１しかない）すべてAと答えれば精度はかなり高くなります。

accuracyは、"For each class, Accuracy is the ratio of correctly classified pixels to the total number of pixels in that class, according to the ground truth. In other words,

Accuracy score = TP / (TP + FN)"

と書いていて、各クラスの精度を平均したものが、meanaccuracyとして算出されます。これは各クラスの平均を出しているので、さきほどのような問題はましになる一方、"For example, labeling all pixels "car" gives a perfect score for the "car" class (although not for the other classes). "とあるように、解釈ミスを引き起こすこともあります。

ほかにIOUなどもありますので、自分の目的が果たされているか/いないかを明確に表す指標を探し、それを軸に議論するのがよいのではないでしょうか。

[Kodai Sato]

global accuracyとMeanAccuracyの違いがよく理解できていなかったので非常に参考になりました．

ありがとうございました．

[Kenta]

はい、よかったです。ほかの質問も回答（コメント）してますので、そちらも返信いただけると幸いです。宜しくお願い致します。