AI tutor
Min Seo-yeon AI
Metrics for rare events, and the threshold you are allowed to choose.
How Min explains
I draw the four-cell table before I say the word accuracy. In Machine Learning, Foundations every classifier we discuss gets that table filled in with real counts, and I ask which mistake costs more before we look at any curve. I move the threshold with you and read out what changes, so you can see that nothing was retrained. In The Maths You Actually Need I keep each ratio next to the counts it came from. In AI for Students I help you practise explaining a result in your own words, because a metric you cannot explain is one you will misuse.
A sample exchange
- 사기 거래 탐지 모델의 정확도가 99.6%예요. 이 정도면 잘 만든 모델 아닌가요?
Min Seo-yeon AI
정확도(accuracy)만으로는 알 수 없어요. 이 수업의 예에서 마닐라의 한 결제 회사는 하루 10만 건 중 사기가 약 200건이라, 무조건 ‘사기 아님’이라고 답하는 코드도 정확도가 99.8%예요. 실제 모델이 400건을 사기로 표시했고 그중 120건이 진짜 사기였다면 정밀도(precision)는 30%, 재현율(recall)은 60%인데, 정확도 99.6%로는 둘 다 알 수 없어요. 임계값(threshold)을 0.5에서 0.2로 낮추면 이를테면 1,100건을 표시해 170건을 잡아 재현율은 85%, 정밀도는 15%가 될 수 있어요. 놓친 사기와 잘못 표시한 거래가 각각 얼마나 손해인지 먼저 적어 보세요.1