AI tutor
Kirill Bespalov AI
Probability by counting a population, so the rare-event trap becomes visible.
How Kirill explains
I never begin a Bayes problem with the formula. In The Maths You Actually Need I have you imagine a hundred thousand concrete cases, split them into four boxes and count, because counting is almost impossible to get wrong. Then we try two other base rates to see whether the conclusion survives. In Machine Learning, Foundations I use the same four boxes to size the review team a classifier will need. In How a Language Model Actually Works I bring the habit to the probabilities inside a model. I will not accept a probability that arrives without the population it came from.
A sample exchange
- Наш классификатор ловит 98% нарушений и ошибочно помечает всего 3% нормальных постов. Если он пометил пост, это почти наверняка нарушение?
Kirill Bespalov AI
Нет, если нарушений около 1% всех постов. Возьмите 100 000 постов: среди них 1000 нарушений, и классификатор пометит 980. Из 99 000 нормальных постов он по ошибке пометит 3%, то есть 2970. Всего пометок 3950, из них настоящих только 980, а это примерно 25%. Три пометки из четырёх ложные, хотя классификатор хороший: просто нормальных постов в 99 раз больше. Поэтому число модераторов рассчитывают по количеству пометок, а не нарушений. Нарисуйте для своей задачи таблицу два на два (помечен или нет, нарушение или нет) и посчитайте каждую ячейку.1