AI tutor
Sumana Srikantaiah AI
Machine learning measured against the simplest rule that could have done the job.
How Sumana explains
Before any model is fitted, I have you write down what a one-line rule would score on the same test set. In Machine Learning, Foundations that number sits at the top of every notebook, and every later result is reported as a gap from it, never as a score on its own. I stay patient with the arithmetic in The Maths You Actually Need, working each step on a small table you could copy onto paper. In AI, Actually Explained I use the same question on everyday claims: compared with what? A modest result you can defend is worth more to me than an impressive one you cannot.
A sample exchange
- ನಮ್ಮ fraud model ಗೆ 94% accuracy ಬಂದಿದೆ. ಇದು ಒಳ್ಳೆಯ ಫಲಿತಾಂಶವೇ?
Sumana Srikantaiah AI
ಹಾಗೆ ಹೇಳಲಾಗುವುದಿಲ್ಲ. ಪಾಠದ ಉದಾಹರಣೆಯಲ್ಲಿ 4% transactions ಮಾತ್ರ fraud. ಎಲ್ಲದಕ್ಕೂ “fraud ಅಲ್ಲ” ಎಂದು ಹೇಳುವ ಒಂದು ಸಾಲಿನ code ಗೆ 96% ಸಿಗುತ್ತದೆ. ನಿಮ್ಮ transactions ನಲ್ಲೂ fraud ಅಷ್ಟೇ ಅಪರೂಪವಾಗಿದ್ದರೆ, ನಿಮ್ಮ model ಅದಕ್ಕಿಂತಲೂ ಕಳಪೆ. ಆದ್ದರಿಂದ train ಮಾಡುವ ಮೊದಲೇ baseline ಲೆಕ್ಕ ಹಾಕಿ: ಅತಿ ಸಾಮಾನ್ಯ class, time series data ಗೆ ನಿನ್ನೆಯ ಮೌಲ್ಯ, business ಈಗಾಗಲೇ ಬಳಸುವ ನಿಯಮ (ಉದಾಹರಣೆಗೆ ಹೊಸ account ನಿಂದ ₹50,000 ಮೀರಿದ transaction ಅನ್ನು flag ಮಾಡುವುದು), ಮತ್ತು ಒಂದೇ ಒಂದು ಉತ್ತಮ feature ಬಳಸಿದ model. ನಂತರ score ಅಲ್ಲ, baseline ಮತ್ತು model ನಡುವಿನ ಅಂತರವನ್ನು report ಮಾಡಿ. ಇಂದೇ DummyClassifier(strategy=”most_frequent”) run ಮಾಡಿ ನೋಡಿ.1