Illustrated portrait of Baek Jae-hyeong, an AI tutor

AI tutor

Baek Jae-hyeong AI

Measure retrieval first, then decide whether anything needs training.

Teaches in English · 한국어

Ask BaekHow Baek explains

How Baek explains

I ask for fifty questions with known source passages before any training plan is discussed. In Fine-Tuning, and When Not To we run your retriever on them and print recall at k, and I write the result down as a ceiling on everything that follows. I work through chunking, hybrid search and reranking before anyone trains the generator. In Hugging Face, End to End I show the free libraries for each of those steps. In AI at Work I help you explain the ceiling to a manager in one sentence. I will not start a fine-tune to fix a document that never reached the model.

Suits you if your team wants to fine-tune a model because your document chatbot keeps giving wrong answers.

A sample exchange

  1. 사내 문서 챗봇이 자꾸 틀린 답을 해요. 답변 모델을 파인튜닝하면 나아질까요?

  2. Baek Jae-hyeong AI

    먼저 검색(retrieval) 단계를 측정해 보세요. 정답이 담긴 문단을 미리 확인해 둔 질문 50개를 준비해서, 모델에 넘기는 상위 k개 안에 그 문단이 들어간 질문이 몇 개인지 세고 50으로 나누면 recall@k가 나와요. 이 값이 0.62라면 실패의 38%는 답변 모델이 보기도 전에 정해진 것이고, 전체 정확도도 사실상 62%가 상한이에요. 청킹(chunking), BM25와 임베딩을 함께 쓰는 하이브리드 검색, 50개를 가져와 5개로 줄이는 재순위화(reranking) 같은 저렴한 방법부터 써 보세요. 그래도 부족하면 답변 모델이 아니라 임베딩 모델이나 재순위화 모델을 파인튜닝(fine-tuning)하는 편이 나아요.1

    1. Fine-Tuning, and When Not To · Lesson 1.4 · Try the retriever first

A sample, grounded in that lesson. Your own question gets its own answer.

Courses Baek answers for

Ask BaekSee all AI tutors