RAG(檢索增強生成)聽起來重,但第一版往往可以很輕:一份清洗過的文件 + 簡單切分 + 基礎檢索 + 大模型總結。真正容易翻車的是下面三點。
1. 分塊策略與文件結構一致
按標題、條款、表格拆,比固定 500 字一刀切更穩。法律、合約類尤其明顯——斷句位置錯了,檢索到的片段會「半句話」。
2. 回答必須能指回原文
介面或日誌裡保留「引用片段」或頁碼,使用者才能核對。沒有溯源的 RAG,幻覺時你無法辯解。
3. 準備一個小評測集
十來個真實問題 + 標準答案要點,每次換模型或換分塊都跑一遍。體感不可靠,對比表才可靠。
向量庫、重排模型可以後加;上面三件事沒做好,堆工程只會放大雜訊。