企業 AI 落地研究所 ・ PODCAST 對談稿導讀01 / 14
白話拆解 RAG
AI 知識庫技術
問 AI「這個料號的外徑多少」,三秒就有答案。
這三秒裡,它其實做了六、七件事。
主持 Casper來賓 Max
企業 AI 落地研究所02 / 14
第 1 段 ・ 從零開始:RAG 是什麼

AI 不認識你公司的文件,所以讓它開書考。

閉書考
一般的 AI 聊天

沒讀過你公司電腦裡的規格書,知識也停在訓練完成那天。問「我們 A-1023 的外徑多少」,要嘛說不知道,要嘛很有自信地編一個。

開書考
接上知識庫的 AI

不用背整本書,但要先翻到對的那一頁,才寫得出對的答案。RAG 就是幫模型翻書的那雙手。

Retrieval
檢索

先去找資料

Augmented
增強

把找到的資料補進問題裡

Generation
生成

模型根據這些資料寫答案

LLM大型語言模型:讀過大量公開文字、學會「接著寫出通順下一句」的程式;ChatGPT 背後就是它。
RAG檢索增強生成,一句話:先找、再答。
為什麼不把所有文件都丟給它讀?
  • 文件太多,一次塞不下
  • 每塞一個字都要算錢
  • 全丟進去,就沒辦法分誰能看、誰不能看
整條流程,一行看完
問題→找相關段落→附進提示→寫答案+出處
文件是寫給人看的,不一定寫給 AI 看(數位時代:用顏色標重點的報帳規則,NotebookLM 仍答錯)來源:對談稿第 1 段
企業 AI 落地研究所03 / 14
第 1 段 ・ 整體畫面:RAG 是一條生產線

品質看的是最弱的那一站。

第一段事前準備
IN
公司文件
規格書、作業標準
01
切塊
切成一小塊一小塊
02
轉向量
每塊變成一串數字
03
存索引
方便日後快速查找
第二段有人發問
IN
問題
也轉成數字
04
檢索
找最像的幾塊
05
重排
再挑一次
06
組裝提示
跟問題一起包好
07
生成
模型寫答案
08
附引用
標出處
切壞了、找錯了、塞太多了,後面模型再強都救不回來。
生活比喻

工廠生產線:任何一站出問題,最後出貨的品質就被它拖下來。

實際例子

業務問「某料號的外徑、公差、最小訂購量」,三秒內這條線整條跑過一遍。

Chunk(塊):文件切出來的一小段;索引:把轉好的數字存起來,方便快速查找來源:對談稿第 0–1 段
企業 AI 落地研究所04 / 14
第 2 段 ・ Embedding 與向量

把「意思」變成座標。

◆ 問題:「出貨前要做哪些檢驗?」 ● 成品檢驗作業標準 字面不同、意思很近 A-1023 ≈ A-1032 座標幾乎重疊,實物完全不同 示意圖:真實的向量有上百個維度,這裡畫成平面
Embedding嵌入:專門的模型把一段文字換成一長串數字。
向量那串數字,可以想成「意思的座標」;意思越近,座標越近。
  • 提問時,問題也換成座標,系統去找離它最近的段落。
  • 找的是「意思像」,不是「正確」:A-1023 和 A-1032 對它幾乎一樣。
  • 要挑中文表現好的 embedding 模型;換模型,所有文件要重算、索引整批重建。
生活比喻

超市貨架:醬油跟醋擺一起,洗衣精在另一區。不知道商品名,走到對的區域也找得到。

實際例子

品管問「出貨前要做哪些檢驗」,找得到標題寫「成品檢驗作業標準」的段落,即使沒有一個字一樣。

料號 A-1023/A-1032 為虛構示意來源:對談稿第 2 段
企業 AI 落地研究所05 / 14
第 3 段 ・ 切塊策略

沿著夾層切,不要亂刀。

太碎斷章取義
太大找得到但不準
沿夾層依步驟、章節
步驟 1步驟 2步驟 3步驟 4
黃色邊=前後重疊一小段,避免一句話剛好被切斷
每一塊都帶身分證(metadata)
哪份文件哪一章哪個版本生效日期
切塊把長文件切成小段;AI 找資料的單位是「塊」,不是整份。
Metadata貼在每一塊上的標籤,之後篩版本、附出處全靠它。
  • 整本手冊當一個座標,會落在模糊的位置:什麼都有點像、又都不太像。
  • 太大的塊還會吃掉後面「上下文」的空間。
  • 一塊多少字沒有標準答案,要拿自己的文件測。
生活比喻

切蛋糕:太碎每口只有奶油、沒有蛋糕;太大一口吞不下。最好沿著夾層切。

實際例子

作業標準一個步驟一塊。規格表的表頭跟數字要在同一塊,切開了 AI 不知道那排數字是外徑還是重量。

固定長度+重疊是最簡單的做法;依標題、章節、步驟切更好來源:對談稿第 3 段
企業 AI 落地研究所06 / 14
第 4 段 ・ 檢索與重排

先海選,再複試。

文件庫裡的所有塊可能有幾萬塊
第一輪:向量檢索很快,抓出最像的幾十塊
第二輪:重排問題+每一塊一起細讀、重打分
及格門檻低於門檻就丟
留下最相關的幾塊 → 交給模型 全部不及格 → 回答「找不到」
檢索從大量文件裡找出跟問題相關的段落。
Reranker重排模型:把問題和候選段落放在一起細讀,重新打分。
  • 向量檢索永遠找得到「最近的幾塊」,就算問題跟公司文件完全無關。
  • 所以要設門檻:全部丟光就直說找不到——這是讓 AI 會說「不知道」的關鍵。
  • Kapa(賣檢索產品)十月初的測試:一千題真實企業問題,光加一層重排,分數從 0.41 到 0.50。自家產品、自家資料,但方向清楚:重排比換模型便宜。
生活比喻

徵才:先用履歷條件篩出 30 人(海選),再一個一個面試挑 5 人(複試)。沒有人及格,就不錄取。

實際例子

業務問「某型號馬達能不能接 220V」。海選抓到所有提到電壓的段落;複試把那個型號的規格頁排到最前面。

門檻做法參考:精誠 AI 小學堂教學影片(本機轉寫未校對,只講概念)來源:對談稿第 4 段
企業 AI 落地研究所07 / 14
第 5 段 ・ 混合檢索

叫名字+看描述,兩種一起跑。

關鍵字檢索BM25

找「字一模一樣」的。料號、型號、客戶名、法規條號、圖號靠它。

「A-1023 的公差」
向量檢索EMBEDDING

找「意思像」的。口語、描述式的問題靠它。

「哪一種材質比較耐高溫」
結果合併→交給重排
關鍵字檢索比對字面是否相同;BM25 是常見的一種算法。
混合檢索關鍵字和向量同時跑,結果合併後再重排。
  • 向量會把 A-1023 跟 A-1032 當成差不多;關鍵字不會。
  • Onyx(做 RAG 產品)今年模擬一家公司約五十一萬份文件:關鍵字檢索答對約七成,向量約五成。資料是模擬的,但關鍵字不是過時技術。
生活比喻

找人:叫名字最準;但只記得「那個戴眼鏡、做品保的」,就只能靠描述。

實際例子

「A-1023 的公差」一定要關鍵字;「哪一種材質比較耐高溫」要靠向量。

做法參考:柏瀚 Roger Lin 混合檢索影片(2026-03)來源:對談稿第 5 段
企業 AI 落地研究所08 / 14
第 6 段 ・ 組裝提示與上下文視窗

給模型的是一整包,而且有容量上限。

① 指示
只能根據下面的資料回答;找不到就說不知道;每句附出處。
② 找到的那幾塊
規格頁 ・ 塊 #1報價規則 ・ 塊 #2塊 #3
③ 使用者的問題
「這個料號怎麼報價?」
上下文視窗
三頁重點:看得完塞越多:越貴、越慢、重點被淹沒 →
提示Prompt:交給模型的整段文字,包含指示、資料和問題。
上下文視窗模型一次能讀的長度上限。
  • 不是塞越多越好。
  • 切塊、重排做得好不好,決定了這包裡放的是哪三頁。
生活比喻

開會前給主管的資料夾:放三頁重點,他會看;塞一百頁,他一定漏看。

實際例子

業務問一個料號的報價,只要塞那個料號的規格頁跟報價規則,不用把整本型錄塞進去。

提示的三個部分依對談稿描述繪製來源:對談稿第 6 段
企業 AI 落地研究所09 / 14
第 7 段 ・ 幻覺與引用

有引用,不等於正確。

1
提示裡規定

只能根據提供的資料回答。

2
零塊就不問模型

檢索結果是零塊,直接回答「找不到」,不呼叫模型。

3
每句附引用

讓人可以點回原文。

!
最後一關是人

點進引用,確認那一段真的寫了這個答案。

幻覺資料不夠時,模型用自己背過的知識補,而且講得很有自信。
引用答案旁標出根據的是哪份文件、哪一段。
  • 模型的本能是寫出一段通順的答案。
  • RAG 不能完全消除幻覺,只能用這幾層把它擋下來。
生活比喻

學生報告附參考文獻:老師要翻開文獻核對,不是看有沒有附就給分。

實際例子

問某材料的耐溫,公司文件裡其實沒有,模型用網路常識回了一個數字。沒有引用不能信;有引用也要點進去看。

「零塊不呼叫模型」參考:白白說大模型影片(本機轉寫未校對,只講概念)來源:對談稿第 7 段
企業 AI 落地研究所10 / 14
第 8 段 ・ 表格、PDF 與 OCR

傳產最容易出事的一站。

原始規格表
料號外徑公差
A-1023XY
A-1032X′Y′
轉檔後(錯位)
料號外徑公差
A-1023X′Y
A-1032—Y′
7
OCR 辨識
→
1
手寫檢驗表的 7,被辨識成 1
實用做法:每一列轉成一句完整描述——「料號 A-1023,外徑 X,公差 Y」,切塊時就不會跟表頭分家。
PDF記的是每個字擺在頁面哪裡(排版),不是資料;文字型 PDF 有文字層可直接取字,掃描型只是圖片。
OCR光學文字辨識:把掃描圖片裡的字轉成文字。
PDF 長怎樣,也決定轉出來對不對
掃描檔:沒有文字層,只能 OCR特殊或內嵌字型 → 亂碼雙欄排版 → 左右混讀旋轉、很小的字頁首頁尾混進內文合併儲存格、跨頁表格壓在字上的浮水印、印章

都會讓轉出來的字跑掉、順序亂掉。

  • 轉完一定要抽查;大表又要精準查數字,就留在資料庫。
生活比喻

影印再影印的傳真:看起來還像,數字可能已經糊了。

實際例子

規格表轉完欄位錯位,外徑對到隔壁那個料號;手寫檢驗表的 7 被辨識成 1。

表中 X、Y 與料號皆為虛構示意;表格討論參考 AI幫手頻道來源:對談稿第 8 段
企業 AI 落地研究所11 / 14
第 9 段 ・ 權限

在檢索那一站就擋下來。

提問者身分→過濾沒權限的塊→排序→交給模型
以業務的身分查詢時
✓型錄
✕配方
✕模具圖面
錯誤做法:先把所有資料給模型看,再叫它「不要說出來」。
權限標籤每一塊都帶著原文件「誰可以看」的設定。
  • 系統用提問者的身分,先把他沒權限的塊過濾掉,再排序、交給模型。
  • 不能先給模型看,再叫它保密。
生活比喻

圖書館閉架書庫:館員先看你的借書證才去拿書;不是把書放你面前,再叫你不要看。

實際例子

業務看得到型錄,看不到配方跟模具圖面。

同一原則也見於資安組織 OWASP 整理的 RAG 安全原則來源:對談稿第 9 段
企業 AI 落地研究所12 / 14
第 10 段 ・ 怎麼評估

出一張考卷,每次改動都重考。

知識庫考卷 ・ 第一版同事真的問過的問題
題型題目(示意)找對沒答對沒
正常題A-1023 的最小訂購量?□□
邊界題……□□
陷阱題已停產型號的替代料?
資料裡根本沒有答案,應答「不知道」
□□

每題先標好:答案在哪份文件、哪一版。

分開量兩件事
  • 找對沒:該找的那一塊,有沒有排在前幾名。
  • 答對沒:答案正確、引用真的支持答案、資料不夠時會說不知道。
  • 分開量,才知道要修的是檢索還是生成。
  • 改切塊、換模型、加重排,都用同一張考卷重考。

第一版怎麼來?Chroma(賣向量資料庫)創辦人建議:找一個下午、叫個披薩,大家一起手寫題目和答案。

生活比喻

進料驗收:固定的抽檢標準,每一批都用同一把尺。

實際例子

題目像「A-1023 的最小訂購量」;陷阱題像「已停產型號的替代料」。

考卷做法參考:Roger Lin Golden Dataset 影片;Chroma 創辦人建議來源:對談稿第 10 段
企業 AI 落地研究所13 / 14
第 11 段 ・ 什麼時候不該用 RAG

五種情況,換別的工具。

1精準的數字與表格BOM、庫存、價格表放資料庫,讓 AI 下查詢語法(Text2SQL)去查;只給唯讀權限,指標定義先統一
2計算與流程算價、做報價單、追蹤RAG 找得到規則,流程要靠自動化
3排程那是 APS 或 ERP 的事,不是生成式 AI
4文件很少、很短直接整份放進提示,不用建索引
5不能外流的機密不放,或改用地端
Text2SQLAI 把問題轉成資料庫查詢語法,直接查表。
APS/ERP排程系統/企業資源規劃系統,管生產排程與進銷存。
地端把系統裝在公司自己的機器上,資料不離開公司。
生活比喻
螺絲起子很好用,
但不能拿來鎖六角螺帽。
第 1 點風險整理參考:AI幫手頻道整理的 Reddit 討論來源:對談稿第 11 段
企業 AI 落地研究所14 / 14
第 12 段 ・ 收尾

一條生產線,看懂每一站才知道修哪裡。

1
切塊
2
轉向量
3
檢索
4
重排
5
組裝提示
6
生成
7
附引用
答案品質,由最弱的那一站決定。
回公司教同事的三個小技巧
01

同一個問題,示範有掛知識庫跟沒掛的差別。

02

讓大家養成點引用回原文的習慣。

03

動手做一個查規格的小助理,用十題考卷驗收,看是哪一站出問題。

你們公司也在做 AI 知識庫嗎?
留言告訴我們:最常卡在哪一站?
訂閱 企業 AI 落地研究所
我們下集見