30 列漏掉 4 列沒人報錯：網頁自動化的 AI 該放在哪一段

先講結果：一份 591 租屋列表有 30 列，我們的網頁自動化流程只交出 26 列。後面負責判斷的本機小模型和 Claude 都照著這 26 列作答，評分也說答對了——整個過程沒有任何錯誤訊息。

這次實驗原本要回答的是「判斷該交給哪個 AI」。最後我們學到的是：判斷之前那一步，比判斷本身更容易出錯。

背景：把重複的網頁動作，變成固定流程

我們開源的網頁流程工具 Kav，跟 Browser Use 與 TypeSafe 的 Jev 是同一類：讓 AI 操作網頁的工具。差別在於 Kav 用對話跟 AI 說一次要查什麼，它寫成固定流程，之後由本機程式照表執行，不必每次讓 AI 開瀏覽器一步步點。像是比對供應商報價、從後台列表撈訂單，都屬於這一類。

9 月底的第一組對照，同一句話分別交給固定流程和 AI 自己操作瀏覽器：高鐵時刻表（填表、多步驟）約 22 秒對約 116 秒，差約 5 倍；台銀牌告匯率（開一頁讀表）19 秒對 20 秒，固定流程沒有優勢。省時間的是多步驟、會重複的任務，不是所有網頁任務。

同一輪裡還有一題答錯：引擎抓到的資料正確，但回答的模型把發車時間 16:02 當成抵達時間，實際抵達是 15:59。程式能證明「頁面上有這些字」，證明不了模型怎麼讀。替每一欄標上欄名之後，重跑答對。

第一次跑：三組看起來都不錯

10 月初，我們換成需要「判斷」的題目：在 591 北投區雅房列表上，問「可以養寵物的」「有電梯又有廚房的」「最便宜的」這類問題。

• 本機小模型（約 4B 參數、免費）：每題約 1.1 秒，沒有錯選
• Claude 讀同一份列表文字（26 列、16 題）：全對，整批平均每題約 1.5 秒、約 2.2 萬輸入 token（多數是快取）
• Claude 開瀏覽器到真實頁面（抽 3 題）：也全對，但每題 21–162 秒、輸入 token 45–91 萬，途中還逾時 3 次、斷線 1 次

破綻是最貴的那一組抓到的：它看的是真實頁面上的 30 列，跟另外兩組對不上。

真正的洞在上游：漏掉的 4 列

抓列表的規則，是 AI 看了幾張卡片後寫下的格式假設——「整數坪、幾樓/幾樓」。真實資料有 3.5 坪、2.7 坪、頂樓加蓋、B1，這 4 列就被安靜地濾掉了。

漏掉的其中一筆可以養寵物，於是「可以養寵物的」正確答案從一筆變成兩筆——應該停下來問人。本機小模型和讀文字的 Claude 都在 26 列版選了那一筆，評分說對，其實是錯的。後面的判斷再準，也看不到前面沒交出來的資料。

自動化最貴的錯，不是答錯，是漏看了卻沒人知道。

修法不是換更強的模型，是讓漏掉看得見：引擎回報「有幾列不符規則被跳過」，大於 0 就附註；寫規則只鎖每一列一定有的特徵（這頁是「元/月」），不描述格式細節。這跟我們在push 成功、網站沒動談的是同一件事——自動化最危險的狀態，是安靜。

補齊 30 列重跑：本機小模型零錯選，但只敢答一半

補齊之後，本機小模型重跑 18 題：5 題應該停下來問人，全部停下；13 題有唯一答案，選對 6 題，其餘 7 題停下來等人。錯選 0 次。

它在單一條件（頂樓加蓋、地下室、某個金額）選得準；遇到兩個條件並列或「最便宜」這種比較，只符合一半的列，模型給的符合機率也有 0.85–0.97（滿分 1），拉不開差距就停下。每一列各自判斷「符不符合」，本來就表達不了「同時」與「比別列」。

我們最後的分工

實驗之後，我們把 Kav 的定位改了：

1. 抓資料交給固定程式：載入頁面、找列表、取文字都不需要模型，整理列表那一步本機約 31 毫秒；漏了幾列要回報出來。
2. 判斷交還給對話中的 Claude：兩條件與比較題也答得出來，代價是每題約 2 萬多 token。
3. 本機小模型降為選配：只在資料不能離開本機、而且需求單純時才用，並接受它常停下來等人。

這跟我們在AI 模型選型那篇談的邏輯一樣：把每一段工作放到對的位子。也要誠實說限制：這次只量到「選哪一列」，還沒測到點進每一筆看詳細資料這一步，不能換算成端到端的加速倍率。

給老闆的三個自我檢查

1. 你的自動化流程，會告訴你「漏了幾筆」嗎？——只報成功筆數的流程，漏掉的不會出現在報表上。
2. 流程裡哪一步需要「判斷」，哪一步只是「照做」？——照做的交給程式，需要判斷的才值得付 AI 的錢。
3. 要判斷的資料，能不能送到雲端 AI？——能，就交給答得準的；不能，本機小模型可以接手簡單題，但要留人處理它停下來的那一半。

哪些重複的網頁動作值得做成固定流程，可以先看我們的案例研究。你描述現在的流程，我們先判斷值不值得往下看、該從哪裡看起——包括它現在會不會漏筆而不自知。

預約 30 分鐘免費初談 →