Day 310 · 2026-11-05

降智檢測器

AI 回答得不如預期時，可以怎麼分辨是這次沒答好，還是服務真的變了？

最近有幾個開源專案，專門處理大家口中的「降智」。有的檢查 API 轉接服務有沒有改動請求，有的查看訂閱版工具的模型切換線索，也有的請另一個 AI 持續替回答打分數。

模型被換掉、設定改變、回答品質下降，需要的證據各不相同。挑工具之前，得先確認自己懷疑的是哪一件事。

這篇整理 Anthropic 的 FlashProve，以及三個社群工具，看看它們各自能驗證什麼。以下依官方文章與專案文件整理，還沒有實測。

如果想觀察自己常用的 AI 有沒有退步，可以先準備一組熟悉、能判斷對錯的題目，保存原始問題、完整回答、日期與模型設定。

三個工具，分別查不同的問題

如果你透過第三方 API 使用 Claude，可以先看 Claude-Detection。API 是讓程式連接 AI 服務的介面，就像服務櫃台的窗口；轉接服務則是代收請求，再轉交模型的平台。

Claude-Detection 會交叉比對多項訊號，例如請求參數、文字被切成多少片段、長篇內容有沒有被截短，再搭配測試模型能力的題目，進行多次測試，檢查服務是否可能換了模型或改動請求。

它需要 API 網址與金鑰，文件沒有提供直接登入 Claude Pro／Max 訂閱帳號的測試流程。報告分數是多項規則的彙整，不能解讀成「有幾成機率是真 Claude」。部分檢查也還有未實作或驗證範圍有限的地方。

如果你用官方登入的 Claude Code CLI（在文字視窗輸入指令來操作的工具），想查實際送出的模型設定，可以看 am-i-nerfed。

它透過官方命令列工具送出測試請求，記錄請求指定的模型、回應中的識別資訊，以及有沒有出現切換模型等線索。這類工具能幫忙核對「設定選了什麼、請求送了什麼、服務回了什麼」。

不過，這些紀錄看不到伺服器裡實際使用的模型權重，也看不到隱藏的帳號設定。跑一次短測試，能確認的範圍也只到那一次請求。實際測試會消耗訂閱額度。

如果你在意的是「回答品質最近有沒有變差」，iqdrop 走的是另一條路。

它會在 Claude Code 或 Codex 回答後，自動把問題、回答與部分對話交給另一個 AI 評分，累積品質與速度的紀錄，讓你看歷史趨勢。評分端需要另外準備 Typesafe API 金鑰（讓工具連線的通行密碼）。

這個做法有個很重要的限制：評分模型看不到檔案、工具操作與工具回傳內容，也看不到圖片。拿來看寫程式任務時，它可能缺少判斷工作是否完成的關鍵資料。題目本身的難度，也會影響分數。

另外，問題與回答會送到外部評分服務。涉及公司資料或私人內容時，先確認哪些資料可以傳出去。

Anthropic 開源的 FlashProve，研究的是怎麼用可驗證的計算證據證明：這份回答確實由事先承諾的那套模型權重算出來。模型權重，就是模型訓練後用來計算答案的參數。

做法是由服務提供者先公布一組「承諾識別碼」，把自己綁定在特定模型權重上。產生回答時，同時產生一份證明，讓接收者驗證，又不用公開模型權重；README 另列出宣告清單的例外。

比起從語氣或答題表現猜模型身分，這個方向提供了可以驗證的計算證據。但前提是服務提供者配合產生證明，而且你得先從可信任的來源取得正確的承諾識別碼。若連識別碼都只相信被檢查的伺服器，就無法據此確認它用了你原本預期的模型。

所以，FlashProve 跟大家懷疑的「偷偷換模型」很有關係。不過，即使證明通過，也只代表回答符合指定模型的計算結果；答案是否正確、能力有沒有退步，還是得另外測。

目前專案是研究原型，README 標示不再維護、不接受貢獻。文件展示的是 Llama 4 Maverick，沒有提供直接檢查 Claude 訂閱或 Claude API 的整合方式。一般使用者目前無法只裝上它，就驗證自己的 Claude 對話。

上面三個社群工具，可以依你想查的問題來選：