DAY 249

AI 掛掉時的備用發電機

SLIDES · 8
Day 249 AI 掛掉時的備用發電機 — 投影片 1Day 249 AI 掛掉時的備用發電機 — 投影片 2Day 249 AI 掛掉時的備用發電機 — 投影片 3Day 249 AI 掛掉時的備用發電機 — 投影片 4Day 249 AI 掛掉時的備用發電機 — 投影片 5Day 249 AI 掛掉時的備用發電機 — 投影片 6Day 249 AI 掛掉時的備用發電機 — 投影片 7Day 249 AI 掛掉時的備用發電機 — 投影片 8
1 / 8

前幾天一場客戶諮詢,對方想把公司裡的一些流程交給 AI 自動跑。聊到一半他問了一個問題:那如果 Claude 掛掉了怎麼辦?

我當下用了一個比喻回他:停電的時候,你要讓電繼續供應,就得有一台備用發電機。

這篇分享:為什麼備援不見得是多一筆錢、哪些工作根本不需要備援、優先順序要怎麼排、要不要用中國那邊的模型、還有選供應商的時候先看什麼。

他第一個反應是「那不就是多一筆錢」

客戶接著問成本——備用發電機放在那裡不動,本身就是一筆錢,這種是不是沒辦法避免。

這裡就是實體世界跟 AI 不一樣的地方。

實體的備用發電機,你買下來那一刻錢就付掉了,之後放著積灰塵也一樣。但 AI 的備援可以是 API:用到多少收多少錢,沒用到就是零。

所以你的備援可以一直待命,但平常不花你一毛錢。我覺得這件事很多人沒有意識到——他們把「多接一家」直接想成「多一份月費」。

前提是你的備援走 API。如果你是再開一個月費訂閱帳號,那就真的是多一筆固定支出了。

買了發電機,還要有自動切換

光買一台發電機解決不了問題。

停電之後還要有人跑去按開關,那從停電到按下去的中間,你的東西還是停著。真正在做事的是自動切換:偵測到這條線路不能用,就把負載切到另一條。

AI 這邊也一樣。你要設計的是三件事:

  • 請求發出去之後,怎麼判定它「失敗」了
  • 失敗之後重試幾次(比如重試兩次)
  • 重試都不行,要改走哪一條路

這三件事沒有定義清楚,切換根本不會發生。

不是每件工作都值得備援

客戶自己想到了一件事,我覺得比我講的還重要。

他說:我這條自動化流程裡面有十件工作,但真正需要即時處理的可能只有三件。剩下那些就算停在那裡,只要有人知道它停了、有人可以進來手動處理,其實沒關係。

這個判斷完全正確,而且會幫你省掉一大堆麻煩。

所以備援的第一步不是選供應商,是先把工作分成兩堆:

類型 停了會怎樣 要做什麼
必須即時 客人在等、有金流在跑、時效會過 自動切到備援
可以等 晚幾小時做完沒差 停下來,發通知叫人進來

第二堆你要做的只是一個通知,不是一整套切換機制。這兩件事要花的工差非常多。

先分堆再談備援,你要蓋的系統會小很多。

優先順序怎麼排

我自己會這樣排:

  1. 原本的訂閱帳號——已經在用、能力確認過,成本也最低
  2. 同一家的 API——模型行為最接近,換過去結果最不會跑掉
  3. 另一家的模型——最後一道防線

第二層很多人會跳過,但它蠻關鍵的。訂閱制跟 API 在服務狀態上是分開的兩件事。

Anthropic 的狀態頁就把 claude.ai、Claude Console、Claude API、Claude Code 分開列,一個一行,每一行有自己的燈號跟 90 天可用率。也就是說,Claude Code 那一行紅了的時候,API 那一行可能還是綠的。

而且訂閱制還有一種「不是故障、但你就是不能用」的狀況:一段時間內(比如五小時)用太兇,額度就沒了。這時候服務本身好好的,只是輪不到你。API 是用多少算多少,不會因為你這五小時用太多就整個停掉(它也有自己的上限,但那是另一回事)。

代價是 API 的單價會比訂閱貴。但你會需要備援的那個時間點,你要的是它能動,不是它便宜。

要不要用中國那邊的模型

聊到備援選誰的時候,這題一定會出現。

有資安疑慮的話最好不要用,全部排除。西方這邊至少有 OpenAI、Anthropic、Google、xAI 四家,同時掛掉的機率不高,備援選項已經夠了。

如果你想用(通常是為了價格),那你要多做一件事:送出去的內容要先過一道檢查,確認裡面沒有你的機密資料或客戶個資。

這道檢查本身就是一個要開發、要維護、而且會出錯的元件。省下來的錢有沒有比這個成本高,自己算。

我自己的判斷方式是先問資料本身:如果送出去的只是一段宣傳文案,那被誰看到都無所謂;如果裡面有個資,那就不要為了省錢去賭。

先看能力,再看價格

最後這點是我在那場對話裡講得最篤定的。

客戶問我:那你為什麼不挑便宜的?

因為它要先做得了事,便宜才有意義。它再便宜,做出來的東西很爛,那對我來說就是零。

就像聘員工。一個月五千塊,但他什麼都不會,這不叫便宜,這叫浪費。

所以選備援的順序是:先確認這個模型有能力處理這一類任務,再來比價格。反過來排,你會挑到一台很便宜的發電機——電壓不夠,插上去什麼都帶不動。

備援不是多買一個帳號,是先想清楚哪些事情不能停。


Day 198 講的是別把自己綁死在單一模型上,那時候還是人在判斷、人去切換。這篇是把同一件事交給系統:你不在的時候,它自己知道要走哪條路。

延伸閱讀
看完整 249 篇 →