DAY 193

pxpipe 省 token 踩雷筆記

SLIDES · 6
Day 193 pxpipe 省 token 踩雷筆記 — 投影片 1Day 193 pxpipe 省 token 踩雷筆記 — 投影片 2Day 193 pxpipe 省 token 踩雷筆記 — 投影片 3Day 193 pxpipe 省 token 踩雷筆記 — 投影片 4Day 193 pxpipe 省 token 踩雷筆記 — 投影片 5Day 193 pxpipe 省 token 踩雷筆記 — 投影片 6
1 / 6

前幾天把 pxpipe 裝上、開始幫 Claude Code 省 token,結果沒幾個小時就發現 Claude Code 一直被擋、狂跳 429:pxpipe 的 log 裡塞了 464 筆 rate_limit_error(rate limit,Anthropic 回你「你太頻繁了」)。省 token 省到被擋,這雷踩得有點好笑,但根本原因很值得記一下。

先講結論:pxpipe 省 token 的那一招,剛好會把 Anthropic 用來認出「這是 Claude Code」的那行字洗掉,於是我從訂閱制的額度被降級到一般 API 的額度,然後就開始被擋。這篇講三件事——它怎麼省、雷怎麼來、怎麼解。

pxpipe 省 token 的那招

Claude Code 每次請求裡最肥的,不是你打的那句話,是每次都重送的 system prompt(系統提示,開頭那段定義 AI 該怎麼行動的規則)跟一大包工具說明。pxpipe 的作法是把這些又大又重複的內容 render 成一張塞得很滿的圖片再送出去——一張圖的 token 由它的像素大小決定、跟裡面塞多少字無關,所以同樣內容,token 少一大截。省得很漂亮,問題也就出在這裡。

雷在哪:省 token 那一步,順手把身分也省掉了

先講症狀。接上沒多久,Claude Code 開始頻繁跳 429。回頭翻 pxpipe 的 error log,裡面躺了 464 筆一模一樣的 rate_limit_error。奇怪的是我的用量根本沒暴增——不像是我自己打太兇、打到額度上限。是有別的東西不對。

追下去才發現,關鍵在 Anthropic 怎麼判斷「這到底是不是 Claude Code」。

訂閱制的額度只給它認得出來的 Claude Code 流量,而它認的方式很單純:system prompt 最前面那句固定的自我介紹——

You are Claude Code, Anthropic's official CLI for Claude.

——必須原封不動、以「第一個、獨立的」system 區塊存在,才算數。

而 pxpipe 為了省 token 把整段 system prompt render 成圖的時候,順手就把這句話一起壓進圖裡、或跟後面的內容黏成一塊了。認證的那行字一消失,Anthropic 就不再把我當 Claude Code,改用一般 API client 的額度來算——那個額度小很多,於是狂噴 429。省 token 的動作,把「我是誰」也一起省掉了。

怎麼解:把那行字釘死,永遠不進圖

解法其實很乾淨:在壓縮之前先檢查 system prompt 是不是以那句身分字串開頭,是的話就把它切出來、單獨當成一個純文字區塊放回去,永遠不 render 成圖、也不跟別的字黏在一起。其他大塊內容照壓不誤。

換句話說,能省的照省,只有「證明我是 Claude Code」的那一行被釘死成文字。我把含這個修正的版本接上之後,429 就停了。

確認:真的好了

翻 pxpipe 的 dashboard 跟 log,現在各種模型的請求都穩定回 200(系統回「成功、正常」的狀態)——而且是「真的有壓圖」的請求,其中一筆就把上下文壓成了 56 張圖,照樣通過、沒再跳 429。最後一批 429 停在我接上修正的那個半夜,之後這一整天壓圖的請求全部正常。省 token 的功能開著、身分那行字也留著、又沒被擋,這才算真的解掉。接下來就是正常用、順手瞄一眼 log。

這次學到的

一個夾在中間、代你轉送請求的工具(proxy)只要動到請求本身,就可能連帶動到一份你看不見的合約——上游是怎麼認出你的。token 是明面上的成本,看得到、好量化;但「你是誰」這種隱形的東西被動到,症狀會跑到很遠的地方(這裡是狂跳 429),一時很難聯想回來。省東西之前,先確認你沒把身分一起丟掉。


464 筆 429 追到最後,少的只是那一行「我是 Claude Code」。

最近開始做免費的一對一諮詢,幫你把 AI 接進自己的工作流——有需要的話可以約:https://www.dawsonwang.com/


pxpipe:https://github.com/teamchong/pxpipe

延伸閱讀
看完整 193 篇 →