當初說什麼「AI 賦能所有人寫程式」，聽聽就好。現在看來，更多是企業IT部門開始盯上每個 token 的帳單，而不是什麼人人都是工程師的烏托邦。這幾個月，多少公司內部會議都在討論「怎麼限制模型使用」、「別再隨便燒 token 了」，字裡行間，透著一股對成本管控的焦慮。這說明什麼？說明 AI 大模型已經從實驗室玩具，變成實際運營成本的一部分，而且還不小。
OpenAI 在 GPT-4o 上確實展現了多模態的強勁實力，尤其在語音和視覺的集成上，幾乎是無縫切換，這對需要處理複雜非結構化數據的企業來說，誘惑力是巨大的。API 穩定性也算上乘，但別忘了，好東西從來不便宜。用得越多，token 消耗越快，帳單自然就越厚。很多企業現在面臨的問題是，他們發現 AI 確實能提升效率，但這個效率提升背後的成本，跟預期可能有點落差。尤其當模型在處理長文本、複雜邏輯，或是需要大量迭代優化 prompt 的時候，token 的流速簡直是肉眼可見。這也難怪他們會緊張，畢竟，這不是一筆小數目，尤其對那些有數萬甚至數十萬員工的大公司而言。
Anthropic 的 Claude 3 系列，特別是 Opus，在長文本處理和上下文理解上，確實有其獨到之處。對於需要消化大量法律文件、研究報告或是程式碼庫的場景，Claude 的表現往往能讓人驚艷。不過，這種「驚艷」也是有代價的。雖然它們在某些長文本任務上，注意力衰減比 GPT-4o 沒那麼明顯，但這並不代表 token 消耗會少到哪裡去。當企業習慣了這種高性能的便利，就很難再退回到低效的人力作業。這就形成了一個尷尬的局面：離不開，但又用不起。像 DeepSeek 和 Qwen 這類號稱「大降價 99%」的模型，確實給市場帶來了新的衝擊，至少在成本敏感的某些應用場景下，它們是個可行的選項。但這種價格戰背後，模型的實際性能和企業級支持能否跟上，又是另一回事了。
Grok 嘛，它那個即時資訊整合能力，在某些需要快速反應的資訊流處理上，確實有潛力。但 Elon Musk 自己的社交媒體生態決定了它的應用範圍。而 Google 的 Gemini 系列，尤其是 Ultra，在某些特定的程式碼生成和分析任務上，展現了與 GPT-4o 一較高下的能力，而且它與 Google Cloud 的深度整合，對於已經採用 Google 生態的企業來說，也有不小的吸引力。但無論是哪個平台，企業的 IT 主管們都在思考一個問題：這些模型給出的「價值」，究竟值不值得為那些每個月數十萬甚至數百萬美元的 token 帳單買單？當大家都在追求「產品市場契合度」（Product-Market Fit）的時候，似乎忘了還有一個「成本效益契合度」（Cost-Benefit Fit）也同樣重要，甚至更為關鍵。
那麼，當企業用戶開始對每個 token 精打細算時，這些大模型公司會選擇在成本優化上投入更多資源，還是繼續以性能為名，維持高價策略？