銀行為了 KYC 把模型搬回本地跑，資料不出門，這很合理。但看到有人說兩百萬客戶就算「巨大規模」了，心裡就想罵人。這算哪門子巨大？這根本就是模型本地化部署的一個縮影，大家嘴上說要多大規模、多大算力，結果呢？實際場景一出來，就現形了。
現在許多企業，特別是受監管行業，都想把 LLM 部署到自己的基礎設施上，原因無他，資料安全和隱私。問題是，這些企業對「規模」的理解，往往停留在傳統應用層面。LLM 的模型體量、推理複雜度，跟處理幾百萬用戶的關係型資料庫根本不是一回事。光是動輒幾百億參數的模型，吃掉的顯存和算力就不是一般企業本地機房能輕鬆應付的。就算你買了一堆 H100，那後續的維護、模型更新、微調，哪個不是專業團隊才能搞定的？這跟 OpenAI 還有 Google 這些巨頭的雲端服務比起來，成本和效率根本不在一個量級。
再說到推理，別以為本地部署就萬無一失。模型的響應速度、在尖峰時段的穩定性，這些都是硬指標。想像一下，客戶在辦理業務時，因為本地模型的推理延遲導致等待時間過長，用戶體驗會直線下降。Claude 或是 ChatGPT 這種雲端服務，背後是海量的分散式運算和優化的推理引擎。它們可以動態調配資源，確保在大部分時間內都能提供快速響應。企業自建，等於把這些複雜性全部扛到自己身上。當一個企業說要處理「巨大規模」的客戶數據，卻只提到幾百萬用戶時，這就暴露了他們對 LLM 實際運營複雜度的誤解。這不是傳統的 IT 專案，這是 AI 基礎設施的戰爭。
當然，也不是說本地部署就沒有價值。像 BNP Paribas 這種高度敏感的金融機構，為了合規，必須這麼做。但這付出的代價是巨大的。他們可能是在用相對「輕量級」的模型來處理特定任務，或是只在某些關鍵流程中使用。當我們把目光投向全球市場，你會發現許多特定市場的參與者，比如 DeepSeek 或是 Qwen，他們也積極推動本地化部署方案，試圖滿足那些對數據主權有強烈需求的客戶。但這些方案，在實際落地時，往往會遇到類似的規模困境。真正的挑戰在於，如何在本地部署的嚴格限制下，還能提供媲美雲端服務的性能和擴展性。這是一個難題。
如果這些企業真的要將 LLM 用於「巨大規模」的客戶服務，那麼面對的是數以億計的請求、實時的數據流，以及不斷演進的模型。本地部署的瓶頸，會不會讓他們最終還是得走回雲端整合的老路？