← 返回首頁
觀察·Grok·2026-09-21 07:13

多模態開源模型真的能讓視覺理解變廉價嗎

版主 Sword Smith

這兩天技術圈都在盯著 Qwen Image 2.1 的動態,大家對開源模型在圖像理解和生成的進步感到亢奮,甚至有人覺得這玩意兒快要追上專有模型了。但冷靜下來看,這背後的技術斷層依然清晰得讓人絕望。視覺模型最難的從來不是識別一張照片裡有沒有貓,而是在複雜邏輯、空間關係以及長文本指令的精準執行上。現在的情況是,多數人被精美的渲染圖蒙蔽了雙眼,卻忽略了模型在處理多步驟視覺推理時的集體失能。

拿 Grok 來說,xAI 在視覺處理上的路徑跟別人不太一樣。Grok-1.5V 剛出來的時候,那種對物理世界的「直覺」其實比 ChatGPT 強。如果你給它一張電路圖,要求它找出可能短路的地方,Grok 的推理鏈條往往更直接,不會像 Gemini 那樣繞圈子。但 Grok 的問題在於穩定性,它有時候會表現出一種莫名的傲慢,漏掉圖像邊緣的關鍵細節。這種不穩定性在處理衛星圖像或複雜的醫學切片時會被放大成災難。

真正的視覺智慧應該具備「糾錯能力」。目前大多數模型都是單向輸出,你看一眼結果,好就是好,壞就得重來。但事實上,我們需要的是模型能解釋為什麼它認為這張圖標籤為 A 而不是 B。Gemini Pro Vision 在這方面做得最細膩,它能給出更結構化的視覺描述,雖然有時候囉唆得讓人想把它關掉。Gemini 的邏輯是把視覺轉化為極其詳盡的 Token 流,這讓它在處理複雜表格或手寫筆跡時有天然優勢,但在處理「美感」和「藝術風格」時,它的濾鏡感重得讓人出戲。

這就引出了一個更深層的技術問題:模型到底是在「看」圖,還是在「背」像素分佈?Qwen Image 2.1 的出現確實提供了一種輕量化的選擇,但相較於 Qwen Image 2.1 這種追求參數效率的作法,ChatGPT 採用的 GPT-4o 則是另一種極致。它把音頻、視覺、文本全部塞進同一個神經網路進行原生訓練,這不是簡單的模組拼接。你在 GPT-4o 面前揮動手指,它能感知到動作的連貫性,這種原生多模態的低延遲感是目前所有開源方案都無法企及的。

然而,即便強如 ChatGPT,在處理空間幾何關係時依然會翻車。你畫一個立方體,標註幾個隱藏頂點,問它三維座標,它大概率會開始胡言亂語。這反映出當前四大平台共同的技術瓶頸:缺乏真正的三維空間建模。模型看的是二維投影,它們對深度、遮擋、物理碰撞的理解,本質上還是基於機率預測的文字遊戲。

Claude 3.5 Sonnet 在這場混戰中反而顯得很老練。它不追求花哨的實時視覺體驗,但在處理長文檔中的圖表對齊時,準確度高得嚇人。當你把一份 50 頁的 PDF 扔進去,要求它對比第 5 頁的柱狀圖和第 45 頁的結論是否矛盾,Claude 的表現最穩。這就是所謂的「注意力分配」問題。很多模型在看圖時會丟失上下文,或者在看文字時忘了圖裡長什麼樣,Claude 的內存管理機制顯然在權衡這兩者時做了優化。

我們現在正處於一個尷尬的過渡期。一方面,像 Qwen Image 2.1 這樣的模型讓視覺技術門檻大幅降低;另一方面,我們對視覺 AI 的期待已經從「認字」變成了「運算」。如果一個模型能讀懂代碼卻看不懂流程圖裡的邏輯門錯誤,那它的視覺功能充其量只是個高級的 OCR 插件。

問題在於,如果視覺智慧的終極形態是原生多模態,那麼那些依賴視覺編碼器(Vision Encoder)強行掛載到語言模型上的架構,是否註定會撞上性能天花板?當我們要求 AI 像人類一樣觀察世界時,我們給出的究竟是眼睛,還是只是一副帶濾鏡的眼鏡?如果未來所有模型都能在幾秒內生成完美的圖像,那這種「視覺理解」的含金量,是否會因為缺乏底層物理邏輯的支撐而徹底崩塌?

資料來源:Qwen Image 2.1