機器之心報道

編輯：澤南、Panda

(資料圖)

‘我很喜歡新的 DeepSeek-OCR 論文…… 也許更合理的是，LLM 的所有輸入都應該是圖像。即使碰巧有純文本輸入，你更應該先渲染它，然后再輸入。’

一夜之間，大模型的范式仿佛被 DeepSeek 新推出的模型給打破了。

昨天下午，全新模型 DeepSeek-OCR 突然開源。在該模型的處理過程中，1000 個字的文章能被壓縮成 100 個視覺 token，十倍的壓縮下精度也可以達到 97%，一塊英偉達 A100 每天就可以處理 20 萬頁的數據。

這種方式或許可以解決大模型領域目前頭疼的長上下文效率問題，更重要的是，如果‘看’文本而不是‘讀’文本最終被確定為正確的方向，也意味著大模型的范式會發生重要的轉變。

GitHub 上，DeepSeek-OCR 項目一晚收獲了超過 4000 個 Star。

因為是開源的小模型，DeepSeek-OCR 第一時間經歷了整個 AI 社區的檢驗，很多大佬在看完論文之后紛紛發表了看法，興奮之情溢于言表。

OpenAI 聯合創始成員之一，前特斯拉自動駕駛總監 Andrej Karpathy 表示，它是一個很好的 OCR 模型。

他表示，作為一個本質上是研究計算機視覺，暫時偽裝成自然語言專家的人，他更感興趣的部分是：對于大語言模型來說，像素是否比文本更適合作為輸入？文本 token 在輸入端是否浪費資源，甚至很糟糕？

也許更合理的是，LLM 的所有輸入都應該是圖像。即使你碰巧有純文本輸入，也許你更愿意先渲染它，然后再輸入：

• 更多信息壓縮（參見論文） => 更短的上下文窗口，更高的效率

• 明顯更為通用的信息流 => 不僅僅是文本，還包括粗體文本、彩色文本、任意圖像。

• 現在可以輕松地使用雙向注意力來處理輸入，并且默認情況下，而不是自回歸注意力 - 功能更加強大。

• 刪除（輸入端的）分詞器！！我已經吐槽過我有多討厭分詞器了。分詞器很丑陋，獨立存在，而且不是端到端的。它‘導入’了 Unicode 和字節編碼的所有丑陋之處，繼承了大量歷史包袱，以及安全 / 越獄風險（例如連續字節）。它讓兩個肉眼看起來相同的字符在網絡內部看起來像兩個完全不同的 token。一個微笑的表情符號看起來像一個奇怪的 token，而不是…… 一個真正的笑臉，包括像素等等，以及它帶來的所有遷移學習。分詞器必須移除。

OCR 只是眾多有用的視覺-文本任務之一。文本-文本任務可以轉換為視覺-文本任務，反之則不行。

很多用戶信息都是圖像，但解碼器（智能助手的響應）仍然是文本。如何真實地輸出像素…… 或者說，如果你想要輸出像素，那就不那么明顯了。

紐約大學助理教授謝賽寧也發推對 Karpathy 的評論給予了高度評價，他尤其對其中‘作為一個本質上是研究計算機視覺，暫時偽裝成自然語言專家的人’這一句深感共鳴。

畢竟正是謝賽寧當年首次將 Transformer 架構與擴散模型相結合，提出了擴散 Transformer（DiT），為文生視頻開啟了新的道路。

也有研究者對 DeepSeek-OCR 這項研究的潛在意義進行了更引人入勝的解讀。

Emanuel 繼續寫道：傳統上，在多模態大語言模型中，視覺 token 幾乎像是事后添加的產物，或者說是‘外掛’在語言模型框架之上的功能。而如果用可識別的圖像像素形式來表示文本，那么一萬英文單詞在多模態 LLM 中所占的空間，將遠遠大于用文本 token 表示時的空間。

舉例來說，那一萬字的英文文本可能原本對應 15，000 個文本 token，但如果轉換成視覺 token，可能就會變成 30，000 到 60，000 個視覺 token。由此可見，視覺 token 的效率低得多，因此過去它們只適用于那些無法用文字有效表達的數據（例如圖像或視覺場景）。

但這篇論文的提出，顛覆了這一切。

DeepSeek 想出了一種方法，使得視覺 token 的壓縮效率比文本 token 高出 10 倍！

換句話說，原本需要 10，000 個單詞的文本，現在理論上只需約 1，500 個經過特殊壓縮的視覺 token 即可完整表示。

如果你想一想人類大腦的運作方式，這其實也并非完全出人意料。

畢竟，當我們回憶一本讀過的書的某一部分時，往往會以視覺的方式來定位：我們能記得那段內容在書的哪一頁、哪一側、頁面的大致位置，這說明我們的大腦在使用某種視覺記憶表征機制。

不過，目前還不清楚這種機制在 LLM 的下游認知能力中會如何表現。模型在使用這些壓縮后的視覺 token 時，是否還能像使用普通文本 token 那樣進行智能推理？或者，這種方式會不會讓模型變得不那么善于表達語言，因為它被迫更多地以視覺方式來思考？

無論如何，可以想見：根據實際的性能權衡，這可能成為一個極具潛力的新方向，用于大幅擴展模型的有效上下文長度（context size）。

尤其是如果與 DeepSeek 幾周前發布的另一篇關于稀疏注意力（sparse attention）的論文結合使用，前景將更加令人興奮。詳情可參閱機器之心報道《剛剛，DeepSeek 開源 V3.2-Exp，公開新稀疏注意力機制 DSA》。

他還提到：‘據我們所知，谷歌也可能早就發現了類似的技術，這或許能解釋為什么 Gemini 模型擁有如此巨大的上下文窗口，并在 OCR 任務上表現得又快又好。當然，如果他們真的做到了，可能也不會公開說明 —— 畢竟這會被視為核心商業機密。而 DeepSeek 的可貴之處在于：他們選擇了完全開源，包括模型權重與方法細節。這意味著，任何人都可以試驗、驗證并進一步探索這一突破。’

即使這些技巧可能讓注意力機制的表達變得略微‘有損’（lossy），但如果它能讓前沿級 LLM 擁有 一千萬甚至兩千萬 token 級別的上下文窗口，那無疑是令人振奮的。

設想一下：你可以把一家公司的所有關鍵內部文檔都塞進提示詞的前綴（prompt preamble）中，并緩存到 OpenAI 的系統里。之后只需在其上添加具體的問題或提示詞，無需搜索工具，就能快速且經濟地完成查詢。

或者，你可以將整個代碼庫都放入上下文中并緩存，每次修改時只需追加相當于 Git 有差異的部分內容。

他還表示：‘這讓我想起著名物理學家 Hans Bethe（漢斯?貝特） 的故事 —— 他以記憶力驚人著稱，能背下大量隨機的物理數據（例如整個元素周期表、各種物質的沸點等），因此在思考與計算時幾乎從不需要中斷去查閱資料。’

毫無疑問，擁有大量與任務相關的知識并能隨時調用，是極其強大的能力。而 DeepSeek 的這一方法，似乎正是一個聰明且可擴展的路徑，有望讓模型的‘工作記憶’容量提升 10 倍甚至更多。

在 Hacker News 等平臺上，DeepSeek-OCR 也引發了廣泛熱議。

Django Web 框架的聯合創建者 Simon Willison 甚至成功嘗試了讓 Claude Code 成功在英偉達 Spark 硬件上運行這個模型。整個過程僅使用了 4 個提示詞，時間也只不過 40 分鐘。

科技視頻播主 NiceKate AI 將成功將其部署到了 Mac 上。

不過，值得注意的是，有不少研究者指出，DeepSeek 新模型雖然在工程上取得了不可否認的巨大成功，但其核心方法思路并非首創。

事實上，早在 2022 年，哥本哈根大學等機構的論文《Language Modelling with Pixels》就已經提出了類似的思想。其中提出了基于像素的語言編碼器（Pixel-based Encoder of Language），簡稱 PIXEL，可望解決語言模型的詞匯瓶頸問題。

PIXEL 架構概況，來自論文《Language Modelling with Pixels》，arXiv：2207.06991

具體來說，PIXEL 是一種預訓練語言模型，可將文本渲染為圖像，從而能夠基于文字形態的相似性或像素共激活模式在不同語言之間實現表示的遷移。與傳統語言模型預測 token 分布的方式不同，PIXEL 的訓練目標是重建被遮蓋圖像塊的像素。

此后也有多篇研究成果對這一研究思路進行了發展和改進，至少包括：

• CVPR 2023 論文：CLIPPO： Image-and-Language Understanding from Pixels Only

• NeurIPS 2024 論文：Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning

• 2024 年論文：Improving Language Understanding from Screenshots

• NeurIPS 2025 論文：Vision-centric Token Compression in Large Language Model

不管怎樣，看起來 DeepSeek-OCR 確實是一個非常好用的模型，也已經有不少先行者開始用起來了：

當然，批評的聲音依然是存在的，比如現在 Meta 工作的前 OpenAI 和 DeepMind 研究者 Lucas Beyer 就毫不客氣地表示 DeepSeek-OCR 的方法并不存在漸進性，不像人類。

最后，在 DeepSeek-OCR 熱烈的討論人群中，也有一群外國人注意到了其論文中有趣的 Prompt 示例，在研究什么叫‘先天下之憂而憂，后天下之樂而樂’。

不論是對 AI 還是對外國人來說，理解準確的意思確實是個挑戰。

你是否已經嘗試過 DeepSeek-OCR 模型？又怎么看待其背后的‘以視覺方式壓縮一切’的研究思路？

關鍵詞：