DeepSeek開源新模型：用視覺模式實現(xiàn)上下文壓縮。

(資料圖片僅供參考)

10月20日，DeepSeek宣布開源最新大模型DeepSeek-OCR。所謂的OCR，據(jù)DeepSeek在論文中解釋稱，是通過光學(xué)2D映射壓縮長上下文可行性的初步研究。DeepSeek-OCR由兩部分組成：DeepEncoder和作為解碼器的DeepSeek3B-MoE-A570M。DeepEncoder作為核心引擎，設(shè)計為在高分辨率輸入下保持低激活，同時實現(xiàn)高壓縮比，以確保視覺tokens數(shù)量優(yōu)化且可管理。

通俗而言，這是一種視覺-文本壓縮范式，通過用少量的視覺token來表示原本需要大量文本token的內(nèi)容，以此降低大模型的計算開銷。

據(jù)公布的論文名單顯示，該項目由DeepSeek三位研究員Haoran Wei、Yaofeng Sun、Yukun Li共同完成，但這三位核心作者都頗為低調(diào)，其中一作作者Haoran Wei曾在階躍星辰工作過，曾主導(dǎo)開發(fā)旨在實現(xiàn)“第二代 OCR”的GOT-OCR2.0系統(tǒng)。

DeepSeek-OCR的架構(gòu)分為兩部分。一是DeepEncoder，一個專為高壓縮、高分辨率文檔處理設(shè)計的視覺編碼器；二是DeepSeek3B-MoE，一個輕量級混合專家語言解碼器。這款剛開源不久的新模型，發(fā)布后就得到海外科技媒體廣泛贊美，有網(wǎng)友盛贊：“這是AI的JPEG時刻。”

前特斯拉AI總監(jiān)、OpenAI創(chuàng)始成員安德烈·卡帕西(Andrej Karpathy)在社交媒體高度評價DeepSeek的新模型，他表示，自己相當(dāng)喜歡新的DeepSeek-OCR論文，“它是一個很好的OCR模型（可能比dots稍微差一點），是的，數(shù)據(jù)收集等等，但無論如何都不重要。對我來說更有趣的部分（尤其是作為一個以計算機視覺為核心，暫時偽裝成自然語言的人）是像素是否比文本更適合作為LLM的輸入。作為輸入，文本標記是否浪費且糟糕。”

根據(jù)他的設(shè)想，或許所有LLM的輸入都只應(yīng)該是圖像。即便是純文本內(nèi)容，也應(yīng)該先渲染成圖片再輸入給模型，其中理由包括：信息壓縮效率更高、像素更通用、支持雙向注意力、可淘汰存在安全隱患的分詞器（Tokenizer）。

特斯拉創(chuàng)始人馬斯克（Elon Musk）也現(xiàn)身評論區(qū)，并表示：“從長遠來看，AI模型超過99%的輸入和輸出都將是光子，沒有其他任何東西可以規(guī)模化。”

知名科技媒體《麻省理工科技評論》解釋稱，DeepEncoder是整個系統(tǒng)的關(guān)鍵所在。它的設(shè)計目標在于，在處理高分辨率輸入圖像的同時，保持較低的激活內(nèi)存，并實現(xiàn)極高的壓縮比。為達到這一目的，DeepEncoder融合兩種成熟的視覺模型架構(gòu)：SAM（Segment Anything Model）和 CLIP（Contrastive Language–Image Pre-training）。前者以窗口注意力機制（window attention）見長，擅長處理局部細節(jié)，構(gòu)成編碼器的前半部分；后者則依賴密集的全局注意力機制（global attention），能夠捕獲整體知識信息。

《麻省理工科技評論》表示，除了文本識別性能，DeepSeek-OCR還具備較強的“深度解析”能力。這得益于其訓(xùn)練數(shù)據(jù)中包含了圖表、化學(xué)分子式、幾何圖形等多樣化的視覺內(nèi)容。因此，模型不僅能識別標準文本，還能對文檔中嵌入的復(fù)雜元素進行結(jié)構(gòu)化解析。例如，它可以將報告中的圖表轉(zhuǎn)換為表格數(shù)據(jù)，將化學(xué)文獻中的分子式輸出為SMILES格式，或解析幾何圖形中的線段關(guān)系。這種超越傳統(tǒng)文本識別的能力，拓展了其在金融、科研、教育等專業(yè)領(lǐng)域的應(yīng)用空間。

DeepSeek介紹，實驗表明，當(dāng)文本tokens數(shù)量在視覺tokens的10倍以內(nèi)（即壓縮比<10×）時，模型可達到97%的OCR精度。即使在20×壓縮比下，OCR精度仍保持在約60%。這為歷史長上下文壓縮和LLM中的記憶遺忘機制等研究領(lǐng)域展示可觀前景。

DeepSeek-OCR還初步驗證上下文光學(xué)壓縮的可行性，證明模型可以從少量視覺tokens中有效解碼超過10倍數(shù)量的文本tokens。DeepSeek-OCR也是一個高度實用的模型，可大規(guī)模生產(chǎn)預(yù)訓(xùn)練數(shù)據(jù)，“未來，我們將進行數(shù)字-光學(xué)文本交錯預(yù)訓(xùn)練、大海撈針測試等進一步評估，繼續(xù)推動這一有前景的研究方向。”

據(jù)海外科技媒體分析，研究團隊表示，在基準測試中，DeepSeek-OCR優(yōu)于多個主流模型，且使用的視覺tokens數(shù)量少得多。此外，單張A100-40G GPU每天可生成超過20萬頁的訓(xùn)練數(shù)據(jù)，可為大型語言模型和視覺-語言模型的開發(fā)提供支持。

前網(wǎng)易副總裁、杭州研究院執(zhí)行院長汪源發(fā)文表示，DeepSeek-OCR模型是一個專門能“讀懂”圖片里文字的AI模型。但厲害的地方不是簡單“識字”，是采用了一種非常新穎的思路：把文字當(dāng)成圖片來處理和壓縮。

汪源認為，可以把它想象成一個超級高效的“視覺壓縮器”，傳統(tǒng)的AI模型是直接“讀”文本，但 DeepSeek-OCR 是先“看”文本的圖像，然后把一頁文檔的圖片信息高度壓縮成很少的視覺tokens。DeepSeek-OCR的能力強在能把一篇1000字的文章，壓縮成100個視覺tokens。在十倍的壓縮下，識別準確率可以達到96.5%。