當Ilya Sutskever近揭露聲稱“純靠Scaling Law的年代已經結束”，并斷言“大模型的未來不在于單純的規劃更大，而是要架構變得更聰明”時，整個AI界都意識到了一場范式搬運正在發生。

由于曩昔幾年，行業好像沉迷于用更多數據、更大參數、更強算力堆出更強的模型，但這條路正迫臨收益遞減的臨界點。

Ilya和LeCun等頂尖AI大佬不約而同地指出：真實的打破，有必要來自架構層面的根本性立異，而非對現有Transformer流水線的修修補補。

就在如此要害節點，一個來自我國研討團隊的新物種橫空出世：

全球首個可大規劃落地的開源原生多模態架構（Native VLM），名曰NEO。

要知道，此前干流的多模態大模型，例如咱們熟悉的GPT-4V、Claude 3.5等，它們的底層邏輯實質上其實玩的便是拼接。

什么意思呢？

便是將一個預練習好的視覺編碼器（比方 ViT）經過一個小小的投影層，嫁接到一個強壯的大言語模型上。

這種模塊化的方式雖說是完成了多模態，但視覺和言語始終是兩條平行線，只是在數據層面被粗暴地拉到了一起。

而這項來自商湯科技與南洋理工大學等高校的聯合研討，要做的便是從根上顛覆這一切。

在NEO這兒，大模型不只能看、會說，而且天生就懂視覺和言語是一體兩面的道理。

更驚人的一組數據是，憑借這種原生多模態架構，NEO僅用十分之一的練習數據，就在多項要害評測中追平乃至逾越了那些依賴海量數據和雜亂模塊堆砌的旗艦級對手！

那么NEO到底是怎樣怎么做到的，咱們繼續往下看。

為什么非得是原生架構？

在深入了解原理之前，咱們還需求了解多模態當時的現狀。

正如咱們方才提到的，當時干流的模塊化架構，實則存在三大難以跨越的技能距離。

首先是功率距離。

模塊化模型的練習流程極端雜亂，一般分為三步：先分別預練習視覺編碼器和言語模型，再經過一個對齊階段讓二者學會溝通，后可能還需求指令微調。

這個過程不只耗時耗力，本錢高昂，而且每個階段都可能引入新的誤差和不一致性；視覺和言語的常識被割裂在不同的“房間”里，需求不斷“傳紙條”才干勉強協作。

其次是才能距離。

視覺編碼器在規劃之初就帶有激烈的歸納偏置。比方，它一般要求輸入圖畫有必要是固定的分辨率（如224x224），或許有必要被強行展平成一維的token序列。

這種處理方式，關于了解一幅畫的全體構圖或許足夠，但在面臨需求捕捉細微紋理、雜亂空間聯系或恣意長寬比的場景（比方一張長圖、一張工程圖紙）時，就顯得力不從心。

由于模型看到的，只是一個被過度簡化和結構化的骨架。

后是交融距離。

那個銜接視覺和言語的映射，簡直都是停留在簡略的表層，無法觸及深層次的語義對齊。這就導致了模型在處理需求細粒度視覺了解的任務時常常捉襟見肘。

例如，讓它描繪一張雜亂圖表，它可能會混淆圖例和數據；讓它了解一個帶有空間指示的指令，比方“把左面第二個紅蘋果放到右邊籃子里”，它可能會搞錯左右或數量。

究其根本，是由于在模型內部，視覺信息和言語信息從未被放在同一個語義空間里進行真實的、深度交融的推理。

也正因如此，NEO背面研討團隊從第一性原理動身，直接打造一個視覺與言語從誕生之初就血脈相連的一致模型——

這個模型不再有視覺模塊和言語模塊的區分，只要一個一致的、專為多模態而生的大腦。

回憶AI發展史，從RNN到Transformer，每一次真實的騰躍都源于架構層面的根本性立異。

而曩昔幾年，行業陷入了“唯規劃論”的路徑依賴，直到今日，以Ilya為代表的一批頂尖研討者才集體發出警示：Transformer架構的固有局限已日益凸顯，僅靠堆疊算力和數據，無法通往真實的通用智能。

NEO的誕生，恰逢其時。它用一個簡練而一致的原生架構，有力地證明晰：下一代AI的競爭力，要害在于架構有多聰明。

NEO背面的三大原生技能

NEO 的核心立異，體現在三個底層技能維度上，它們一起構建了模型的原生才能。

第一，原生圖塊嵌入 (Native Patch Embedding)。

傳統模型常預先采用離散的tokenizer或許銜接vision encoder壓縮圖畫信息或語義token。

NEO則是直接摒棄了這一步，它規劃了一個輕量級的圖塊嵌入層，經過兩層卷積神經網絡，直接從像素動身，自底向上地構建一個接連的、高保真的視覺表征。

這就像讓AI學會了像人類一樣，用眼睛直接感受光影和細節，而不是先看一張被馬賽克化的抽象圖。

這種規劃讓模型能更精細地捕捉圖畫中的紋理、邊際和部分特征，從根本上打破了干流模型的圖畫建模瓶頸。

第二，原生三維旋轉方位編碼 (Native-RoPE)。

方位信息關于了解任何序列都至關重要。文本是一維的，而圖畫是二維的，視頻更是三維的（時空）。傳統模型要么給所有模態用同一個一維方位編碼，要么簡略地拼接，這顯然無法滿意不同模態的天然結構。

NEO的Native-RoPE立異性地為時間（T）、高度（H）、寬度（W）三個維度分配了不同的頻率：視覺維度（H, W）使用高頻，以精準描寫部分細節和空間結構；文本維度（T）兼顧高頻和低頻，同時處理好部分性和長距離依賴。

更奇妙的是，關于純文本輸入，H和W的索引會被置零，完全不影響原有言語模型的功能。

這相當于給AI裝上了一個智能的、可自適應的時空坐標系，不只能精準定位圖畫中的每一個像素，也為無縫擴展到視頻了解和3D交互等雜亂場景鋪平了道路。

第三，原生多頭留意力 (Native Multi-Head Attention)。

留意力機制是大模型的考慮方式，在傳統模塊化模型里，言語模型的留意力是因果的（只能看到前面的詞），而視覺編碼器的留意力是雙向的（能看到所有像素）。

NEO采取的方法，則是在一個一致的留意力框架下，讓這兩種形式并存。

當處理文本token時，它遵循規范的自回歸因果留意力；而當處理視覺token時，它則采用全雙向留意力，讓所有圖畫塊之間能夠自由地交互和關聯。

這種“左右腦協同工作”的形式，極大地提升了模型對圖畫內部空間結構的了解才能，從而能更好地支撐雜亂的圖文交織推理，比方了解“貓在盒子上方”和“貓在盒子里”的細微差別。

除了這三大核心，NEO還配套了一套名為Pre-Buffer & Post-LLM的雙階段交融練習戰略。

在預練習初期，模型會被暫時劃分為兩部分：一個擔任視覺言語深度交融的Pre-Buffer和一個繼承了強壯言語才能的Post-LLM。

前者在后者的引導下，從零開始高效地學習視覺常識，建立初步的像素-詞語對齊；而且跟著練習的深入，這個劃分會逐漸消失，整個模型融為一個端到端的、不可分割的全體。

這種戰略便奇妙地處理了原生架構練習中怎么在不危害言語才能的前提下學習視覺的難題。

十分之一的數據，追平旗艦

紙上談兵終覺淺，實測數據見分曉。接下來咱們就來看下NEO在實測中的體現。

縱觀成果，直觀的體現便是數據功率——

NEO僅使用了3.9億個圖畫文本對進行練習，這個數量級僅僅是同類尖端模型所需數據的十分之一！

它無需依賴巨大的視覺編碼器或海量的對齊數據，僅憑其簡練而強壯的原生架構，就在多項視覺了解任務上追平了 Qwen2-VL、InternVL3等尖端模塊化旗艦模型。

在權威的評測榜單上，NEO的體現也是較為亮眼。

在MMMU（多學科歸納了解）、MMBench（歸納多模態才能）、MMStar（空間與科學推理）、SEED-I（視覺感知）以及POPE（衡量模型幻覺程度）等多個要害基準測驗中，NEO均取得了高分，展現出優于其他原生VLM的歸納功能，真實做到了精度無損。

尤其值得留意的是，當時NEO在2B到8B的中小參數規劃區間內，展現出了較高的推理性價比。

關于動輒數十B乃至上百B的大模型來說，這些中小模型好像只是玩具。但正是這些模型，才是未來在手機、機器人、智能轎車等邊際設備上落地的要害。

NEO不只在這些規劃上完成了精度與功率的雙重躍遷，更大幅降低了推理本錢。

這意味著，強壯的多模態視覺感知才能，將不再是云端大模型的專屬，而是能夠真實遍及到每一個終端設備上。

怎么評價NEO？

后，咱們還需求討論一個問題：NEO有什么用？

從咱們上述的內容不難看出，NEO真實的價值，不只在于功能指標的打破，更在于它為多模態AI的演進指明晰一條新路徑。

它原生一體化的架構規劃，從底層打通了視覺與言語的語義距離，天然支持恣意分辨率圖畫、長圖文交織推理，并為視頻了解、3D空間感知乃至具身智能等更高階的多模態交互場景預留了明晰的擴展接口。

這種為交融而生的規劃哲學，能夠讓它成為構建下一代通用人工智能體系的抱負底座。

更要害的是，商湯已開源基于NEO架構的2B與9B兩種標準模型，釋放出激烈的共建信號。

這一行動有望推動整個開源社區從當時干流的模塊拼接范式，向更高效、更一致的原生架構搬遷，加快形成新一代多模態技能的事實規范。

與此同時，NEO在中小參數規劃下展現出的性價比，正在打破大模型壟斷高功能的固有認知。

它大幅降低了多模態模型的練習與部署門檻，使得強壯的視覺了解才能不再局限于云端，而是能夠真實下沉到機器人、智能轎車、AR/VR 眼鏡、工業邊際設備等對本錢、功耗和推遲高度敏感的終端場景。

從這個角度看，NEO不只是一個技能模型，更是通向下一代普惠化、終端化、具身化AI基礎設施的要害雛形。

更重要的是，NEO的出現，為當時迷茫的AI界提供了一個明晰而有力的答案。

在Ilya等人一起指出行業亟需新范式的當下，NEO以其完全的原生規劃理念，成為了“架構立異重于規劃堆砌”這一新趨勢的首個成功典范。

它不只從頭定義了多模態模型的構建方式，更向國際宣告：AI的下一站，是回歸到對智能實質的探索，經過根本性的架構立異，去構建能真實了解并融通多維信息的通用大腦。

這一步，是我國團隊對全球AI演進方向的一次要害性貢獻�；蛉珙A言，這正是通往下一代AI的必經之路。