大腦中的多維度壓縮與抽象儲存

編碼流形：大腦中的多維度壓縮與抽象儲存

摘要

人腦擅長將高維度、時間結構化的感官輸入（例如視覺場景，即圖像空間）轉換為緊湊、通用和可檢索的抽象知識。這個過程本質上是多維度資訊壓縮的實踐，從高冗餘的感官編碼轉向低維度的神經流形。本綜述綜合了當前的神經科學和理論發現，探討了這種非凡成就的機制。我們討論了視覺皮層的層級組織、海馬體在將抽象概念映射到空間或時間坐標（認知地圖）中的關鍵作用，以及支撐跨模態神經壓縮的高效編碼的普遍原理。我們認為，大腦「最佳」的壓縮策略是一種有損的、目標導向的降維，它通過稀疏編碼、時間冗餘消除和模式匹配/統一（ICMUP）等原理實現。理解這種神經壓縮——它優先考慮實用性和泛化能力而非保真度——對於彌合感知與高階認知之間的鴻溝至關重要。

 

1. 導論：從像素到原理

 

無論是生物還是人工智慧系統，其面臨的根本挑戰都是管理從環境中接收到的海量資訊洪流。一個單一的視覺場景（圖像空間）包含數百萬個數據點（像素），而一生的經驗構成了天文數字般龐大、高維度的數據集。然而，人腦能夠無縫且快速地將這種感官複雜性編碼成有限、壓縮和功能性的結構，我們稱之為記憶和抽象知識。

這種轉變——從感官空間到抽象空間——並非簡單的數據歸檔過程，而是一種複雜的多維度壓縮形式。它涉及將高維度輸入投射到一個較低維度的神經流形上，這個流形在丟棄統計冗餘和與任務無關的雜訊的同時，保留了語義和關係結構。本綜述將探討指導這種壓縮的神經架構和計算原理，重點關注視覺系統和抽象關係資訊的儲存。

 

2. 視覺資訊壓縮的神經層級

 

圖像的處理始於視網膜（光的強度二維陣列），並通過公認的皮層層級逐步發展，通常被稱為腹側流（「是什麼」通路）和背側流（「在哪裡/如何」通路）。這一通路是大腦執行序列化、多維度壓縮的規範機制。

 

2.1. 視覺皮層中的特徵提取與稀疏性（V1-V4）

 

視覺皮層的早期階段（V1、V2）實現了被稱為稀疏編碼和**獨立成分分析（ICA）**的機制，這最早由奧爾紹森（Olshausen）和菲爾德（Field）等理論家提出。

• 壓縮機制：稀疏編碼。 在 V1 中，神經元不會對單個像素做出反應，而是對簡單的局部特徵（如定向邊緣、光柵或角落）做出反應。這種編碼是稀疏的，因為在任何給定時間，只有一小部分 V1 神經元處於活躍狀態。
• • 原理： 稀疏表示在計算上是高效的（最大限度地減少能量消耗），並且在統計上是有效的，因為它增強了複雜模式的可分離性（正交化）。通過使用局部特徵的基集，高維度的原始圖像被壓縮成一組小得多的活躍特徵檢測器。
• 降維： 隨著資訊從 V1 傳遞到 V4，感受野逐漸增大，對更複雜的形狀、顏色和紋理的選擇性增加，並且對位置和尺度的微小變化具有不變性。這種不變性的增加是一種有損壓縮形式，其中犧牲了位置維度以換取沿著物體身份維度的選擇性。

 

2.2. 顳下皮層（IT）中的物體與身份不變性

 

腹側流的最後階段，即顳下皮層（IT），儲存了高度壓縮和抽象的視覺表徵——物體身份。

• 壓縮機制：不變性。 IT 神經元通常表現出極高的選擇性，對特定物體（例如，一張特定的臉或手形）做出穩健反應，無論其大小、在視網膜上的位置或光照條件如何。
• • 產生的流形： IT 中的表徵空間被認為是一個低維度流形，其中兩個物體編碼點之間的距離對應於它們的語義差異，而不是它們的像素級差異。整個「貓圖像」類別在這個多維度空間中被壓縮成一個緊密的簇，遠離代表「椅子圖像」的簇。這是一種以識別為優化目標的目標導向壓縮。

 

3. 海馬體：抽象事物的空間化

 

抽象和關係資訊（定義高階認知的概念、敘事和情境事實）的儲存，在很大程度上依賴於海馬體（HF），這是一個傳統上與情節記憶和空間導航相關的結構。最近的研究結果表明，海馬體的主要作用是為所有類型的知識提供一個廣義的多維度坐標系。

 

3.1. 認知地圖：通過關係坐標進行壓縮

 

位置細胞（編碼特定空間位置）和網格細胞（編碼一個獨立的六邊形坐標系）在內嗅皮層（EC）和海馬體（HPC）中的開創性發現，為空間認知提供了神經基礎。新興的假設是，這種空間映射被泛化到抽象概念，從而形成了認知地圖。

• 壓縮機制： 大腦壓縮抽象知識（例如，社會等級、音樂中的音調關係、生物學中的系統發育關係），不是通過儲存詳盡的事實清單，而是通過將這些概念映射到 HPC-EC 系統內的關係維度上。
• • 流形： 「社會地位」的概念可能被映射到一個連續的軸上，就像物理空間中的南北線一樣。導航一個人的社會世界，就好比 HPC 在抽象的社會地圖上執行路徑整合。
• 內嗅皮層（EC）的作用： EC 為這種抽象空間提供了「網格」或度量標準。通過重用空間編碼方案——這對於度量壓縮和外推是高效的——大腦可以將導航原理泛化到抽象的問題解決。這是一種優雅的表徵經濟形式；一個穩健的多維度坐標系被跨領域重用。

 

3.2. 時間壓縮與序列編碼

 

海馬體對於編碼和壓縮序列資訊也至關重要，這是一種線性形式的數據，隨後被嵌入到多維度情境中。

• 時間細胞： HPC 神經元被稱為「時間細胞」，它們在時間延遲期間按順序放電，為情節中時間的流逝提供了一個壓縮、有序的編碼。這將一個連續的、線性維度（時間）轉換為一個可分離的多維度編碼。
• 序列可塑性： 研究表明，雖然單個視覺圖像儲存在視覺皮層中，但圖像序列的識別和回憶關鍵依賴於 HPC。海馬體負責影響皮層可塑性，以確保時間關係（線性順序）被壓縮並作為一個連貫的情節流形儲存在皮層中。

 

4. 廣義多維度壓縮的原理

 

除了特定的腦區，一般的計算原理也指導著大腦在所有模態（視覺、聽覺、語言、動作）中的資訊壓縮。這些原理都以高效編碼為目標：在最大限度地減少代謝和儲存成本的同時，最大限度地增加有用資訊。

 

4.1. 模式匹配與統一資訊壓縮原理（ICMUP）

 

廣義壓縮的一個核心理論框架是 ICMUP 原理，它假設模式識別、學習和推理是通過資訊壓縮統一的。

• 機制：模式統一。 大腦不斷地搜索新的感官輸入（「新模式」）與儲存知識（「舊模式」）之間的完全或部分匹配。一旦找到匹配，系統就會合併或「統一」這些模式，從而允許長期記憶只儲存差異（創新元素）和指向現有泛化模式的指標。
• • 示例： 學習一種新的狗品種，只需要儲存其獨特的特徵和指向先前存在的、高度壓縮的「狗」概念的指標，而不是從頭開始儲存所有視覺和概念特徵。這是在複雜、多維度概念上應用類似無損壓縮算法字典查找的神經等價物。
• 結果： 這種機制自動生成層級式的多維度結構，其中低階特徵被統一為物體，物體被統一為類別，類別被統一為抽象圖式。抽象本身就是終極的壓縮表示。

 

4.2. 目標導向的降維

 

與許多旨在最小化損失的理論壓縮方案（例如，數據壓縮標準）不同，生物壓縮是明確的有損和目標導向的。大腦通過篩選掉與當前任務或生存目標不相關的特徵，積極地執行降維。

• 機制：注意力和過濾。 前額葉皮層（PFC）和腹內側前額葉皮層（vmPFC）等結構與這種過濾過程有很大關係。在概念學習期間，vmPFC 會壓縮沿著不相關特徵維度的方差，確保最終的記憶流形只強調預測結果或類別成員資格的特徵。
• • 甜蜜點： 神經壓縮的「甜蜜點」不是最大程度的壓縮，而是最佳實用性。最終的壓縮向量（神經流形）必須足夠低維度以實現快速處理，但又必須足夠高維度以支持穩健的泛化和對未來任務的區分。
• 內在維度： 最近對神經網路和大腦活動（例如，腦電圖記錄）的研究表明，人工和生物系統都傾向於位於均勻低維度流形上的表徵。這種低內在維度簡化了問題空間，增加了插值的可能性，並允許系統將新樣本泛化為現有數據的凸組合，從而以最小的資源成本最大化認知性能。

 

4.3. 消除冗餘：時間與統計

 

效率要求消除統計冗餘和時間冗餘。

• 統計冗餘： 早期感官處理（例如，V1）解相關（decorrelate）統計相關的輸入信號（如相鄰像素之間的高度相關性），確保每個活躍神經元攜帶最大的新穎資訊。
• 時間冗餘： 大腦不會儲存世界連續的、逐幀的記錄。相反，它採用類似於視訊壓縮（MPEG）的機制。它主要傳輸和儲存有關變化或運動估計的資訊，而不是一個時刻到下一個時刻的靜態、冗餘細節。海馬體時間細胞的機制（僅在特定的時間點放電）是離散化和壓縮連續時間流的一個例子。

 

5. 對記憶、檢索和泛化的影響

 

多維度壓縮機制決定了記憶本身的性質。

 

5.1. 建構性與重構性記憶

 

由於記憶是以高度壓縮、低維度和層級化的形式儲存的（ICMUP），檢索本質上是重構的。大腦不會拉出事件確切的「底片」。相反，它會激活相關的壓縮抽象圖式（例如，「圖書館」的概念），並利用該流形，根據先驗知識和情境填補缺失的細節。這解釋了為什麼人類記憶極易出錯，但同時卻對泛化極為高效和強大。

 

5.2. 語義梯度

 

壓縮過程創建了一個從感官保真度到抽象意義的梯度：

腦區	表徵類型	壓縮目標	保真度/抽象性
V1	視網膜拓撲邊緣、局部特徵	消除統計冗餘	高保真度，低抽象性
IT 皮層	不變的物體身份	對位置/尺度的不變性	有損保真度，高抽象性
海馬體/EC	抽象/關係坐標（地圖）	關係壓縮、泛化	低保真度，極高抽象性

這個語義梯度確保了最持久和可轉移的資訊——抽象原理和關係——以最高度壓縮的多維度形式（HPC 的抽象流形）儲存，而高保真度的感官細節則迅速丟失或暫時儲存在皮層網絡中。

 

6. 結論：智能的流形

 

將線性、高維度的視覺流（圖像空間）轉換為緊湊、多維度的抽象知識是生物智能的標誌。這個過程不是通過單一算法實現的，而是通過壓縮機制的多個層級協同作用：

1. 早期感官壓縮使用稀疏編碼和 ICA 來消除統計冗餘並提取局部特徵。
2. 腹側流中的感知壓縮使用不變性將視覺數據映射到低維度的物體身份流形上。
3. 海馬體中的抽象壓縮使用空間/時間坐標系（認知地圖）通過高效的多維度度量來表示複雜的關係知識。
4. 廣義學習由 ICMUP 原理驅動，創建了一個層級式的儲存結構，優先考慮模式統一和泛化而非數據保真度。

由此產生的壓縮表徵——神經流形——是認知的核心引擎，它優先考慮實用性和泛化能力。未來的研究必須繼續探索這些神經流形的精確數學結構，特別是大腦如何動態地調整壓縮程度（內在維度）以最大限度地提高跨多樣化、複雜和不斷發展的任務的性能。大腦的壓縮策略為設計未來真正可泛化的人工智慧系統提供了深刻的教益。