較大的 MoE 模型可以在目標任務實現更優異的結果，而且無須為每個 Token 啟用 所有參數。
混合專家（或稱 MoE）模型以多個專門專家網路取代部分密集模型層。在密集模型中，層級中的每個參數都會參與每個 Token 的運算。在 MoE 模型中，路由器會評估當前 Token，並只挑選少數相關專家（通常稱為 Top-K 專家）。只有那些選定的專家才會為該 Token 執行運算。因此 MoE 模型擁有的總參數容量，遠遠超過它在任何時刻啟用的容量。視模型和工作負載而定，這可能會改善程式設計、推理、工具使用、多語表現或特定領域結果，而且無須大小相同密集模型的啟用運算量。
將完整模型保留在 aiDAPTIV 快取記憶體中，並僅將每個 Token 所需的專家換入統一記憶體。
Without aiDAPTIV, the whole AI model must load
into unified memory.
aiDAPTIV offloads the full MoE model to cache and swaps only the needed experts into memory.
Run the same MoE model in roughly half the unified memory – larger models become practical on AI PCs.
只有少數專家可以為特定 Token 進行運算，但完整的專家池仍必須在某處隨時可用。
總參數量達千億的模型，每個 Token 可能只有一小部分被啟用，其作用中的運算需求是可控的，但完整參數的記憶體占用量仍可能超過可用的 GPU 或統一記憶體。
這就是 MoE 的記憶體問題。
在支援的整合中，Pascari aiDAPTIV™ 讓作用中的專家靠近運算位置，同時將可用專家池延伸至 GPU 記憶體、系統記憶體與快取記憶體。
這樣就可以讓更大的稀疏模型適用於用戶端系統、工作站、邊緣部署或伺服器，否則這些系統無法在 GPU 或統一記憶體中容納完整的專家池。
有些任務重複使用一組類似的專家, 發生這種情況時，所需的專家工作集就能有更大一部分保留在靠近運算資源的地方。
有些任務則會在不同領域、語言、程式風格、工具或推理模式之間頻繁切換，短時間內需要更多不同的專家，記憶體系統之間的資料搬移量也隨之增加。
這是核心效能取捨。
互動式 AI 不會自動排除在外。適用性取決於體驗所需的專家區域性、平台配置與延遲一致性。
Disclaimer: When the router selects an expert already resident near compute, the model can continue with minimal additional data movement. When it selects an expert that must be brought forward from system memory or cache memory, computation waits for that expert to arrive.
The outcome depends on platform memory bandwidth, cache memory throughput, PCIe or interconnect bandwidth, model architecture, router behavior, expert locality, prompt diversity, and runtime implementation. A larger MoE is worth using only when its added capability matters to the task. aiDAPTIV expands model capacity; it does not guarantee the latency of a fully GPU-resident model.
English English 
繁體中文
简体中文
日本語
