aiDAPTIV TM

更快速的 AI 推論效能與更大規模的 LLM 訓練,全程於本地部署(On-Prem)私有環境完成

概覽

當記憶體成為限制時,光有算力並不夠

現代 AI 經常在運算資源耗盡之前,就已經觸及記憶體瓶頸。

Pascari aiDAPTIV™ 是專為 AI 系統打造的 Phison 解決方案,範圍涵蓋用戶端 PC 與工作站,以及邊緣部署和伺服器。它結合了 aiDAPTIV 中介軟體與 aiDAPTIV 快取記憶體,跨 GPU 記憶體、系統記憶體與專用快閃容量層,擴充可用的 AI 記憶體。

執行更大的模型。保留更多上下文。

AI 工作負載需要的記憶體超乎預期

當記憶體受到限制時,上下文會被截斷、想用的模型載不進去,或系統得反覆重算已取得的資訊,導致throughput 大幅下降

模型權重在處理第一個提示之前,就已經占用記憶體容量。

KV 快取會隨對話、文件與檢索到的上下文而增長。 

Agent工作流程在許多步驟傳遞指令、工具、觀察結果和工作產出。

MoE 模型需要完整的專家池隨時可用,即使每個 Token 僅會啟用其中一部分專家。

微調會增加梯度、optimizer 狀態、活化值與訓練資料。

當記憶體受到限制時,上下文會被截斷、想用的模型載不進去,或系統得反覆重算已取得的資訊,導致throughput 大幅下降

為 AI 資料打造的記憶體系統

aiDAPTIV 中介軟體

aiDAPTIV 中介軟體可協助受支援的執行環境,讓使用中的 AI 狀態留在最快、離運算最近的那一層,將較不活躍的狀態保留在較大的記憶體層,並在再次需要時將其調回。

aiDAPTIV 快取記憶體

aiDAPTIV 快取記憶體是專用的快閃記憶體容量層,用於保存無法長期留在高速記憶體中的 AI 狀態,以免排擠更即時的工作。 

記憶體層
主要角色
典型資料範例 
GPU 記憶體或統一記憶體
即時運算
使用中的模型狀態、KV 快取與 MoE 專家,以及當前訓練層
系統記憶體
獨立 GPU 系統的暫存與擴充容量
預取的資料、中間快取、可能很快就需要的狀態
aiDAPTIV 快取記憶體
保留的容量
較少使用的 KV 快取、低活躍度專家、暫存的模型或訓練資料
Memory Tier

GPU 記憶體或統一記憶體

主要角色

即時運算

典型資料範例 

使用中的模型狀態、KV 快取與 MoE 專家,以及當前訓練層

Memory Tier

系統記憶體

主要角色

Staging and expanded capacity on
discrete-GPU systems

典型資料範例 

Prefetched data, intermediate cache, state likely to be needed soon

Memory Tier

aiDAPTIV 快取記憶體

主要角色

保留的容量

典型資料範例 

較少使用的 KV 快取、低活躍度專家、暫存的模型或訓練資料

aiDAPTIV 能實現什麼

保留更多上下文
在本機執行更大的模型
在本機微調更大的模型
發生了什麼事?
從這裡開始

冗長的提示、RAG 或重複的文件都會使首個 Token 延遲(TTFT)過長 

稀疏的 MoE 模型放不進可用記憶體

微調因記憶體不足錯誤而中止 

模型或整體上下文放不下,但不確定是哪一層記憶體的限制 

以 aiDAPTIV 打造

打造 AI 應用程式?
打造平台或系統?
尋找技術細節?
尋找預先組裝的工作站?

探索 Newegg 上搭載 aiDAPTIV的 ABS 系統。 

SEAMLESS INTEGRATION

  • Optimized middleware to extends GPU memory capacity
  • 2x 2TB aiDAPTIVCache to support 70B model
  • 低延遲

HIGH ENDURANCE

  • 業界領先,高達100次的五年內每日寫入次數(DWPD)
  • 採用業界先進NAND 糾錯算法的SLC NAND

aiDAPTIV+ BENEFITS

  • 隨插即用,無縫整合
  • 無需修改現有 AI 應用
  • Reuse existing HW or add nodes

aiDAPTIV+ MIDDLEWARE

  • 模型自動分割與 GPU 資源調度
  • Hold pending slices on aiDAPTIVCache
  • Swap pending slices w/ finished slices on GPU

FOR SYSTEM INTEGRATORS

  • Access to ai100E SSD
  • Middleware library license

  • Full Phison support to bring up