aiDAPTIV TM

更快速的 AI 推論效能與更大規模的 LLM 訓練,全程於本地部署(On-Prem)私有環境完成

aiDAPTIV 快取記憶體

aiDAPTIV 
Cache Memory

SSD 是 AI 記憶體系統的一部分 

Pascari aiDAPTIV™ 快取記憶體是 aiDAPTIV 記憶體架構中的快取記憶體容量層。 

GPU 記憶體、統一記憶體或系統記憶體受限時,它可與 aiDAPTIV Middleware 配合使用,保留符合條件的 AI 狀態。根據工作負載與執行時間,該狀態可能包括 KV 快取、較少使用的 MoE 專家、模型資料與訓練狀態。 

這不是一般的溢出儲存。aiDAPTIV 快取記憶體仍然是作用中 AI 工作流程的一部分,將有用的狀態保留在更大容量的層級中,而不是將其丟棄並在日後重新建構。 

aiDAPTIV Cache Memory system

控制器與韌體為什麼重要 

aiDAPTIV 快取記憶體不僅與快閃記憶體容量有關。 

SSD 控制器與韌體影響SSD 處理持續寫入、延遲變化、磨損管理、資料配置、復原行為,以及工作負載間的競用。SSD 當成 AI 記憶體層而非被動儲存空間時,這些特徵尤為重要。 

Phison 開發了控制器、韌體、NAND 配置,與aiDAPTIV 中介軟體堆疊,作為更廣泛解決方案的一部分。這樣一來,平台可讓 SSD 行為與 AI 快取工作負載的持續資料移動與耐久度需求相符。 

我們的目標不是讓快閃記憶體獲得 GPU 記憶體的效能。目標是提供耐用且可預測的較低層級,在高速記憶體有限時保留有用的 AI 狀態。 

專為持續的 AI 快取活動而打造 

AI 記憶體流量與一般檔案儲存不同。 

通用 SSD 通常會針對作業系統、應用程式、使用者檔案與間歇儲存活動配置容量並調校。工作負載在記憶體階層流動時,
AI 快取層可能反覆保留、更新、逐出、還原並覆寫資料。 

這可能包括長上下文 KV 快取、檢索到的 RAG 資料、不常使用的 MoE 專家、模型層資料、啟用值,以及其他訓練狀態。 

因此,耐久度是架構的一部分,而不是次要規格。

aiDAPTIV 快取記憶體採用高耐久度快閃記憶體、專用的 SSD 設計,以及進階 NAND 校正,針對持續的 AI 快取活動而設計。產品層級的耐久度與保固規格會因 SKU 而異。

兩種部署 aiDAPTIV
快取記憶體的方法 

aiDAPTIV 快取記憶體提供兩種部署模型: 

專用 aiDAPTIV 快取記憶體 SSD 
專用 aiDAPTIV 快取記憶體 SSD 為 AI 工作負載提供專屬的 SSD 容量。 

這種配置適用於具備可用 M.2、U.2、E1.S 或 E3.S 插槽的系統,AI 快取活動應與作業系統、應用程式檔案與使用者資料隔離。 

專用 aiDAPTIV 快取記憶體適用於大型保留工作集,包括長上下文推論、重複的 RAG 或程式設計上下文、大型 MoE 專家池,以及受記憶體限制的微調。

Product family 
Interface 
Form factors 
Capacity shown in roadmap 
AI100E 
PCIe 4.0 
M.2 2280, U.2, E1.S 
320 GB 到 2 TB 
AI200E 
PCIe 5.0 
U.2, E3.S 
2 TB 到 8 TB 
AI250E 
PCIe 5.0 
M.2 2280 
2 TB 
AI20E
PCIe 5.0 
M.2 2280 
320 GB 與 1 TB 

Product family 

AI100E 

Interface 

PCIe 4.0 

Form factors 

M.2 2280, U.2, E1.S 

Capacity shown in roadmap 

320 GB 到 2 TB 

Product family 

AI200E  

Interface 

PCIe 5.0 

Form factors 

U.2, E3.S 

Capacity shown in roadmap 

2 TB 到 8 TB 

Product family 

AI250E

Interface 

PCIe 5.0 

Form factors 

M.2 2280 

Capacity shown in roadmap 

2 TB 

Product family 

AI20E 

Interface 

PCIe 5.0 

Form factors 

M.2 2280 

Capacity shown in roadmap 

320 GB 與 1 TB 

儲存 + 快取混合式 SSD 

混合配置將傳統儲存空間與 aiDAPTIV 快取記憶體整合到同一顆 SSD 上。 

作業系統、應用程式與使用者檔案都會使用儲存空間。aiDAPTIV 則把配置給快取的容量用於符合條件的 AI 狀態。 

對於 AI PC、筆記型電腦、Mini PC、小型桌上型電腦,以及其他可能沒有第二個SSD插槽的系統來說,這是相當實用的選擇。

Product family 
Interface 
Form factors 
Capacity shown in roadmap 
AI20EH 
PCIe 5.0 
M.2 2280 
768 GB storage + 85 GB cache

1.6 TB storage + 128 GB cache

3.3 TB storage + 256 GB cache

Product family 

AI20EH 

Interface 

PCIe 5.0 

Form factors 

M.2 2280 

Capacity shown in roadmap 

768 GB storage + 85 GB cache

1.6 TB storage + 128 GB cache

3.3 TB storage + 256 GB cache

aiDAPTIV Cache Memory configurations

Laptop form factors M.2 2280 & 2242

Laptop form factors
M.2 2280 & 2242

選擇適合系統的配置 

Configuration 
Use when: 
Typical systems 
專用 aiDAPTIV 快取記憶體 SSD 
系統有可用的 SSD 插槽,AI 工作負載需要大量保留的快取容量,且不希望與作業系統或使用者資料的存取互相競爭 
獨立 GPU 桌上型電腦、工作站、邊緣系統與伺服器 
儲存 + 快取混合式 SSD 
SSD插槽有限,且系統需要在同一個 M.2 外型規格內同時具備傳統儲存裝置與 aiDAPTIV 快取記憶體 
儲存容量有限的筆記型電腦、Mini PC、小型桌上型電腦,以及整合式或統一記憶體系統 

Configuration 

專用 aiDAPTIV 快取記憶體 SSD 

Use when: 

系統有可用的 SSD 插槽,AI 工作負載需要大量保留的快取容量,且不希望與作業系統或使用者資料的存取互相競爭 

Typical systems 

獨立 GPU 桌上型電腦、工作站、邊緣系統與伺服器 

Configuration 

儲存 + 快取混合式 SSD 

Use when: 

SSD插槽有限,且系統需要在同一個 M.2 外型規格內同時具備傳統儲存裝置與 aiDAPTIV 快取記憶體 

Typical systems 

儲存容量有限的筆記型電腦、Mini PC、小型桌上型電腦,以及整合式或統一記憶體系統 

合適選項取決於目標平台、可用的磁碟機槽位或插槽、執行階段支援、模型與上下文需求,以及工作負載所需的快取記憶體大小。 

SEAMLESS INTEGRATION

  • Optimized middleware to extends GPU memory capacity
  • 2x 2TB aiDAPTIVCache to support 70B model
  • 低延遲

HIGH ENDURANCE

  • 業界領先,高達100次的五年內每日寫入次數(DWPD)
  • 採用業界先進NAND 糾錯算法的SLC NAND

aiDAPTIV+ BENEFITS

  • 隨插即用,無縫整合
  • 無需修改現有 AI 應用
  • Reuse existing HW or add nodes

aiDAPTIV+ MIDDLEWARE

  • 模型自動分割與 GPU 資源調度
  • Hold pending slices on aiDAPTIVCache
  • Swap pending slices w/ finished slices on GPU

FOR SYSTEM INTEGRATORS

  • Access to ai100E SSD
  • Middleware library license

  • Full Phison support to bring up