現代 AI 經常在運算資源耗盡之前,就已經觸及記憶體瓶頸。
Pascari aiDAPTIV™ 是專為 AI 系統打造的 Phison 解決方案,範圍涵蓋用戶端 PC 與工作站,以及邊緣部署和伺服器。它結合了 aiDAPTIV 中介軟體與 aiDAPTIV 快取記憶體,跨 GPU 記憶體、系統記憶體與專用快閃容量層,擴充可用的 AI 記憶體。
執行更大的模型。保留更多上下文。
當記憶體受到限制時,上下文會被截斷、想用的模型載不進去,或系統得反覆重算已取得的資訊,導致throughput 大幅下降
aiDAPTIV 中介軟體可協助受支援的執行環境,讓使用中的 AI 狀態留在最快、離運算最近的那一層,將較不活躍的狀態保留在較大的記憶體層,並在再次需要時將其調回。
aiDAPTIV 快取記憶體是專用的快閃記憶體容量層,用於保存無法長期留在高速記憶體中的 AI 狀態,以免排擠更即時的工作。
GPU 記憶體或統一記憶體
即時運算
使用中的模型狀態、KV 快取與 MoE 專家,以及當前訓練層
系統記憶體
Staging and expanded capacity on discrete-GPU systems
Prefetched data, intermediate cache, state likely to be needed soon
aiDAPTIV 快取記憶體
保留的容量
較少使用的 KV 快取、低活躍度專家、暫存的模型或訓練資料
冗長的提示、RAG 或重複的文件都會使首個 Token 延遲(TTFT)過長
稀疏的 MoE 模型放不進可用記憶體
微調因記憶體不足錯誤而中止
模型或整體上下文放不下,但不確定是哪一層記憶體的限制
探索 Newegg 上搭載 aiDAPTIV的 ABS 系統。