aiDAPTIV TM

更快的 AI 推理性能与更大规模的 LLM 训练,全程在本地部署(On-Prem)私有环境中完成

aiDAPTIV 缓存内存

aiDAPTIV 
Cache Memory

SSD 是 AI 内存系统的一部分 

Pascari aiDAPTIV™ 缓存内存是 aiDAPTIV 内存架构中的闪存存储层。 

它与 aiDAPTIV 中间件协同工作,在 GPU 内存、统一内存或系统内存受限时,保留有价值的 AI 状态。根据具体工作负载和运行环境的不同,这些状态可能包括 KV 缓存、不太活跃的 MoE 专家、模型数据以及训练状态。 

这并不是普通的溢出存储。aiDAPTIV 缓存内存仍然是 AI 工作流的一部分:它将有用的状态保留在容量更大的存储层中,而不是马上丢弃它们或之后再重新生成。 

aiDAPTIV Cache Memory system

控制器和固件为何重要 

对于 aiDAPTIV 缓存内存,重要的不只是容量。 

SSD 控制器和固件会影响SSD如何处理持续写入、延迟波动、磨损管理、数据放置、恢复行为以及不同工作负载之间的资源竞争。当 SSD 被用作 AI 内存层,而不是被动存储时,这些特性就变得非常重要。 

Phison 将控制器、固件、NAND 配置以及 aiDAPTIV 中间件栈作为整体解决方案的一部分进行开发。这使整体系统能更好地协调 SSD 的运行行为,使其匹配 AI 缓存工作负载对于持续数据移动和耐久性的需求。 

目标不是让闪存表现得像 GPU 内存,而是提供一个耐用、可预测的较低层级,用于在高速内存受限时保留有价值的 AI 状态。 

为持续的 AI 缓存活动而设计 

AI 内存中的数据流与普通文件存储存在差异。 

通用 SSD 通常针对操作系统、应用、用户文件以及低频存储读写进行容量规划和优化。
而 AI 缓存层可能会随着工作负载在内存层级中流转,反复执行数据保留、更新、淘汰、恢复和覆盖操作。 

其中的数据可能包括长上下文 KV Cache、RAG 检索结果、不活跃的 MoE 专家、模型层数据、激活值以及其他训练状态。 

因此,耐久性并不是一个次要指标,而是整个架构的一部分。

aiDAPTIV 缓存内存采用高耐久闪存、专门设计的 SSD 架构以及先进 NAND 纠错技术,旨在支持持续的 AI 缓存活动。不同型号产品的耐久性和保修条款有所不同。

部署 aiDAPTIV
缓存内存有两种方式 

aiDAPTIV 缓存内存的两种部署模式: 

aiDAPTIV 缓存内存专用 SSD 
aiDAPTIV 缓存内存专用 SSD 可为 AI 工作负载提供独立的存储空间。 

该配置适用于具备额外 M.2、U.2、E1.S 或 E3.S 插槽的系统,它能将 AI 缓存活动与操作系统、应用程序文件和用户数据隔离开。 

aiDAPTIV 缓存内存专用 SSD 适用于需要保留更大工作集的场景,包括长上下文推理、重复使用的 RAG 或代码上下文、大型 MoE 专家池,以及受内存限制的微调任务。

产品系列 
接口 
形态规格 
规划产品容量 
AI100E 
PCIe 4.0 
M.2 2280, U.2, E1.S 
320 GB 至 2 TB 
AI200E 
PCIe 5.0 
U.2, E3.S 
2 TB 至 8 TB 
AI250E 
PCIe 5.0 
M.2 2280 
2 TB 
AI20E
PCIe 5.0 
M.2 2280 
320 GB and 1 TB 

产品系列 

AI100E 

接口 

PCIe 4.0 

形态规格 

M.2 2280, U.2, E1.S 

规划产品容量 

320 GB 至 2 TB 

产品系列 

AI200E  

接口 

PCIe 5.0 

形态规格 

U.2, E3.S 

规划产品容量 

2 TB 至 8 TB 

产品系列 

AI250E

接口 

PCIe 5.0 

形态规格 

M.2 2280 

规划产品容量 

2 TB 

产品系列 

AI20E 

接口 

PCIe 5.0 

形态规格 

M.2 2280 

规划产品容量 

320 GB and 1 TB 

缓存内存与存储共存的 SSD 

同一块 SSD 中既保留原来的存储空间,又将其中一部分空间配置为 aiDAPTIV 缓存内存,这就是共存部署。 

操作系统、应用以及用户文件使用 SSD 中的存储区域,而符合条件的 AI 状态保存于 aiDAPTIV 缓存内存。 

这种配置适用于 AI PC、笔记本电脑、迷你 PC、紧凑型台式机,以及没有额外 SSD 插槽的系统。

产品系列 
接口 
形态规格 
规划产品容量 
AI20EH 
PCIe 5.0 
M.2 2280 
768 GB 存储 + 85 GB 缓存
1,638 GB 存储 + 128 GB 缓存
3,686 GB 存储 + 128 GB 缓存

产品系列 

AI20EH 

接口 

PCIe 5.0 

形态规格 

M.2 2280 

规划产品容量 

768 GB storage + 85 GB cache

1.6 TB storage + 128 GB cache

3.3 TB storage + 256 GB cache

aiDAPTIV Cache Memory configurations

Laptop form factors M.2 2280 & 2242

Laptop form factors
M.2 2280 & 2242

选择适合系统的配置 

配置 
适用场景 
典型系统 
aiDAPTIV 缓存内存专用 SSD 
系统具备额外 SSD 插槽,且 AI 工作负载需要较大缓存空间以留存数据,同时不希望与操作系统或用户存储行为争用资源 
独立 GPU 台式机、工作站、边缘系统和服务器 
缓存内存与存储共存的 SSD 
SSD 插槽数量有限,且需要在同一 M.2 规格空间中兼顾传统存储和 aiDAPTIV 缓存内存 
笔记本电脑、迷你 PC、紧凑型台式机,以及存储扩展能力有限的集成内存或统一内存系统 

配置 

aiDAPTIV 缓存内存专用 SSD 

适用场景 

系统具备额外 SSD 插槽,且 AI 工作负载需要较大缓存空间以留存数据,同时不希望与操作系统或用户存储行为争用资源 

典型系统 

独立 GPU 台式机、工作站、边缘系统和服务器 

配置 

缓存内存与存储共存的 SSD 

适用场景 

SSD 插槽数量有限,且需要在同一 M.2 规格空间中兼顾传统存储和 aiDAPTIV 缓存内存 

典型系统 

笔记本电脑、迷你 PC、紧凑型台式机,以及存储扩展能力有限的集成内存或统一内存系统 

最终选择取决于目标平台、可用 SSD 插槽、运行时兼容性、模型和上下文需求,以及工作负载所需的缓存内存规模。 

SEAMLESS INTEGRATION

  • Optimized middleware to extends GPU memory capacity
  • 2x 2TB aiDAPTIVCache to support 70B model
  • 低延迟

HIGH ENDURANCE

  • 业界领先,高达100次的五年内每日写入次数(DWPD)
  • 采用业界先进NAND 纠错算法的SLC NAND

aiDAPTIV+ BENEFITS

  • 即插即用,无缝集成
  • 无需修改现有 AI 应用
  • Reuse existing HW or add nodes

aiDAPTIV+ MIDDLEWARE

  • 模型自动分割与 GPU 资源调度
  • Hold pending slices on aiDAPTIVCache
  • Swap pending slices w/ finished slices on GPU

FOR SYSTEM INTEGRATORS

  • Access to ai100E SSD
  • Middleware library license

  • Full Phison support to bring up