清华大学金融科技研究院孵化
金融科技与金融创新全媒体

扫描分享

本文共字,预计阅读时间

设备侧AI体验背后,内存和存储要同时承担模型数据、应用响应和能耗控制。LPDDR5X和UFS类产品更常纳入移动设备和边缘终端中讨论。

本地AI任务对内存的压力

进入端侧AI后,美光的 LPDDR5X 和 UFS 解决方案为其提供了所需的容量、能效、速率和性能。UFS类存储更要和本地数据读取、响应速度及持续运行一起看。

在服务器内存上,美光 LPDDR5X 内存具备较高速率,达到每秒 10.7 Gb(Gbps),同时功耗可降低 20%,为移动设备带来更稳定的移动体验和更强的续航,即使在执行如 AI 翻译或图像生成等数据密集型任务时也不例外。移动AI设备要同时满足速率、功耗和封装要求。

看CPU平台,美光基于 1γ 的 LPDDR5X 可节省 20% 的功耗,使移动设备用户单次充电即可更持久畅享 AI 应用、游戏和视频内容。在终端设备中,低功耗DRAM承担本地数据访问和能耗平衡。

进入AI节点后,美光基于 1γ(1-gamma)节点的 LPDDR5X 为移动设备带来的性能跃升,加速 AI 洞察,提供更流畅的使用体验。这类参数影响设备本地处理、续航和散热空间。

存储响应与数据保护

在服务器内存上,美光基于第二代 1-beta节点的 LPDDR5X 内存,传输速率可达每秒 9.6 Gbps,较上一代产品,速率提升了 10%。端侧AI运行时,内存要在有限功耗下支撑模型调用和多任务切换。

看CPU平台,美光已向特定合作伙伴送样基于 1γ 节点的 LPDDR5X 16GB 产品,并将提供从 8GB 至 32GB 的多种容量用于 2026 年的旗舰移动设备。低功耗内存进入移动平台后,速率、容量和封装都影响设备体验。

进入加速器后,例如,在基于大型语言模型 Llama 2 的移动 AI 响应时间测试中,相比基于 1β (1-beta)节点、带宽为 7.5 Gbps 的 LPDDR5X,基于 1γ 节点、带宽达 10.7 Gbps 的 LPDDR5X 可带来以下提升。加速器平台会把这类能力落到数据供给、封装空间和功耗预算上。

在服务器内存上,美光基于 1γ(1-gamma)节点的 LPDDR5X 内存将为移动行业带来变革。本地AI任务越多,内存侧对数据访问和能耗控制的要求越明显。

从移动终端到边缘设备

看CPU平台,这项技术依托行业超薄的 LPDDR5X 封装实现了速率和能效,为新一代移动设备的创新设计开辟新契机。内存池扩大以后,平台仍要处理信号完整性、电源预算和散热余量。

进入AI数据管道后,它将美光广受信赖的 PCIe 5.0 数据中心级创新引入客户端设备,用于说明美光在 NAND 技术领域的产品布局。底层NAND能力变化以后,SSD厂商才有空间在容量、功耗和外形规格之间重新取舍。

在服务器内存上,美光 LPDDR5X 内存速率达到每秒 10.7 Gb(Gbps),可支撑移动AI设备中的本地数据访问。服务器团队会把这类内存能力拆到CPU通道、节点空间和散热条件里核算。

看CPU平台,美光 LPDDR5X 在较高速率下功耗可降低 20%,端侧AI设备可以把更多能耗余量留给本地任务。进入AI节点后,容量、速率和能耗会同时影响整机配置。

FAQ

问:从内存和存储硬件为边缘 AI 提供支持看,移动AI为什么同时要内存和存储?

答:内存负责运行时数据访问,存储负责本地文件、缓存和数据保存,两者共同影响响应。

问:内存和存储硬件为边缘 AI 提供支持里,低功耗为什么是端侧AI重点?

答:设备本地运行AI任务时,功耗影响续航、散热和机身空间。

问:围绕内存和存储硬件为边缘 AI 提供支持,LPDDR与UFS的边界在哪里?

答:LPDDR偏运行内存,UFS偏非易失性存储,不能混成同一个指标。

问:内存和存储硬件为边缘 AI 提供支持讨论中,美光端侧AI内容主要涉及哪些硬件?

答:主要涉及LPDDR5X、UFS、低功耗、本地响应和移动或车载平台。

从硬件角度看,端侧AI并非单纯算法话题。美光LPDDR5X、UFS等事实可说明设备本地处理时的容量、速率、能效和可靠性要求。

[Source]

本文系未央网专栏作者发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!

本文为作者授权未央网发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!

本文版权归原作者所有,如有侵权,请联系删除。

评论


猜你喜欢

扫描二维码或搜索微信号“iweiyangx”
关注未央网官方微信公众号,获取互联网金融领域前沿资讯。