随着大模型轻量化裁剪、INT4/INT8量化、蒸馏技术全面普及,无需超大算力支撑的轻量化垂类模型快速落地,带动边缘算力市场迎来规模化爆发。
传统超大参数模型高度依赖中心智算集群的超高算力支撑,部署成本高、响应延迟长,难以适配终端实时交互场景。
而轻量化模型在保留核心AI能力的前提下,大幅降低算力、存储、带宽消耗,可快速部署在工业边缘网关、车载终端、安防设备、智能家居、移动端设备等场景,实现本地实时推理、低延迟交互、离线AI运算。
现阶段工业质检、车载智能交互、安防实时分析、家居智能调控等边缘场景AI渗透率持续攀升,边缘算力需求持续分流中心算力压力。
业内预判,边缘算力将成为算力产业全新增量赛道,形成“中心大算力训练+边缘小算力推理”的全新算力协同格局。
轻量化模型技术普及,边缘算力开启全新增长曲线。


发表评论 取消回复