标签： CoreML

在移动设备上运行70亿参数的大语言模型，曾被认为是天方夜谭。2023年某国际研究机构数据显示，传统移动端推理框架处理Mistral 7B这类模型时，延迟普遍超过15秒/词，内存占用突破12GB。而苹果最新公布的CoreML优化方案，在iPhone 15...