AI iPhone可行了?苹果内存优化将大模型装进iPhone
苹果日前发表题为《LLM in a flash:Efficient Large Language Model Inference with Limited Memory》的论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。论文称,LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战,该论文构建了一个以闪存为基础的推理成本模型,将在两个关键领域进行优化:减少从闪存中传输的数据量、更多更流畅地读取数据块。这意味着,该项突破性研究扩大了LLM适用性和可及性,苹果将生成式AI集成到iOS18的计划或将加快推进。
0人
- 每日推荐
- 股票频道
- 要闻频道
- 港股频道
- 四部门:推进城市全域数字化转型
- 南京化纤变盘神预言人现身,声称只是预测、未实盘操作股票
- 证监会主席吴清会见沙特财政大臣杰德安
- 机构再掀调研热 多家百亿私募造访超百家公司
- 新政后首个周末上海楼市“热”起来
- 周三机构一致最看好的10金股
- 深夜突发
- OpenAI、谷歌“较劲”智能助手 Kimi、秘塔接连“出圈”
- 票据月度观察:新增逾期企业涉27家A股公司,国资背景公司占比提升