AI iPhone可行了?苹果内存优化将大模型装进iPhone

2023-12-21 14:58:33 来源: 同花顺7x24快讯

  苹果日前发表题为《LLM in a flash:Efficient Large Language Model Inference with Limited Memory》的论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。论文称,LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战,该论文构建了一个以闪存为基础的推理成本模型,将在两个关键领域进行优化:减少从闪存中传输的数据量、更多更流畅地读取数据块。这意味着,该项突破性研究扩大了LLM适用性和可及性,苹果将生成式AI集成到iOS18的计划或将加快推进。

关注同花顺财经(ths518),获取更多机会

0

+1
  • 晓程科技
  • 新研股份
  • 南京化纤
  • 雷曼光电
  • 五方光电
  • 荣盛发展
  • 炼石航空
  • 沃格光电
  • 代码|股票名称 最新 涨跌幅