局部性

共 1 篇文章

2080 Ti跑70B大模型?上交大新框架让LLM推理速度提升11倍

阅读AIGC动态的最新内容 原文标题:2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍 关键词:神经元,模型,速度,局部性,路由 文章来源:量子位 字数:7617字 内容摘要: 上海交大IPADS实验室由量子位编辑投稿|公众号 QbitAI。原本需要一张售价16万元的80G A1...
2080 Ti跑70B大模型?上交大新框架让LLM推理速度提升11倍