AIGC动态欢迎阅读
原文标题：商汤科技研究副总监龚睿昊：大语言模型量化和LightLLM高性能推理部署系统设计
本文内容来源于AI导航。
本文内容字数为1903字。
本文内容摘要：12月5日上午10点，智猩猩AI教研组推出了“大模型微调与推理部署线上闭门会”。闭门会由北京航空航天大学人工智能研究院助理教授郭晋阳参与制作。Monash University长聘助理教授庄博涵、麻省理工学院在读博士朱力耕和商汤科技研究副总监龚睿昊将进行主讲。其中，龚睿昊博士将就“大语言模型量化和LightLLM高性能推理部署系统设计”这一主题进行直播讲解。大型语言模型常常具有上千亿的参数量，给各种平台的高效、低成本部署带来更大挑战。模型量化和高效推理系统设计成为提高LLM推理效率的关键。本次闭门会中，龚睿昊将分享Outlier Suppression大语言模型量化系列方法以及基于LightLLM的高性能推理部署系统，全面介绍实现极致性能和吞吐的算法和系统设计。龚睿昊是商汤科技研究副总监、模型工具链团队负责人，主要负责工业级模型工具链，包括大规模模型训练、多平台部署、模型压缩和软件…
原文链接：点此阅读原文：商汤科技研究副总监龚睿昊：大语言模型量化和LightLLM高性能推理部署系统设计
联系作者
文章来源：AI导航
作者微信：zhidxcom
作者简介：智能产业新媒体！AI导航专注报道人工智能主导的前沿技术发展，以及技术应用带来的各行各业产业升级。关注智能变革，服务产业升级。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关AI热点
暂无评论...