高效

本文介绍了复旦大学发布的大模型训练效率工具CoLLiE，以提升效率。该工具针对大型语言模型（LLM）进行定制化训练，适用于不同的应用场景，包括高效的多GPU并行训练和指令微调等。论文标题为《CoLLiE: Collaborative Training of Large Language Models...

AIGC动态欢迎阅读 原文标题：商汤科技研究副总监龚睿昊：大语言模型量化和LightLLM高性能推理部署系统设计 本文内容来源于AI导航。 本文内容字数为1903字。 本文内容摘要：12月5日上午10点，智猩猩AI教研组推出了“大模型微调与推理部署线上闭门会”。闭门会由北京航空航天大学人工智能研究院...

本文介绍了AI导航举办的线上闭门会，邀请了北航、MIT、莫纳什和商汤四位专家在线直播探讨大型模型的微调与推理部署的话题。随着深度学习技术的快速发展，大型基础模型在图像识别、自然语言处理等任务中取得了显著突破，展现出巨大潜力。然而，这些大模型通常具有庞大的参数量和计算量，对其在实际应用中提出了挑战。因...

本文介绍了英特尔公司推出的一个创新工具包——英特尔®Extension for Transformer，可以显著加速基于Transformer的大语言模型(Large Language Model, LLM)。该工具包通过扩展Hugging Face transformers API等方式，在CPU...

AIGC动态欢迎阅读 原标题：清华大学刘知远：大模型LLM领域，有哪些可以作为学术研究方向？ 关键词：模型、报告、高效、问题、任务 文章来源：人工智能学家 内容字数：25692字 内容摘要：本文作者刘知远，是清华大学计算机系自然语言处理实验室副教授。他在2022年初做了一个报告，题目是《大模型十问》...

近日，在PyTorch发布会上，发布了移动端PyTorch解决方案ExecuTorch，实现了在移动端设备上广泛部署AI工具的目标，并且推出了最新版本PyTorch2.1，推理速度大幅提升。在最近召开的PyTorch大会上，PyTorch发布了一项更新，让深度学习从业者们感到振奋不已！新推出的Exe...

AIGC动态欢迎阅读 本文介绍了智源研究院最新推出的Aquila2-34B大语言模型，这一340亿参数的新成员超越了Llama 2-70B，在22个评测基准中表现出色。被称为当前最强的开源中英双语大模型。此举进一步提升了大模型在各项业绩评估中的地位。智源研究院强调该模型不仅在大模型榜单上取得成功，还...

AIGC动态欢迎阅读 原标题：中科大南大跻身世界TOP100，川大冲进内地前10，THE最新世界大学排名出炉 关键字：高校，世界，情况，北京大学，清华大学 文章来源：量子位 内容字数：3491字 内容摘要：本文由萧箫撰写，发表于凹非寺量子位公众号QbitAI。泰晤士高等教育（THE）最新发布了世界大...

欢迎阅读AIGC动态 原标题：《生成式AI时代的模型压缩与加速，韩松主讲MIT课程，资料全公开》 关键词：解读，模型，课程，深度，高效 文章来源：机器之心 内容字数：2746字 内容摘要：近年来，生成式大模型（如大语言模型、扩散模型）展现出卓越性能，但消耗大量计算资源。为提高使用便捷性和效率至关重要...

本文转载自机器之心的文章，标题为"AIGC动态欢迎阅读"。文章内容主要介绍了一种将混合专家方法与参数高效型微调（PEFT）方法相结合的新模型微调方法，该方法仅需更新不到1%的参数就能完成微调，实现了极大的参数高效性。这对于减少大模型微调的成本有着重要意义。如有兴趣，可通过原文链接...

欢迎阅读AIGC动态 原标题：针对Python速度慢问题，一款人工智能分析器可以帮助检测并提供建议优化，获OSDI最佳论文奖。 关键词：分析器, Python, 建议, 优化, 高效 文章来源：机器之心 字数：2989字 内容摘要：近年来，提升编程速度更多依赖于更快、更高效的编程，而非仅仅靠硬件的提...

导言 基于距离或相似度对数据点进行聚类，作为应对众多自然与社会问题的有效工具，已吸引了广泛的关注。在多种聚类算法中，分层聚类展现出独特的优势。近日，电子科技大学周涛教授领导的研究团队在《Information Sciences》期刊上发表论文，提出了一种全新的层次聚类算法。该算法在多个领域的数据集上...