参数

AIGC动态欢迎阅读 近期微软宣布推出一款名为"Phi-2"的"小型模型"，仅包含2.7B个参数，却成功击败Llama2和Gemini Nano 2等模型。这一消息来源于夕小瑶科技说，文章涉及关键词包括微软、模型、参数、数据和领域。 夕小瑶科技说在原文中指出，微软在与谷歌的竞争中发布了Phi-2，这...

文章标题为"AIGC动态欢迎阅读"，内容主要聚焦于2024年AI趋势以及开源大模型与闭源模型之间的竞争情况。文章指出，随着开源模型的兴起，特别是像Meta的LLaMA系列模型，其快速迭代、可定制性和隐私性受到了追捧。这些模型的迅速发展正在给专有模型带来挑战，可能会改变大型科技公司...

欢迎阅读AIGC动态 原标题：磁力链接席卷人工智能界，87GB种子直接开源8x7B MoE模型 关键词：专家、模型、融资、参数、公司 文章来源：机器之心 内容字数：3764字 文章内容概要：机器之心报道了Mistral AI在X平台发布的最新开源动态。该公司采用简洁直接的发布方式，吸引了众多开发者前...

在最新的研究中，苏黎世联邦理工学院（ETH Zurich）计算机科学系的研究团队提出了一种简化版Transformer模型，旨在提高综合效率。这一研究对Transformer模型的设计进行了重新审视，指出了标准Transformer基础块的设计缺陷，并提出了优化方案，例如简化基础块的操作，比如直接移...

欢迎阅读AIGC动态 本文原题为：“H100最强竞品正式发布！推理速度快1.6倍，内存高达192GB，源自AMD。”文章内容摘要如下：AMD发布了Instinct MI300X GPU，是迄今为止AMD最大的芯片，拥有1530亿个晶体管，AI任务推理速度比H100快1.6倍，内存容量高达192GB，...

深度解读AIGC大事件原标题：国产巨制DeepSeek亮相，挑战Llama 2的霸主地位！无需申请，免费商用，背后私募巨头助力关键词：模型、能力、参数、数学、版本本文来源：量子位内容长度：3989字文章摘要：追求完美，凹非寺量子位 | 公众号QbitAI国产模型强势登场：DeepSeek参数高达67...

本文来自机器之心，原标题为《不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了》，内容涉及到神经网络模型参数调整的高效方法LoRA技术。LoRA技术相当于在大模型基础上增加可拆卸的插件，轻巧便捷。对于微调大语言模型来说，LoRA是广泛且有效的方法之一。该技术有效解决了大模型微调的成本和...

人工智能与图像生成的最新进展 原文标题：谷歌推出MobileDiffusion模型，手机上仅需0.2秒生成图像 关键词：MobileDiffusion, 卷积, 特征, 参数, 下游 文章来源：机器之心 字数统计：5200字 文章摘要：机器之心编辑部报道，谷歌最新推出的MobileDiffusion...

AIGC动态欢迎阅读 原标题：通义千问开源全家桶，720亿参数超越Llama 2，新视觉模型代码直出 关键词：模型, 热度, 参数, 性能, 阿里 文章来源：新智元 内容字数：8020字 内容摘要：通义千问开源全家桶上线！强大的72亿参数模型 Qwen-72B 超越开源标杆 Llama 2-70B，...

AIGC动态欢迎阅读 原文标题：最新千亿大模型免费商用：1026亿参数，无需授权！诚邀开发者共同训练 关键词：模型, 浪潮, 数据, 信息, 参数 文章来源：量子位 内容字数：10103字 内容摘要：本文由明敏和金磊撰写，转自凹非寺量子位公众号QbitAI。开源大模型领域日新月异——国内最新突破，迈...

文章介绍了OpenAI的一项“Q”项目的爆料，称AI可能已经具备加密能力并在背后进行编程，距离通用人工智能（AGI）可能只有三个月的时间。其中包括一名员工目睹了AI的突破，还有文件和评论的泄露。据称，AI已经能够自主编写程序，并可能采用一种加密方法，甚至向国家安全局发出警告。文中提到的谷歌文档链接也...

AIGC动态欢迎阅读 昨天，浪潮信息发布了源2.0基础大模型，并且一口气开源了1026亿、518亿、21亿三个大模型！在编程、推理、逻辑等难题上，源2.0展现了非凡性能。这是国内第一个全面开源的千亿模型！浪潮信息正式发布了源2.0，无论是2B、51B，还是102B，全部都已开源。这次，源2.0不仅在...

AIGC动态欢迎阅读 原标题：简化版Transformer问世，备受网友瞩目 关键词：研究者、速度、模型、深度、参数 文章来源：机器之心 内容字数：8398字 内容摘要：机器之心报道，编辑部对大型模型进行优化。Transformer 架构被认为是近期深度学习领域许多成功案例的核心。构建深度Trans...

AIGC动态欢迎阅读近日，《量子位》刊登了一篇关于李沐大模型公司的文章，标题为“李沐大模型公司细节曝光，项目GitHub空仓标星超500”。该文章揭示了李沐大模型公司的创业方向，即利用大模型能力开发面向4A游戏的游戏引擎。关于4A游戏的概念，尚未得到业内的统一解释，但通常被理解为比3A游戏更加强大的...

这篇文章介绍了清华大学研究团队提出的一项名为Sparse Low-Rank Adaptation（SoRA）的创新微调方法，该方法在原有LoRA基础上能将参数量减少到LoRA的70%并表现更好。文章指出在大型语言模型研究中，如何高效微调一直是一个重要的研究方向。此前的工作中，全量微调成本高昂，Ada...

本文来自机器之心，标题为《AIGC动态欢迎阅读》，内容主要介绍了OpenAI内部的状况以及Andrej Karpathy录制的关于大型语言模型的入门视频。OpenAI的员工在内部纷争告一段落后，重新投入工作。Karpathy录制了一场长达1小时的视频，详细介绍了大型语言模型（LLM）的推理、训练、微...

本文介绍了大模型在深度学习领域的重要性和应用。近年来，随着计算机技术和大数据的快速发展，深度学习在自然语言处理、图片生成和工业数字化等领域取得了显著成果。研究者们为了提高模型性能，不断尝试增加模型参数数量，从而促使大模型概念的形成。 大模型是指具有数千万甚至数亿参数的深度学习模型。文章重点介绍了大模...

近日，清华大合HuggingFace的研究人员推出了名为LCM-LoRA的全新绘图模型加速模块，引起了业内的关注。该加速模块在发布不久后便获得了超过2k次GitHub星标的认可。相较于以往的绘图方法，LCM-LoRA不仅具有强大的加速能力和良好的泛化性能，还适配了多种模型，包括SD系和LoRA模型。...

欢迎阅读AIGC动态 本文转载自AI前线，原标题为：谷歌开源 AI 微调方法： Distilling Step-by-Step。文章作者为Anthony Alford，译者是王强，策划者为丁晓昀。华盛顿大学和谷歌研究中心的一个团队最近开源了一种名为Distilling Step-by-Step（逐步...

欢迎阅读AIGC动态原标题：清华LCM/LCM-LoRA技术提升文生成速度5-10倍，点击率超百万，下载量超过20万关键词：模型、报告、解读、参数、过程文章来源：机器之心内容字数：10398字内容摘要：机器之心的报道编辑张倩、陈萍指出，生成式模型进入了“实时”时代。虽然文生成图、图生成图并不是新鲜事...

阿里巴巴研究发现: 大模型「合二为一」黑魔法！可达相同性能原标题：舍弃99%的参数，仍保持相同性能！阿里巴巴团队发现了大模型「合二为一」的黑魔法，无需GPU加速，无需重新训练关键词：模型、参数、性能、方法、冗余文章来源：夕小瑶科技说字数：6293字摘要：夕小瑶科技说原创作者 | 小戏、Python动...

AIGC动态欢迎阅读 原标题：修改LLaMA2-13B一个参数，语言能力全丧失，复旦等发现大模型新秘密 关键词：解读，语言，模型，能力，参数 文章来源：机器之心 内容字数：2470字 内容摘要：今年以来，ChatGPT、LLaMA等大型语言模型（LLM）已展示出与人类相似的语言能力。这些大型模型可以...

本文来源于夕小瑶科技说，讨论了Llama和ChatGPT这两款AI模型在2023年的竞争。文章探讨了Llama和开源AI在AI领域崛起的可能性，并对其能否超越ChatGPT进行了分析。原文指出Llama是Meta公司在2023年2月推出的生成式AI模型，开源AI的兴起也备受关注。对此，本文编译自Ve...

在AI科技评论的文章中，介绍了vivo在开发者大会上发布了自研AI“蓝心”大模型，并推出了不同参数规模的大模型矩阵。其中，1750亿参数的大模型已达到GPT-3的水平，同时vivo也是国内首家开源7B大模型的手机厂商。这次发布让人们开始思考蓝厂是否仅仅满足于手机厂的身份。如果您对这篇文章感兴趣，可以...

AIGC动态欢迎阅读原标题：微软公布ChatGPT真实参数仅为200亿，引发热议关键词：模型、代码、参数、量子、自然语言文章来源：量子位字数：3232字内容摘要：最近，微软的一篇论文中披露了一个惊人的事实：备受关注的ChatGPT模型实际参数仅为200亿。这一消息引起了国内外广泛讨论，一些网友甚至表...

欢迎阅读AIGC的最新动态 原标题：微软泄露：ChatGPT参数仅有200亿？ 关键词：知乎、模型、数据、报告、参数 文章来源：人工智能学家 文章字数：6595字 内容摘要：近期微软意外泄露了ChatGPT的参数规模，引起了广泛关注。其中一篇题为《CodeFusion: A Pre-trained ...

这篇文章介绍了ChatGPT模型参数仅有200亿这一意外发现，并从知乎、模型、数据、参数和效果等关键词入手进行分析。文章来源于夕小瑶科技，指出微软在一篇名为《CodeFusion: A Pre-trained Diffusion Model for Code Generation》的论文中透露了这一...

<img src=""> AIGC动态欢迎阅读 原标题：8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍 关键词：模型、研究人员、参数、内核、专家 文章来源：新智元 内容字数：5479字 内容摘要：最近，来自ISTA的研究人员提出了一...

本文介绍了微软最新论文曝出GPT-3.5仅有200亿参数的消息，引起了AI圈的轩然大波。之前公布的GPT-3参数量为1750亿，这样的参数规模让人感到惊讶。微软最近的论文挂在arXiv上，提出了一个参数量只有7500万的小规模扩散模型——CodeFusion。此消息在大模型圈内引起了热烈讨论。 新智...

欢迎阅读AIGC动态 原文题目：马斯克的人工智能首战，华人科学家杨格率先取得成果！xAI成功训练出无限深度神经网络 关键词：深度学习，神经网络，网络结构，模型参数，训练方法 文章来源：大数据文摘 文章字数：3320字 文章摘要：本文转载自头部科技文 | Congerry。几个月前，马斯克在 Twit...

最近的一篇文章介绍了一项利用机器学习来加速聚合物材料在有机溶剂中溶解过程的研究。这一研究显示，相比传统的量子化学计算方法，机器学习可以提高计算速度约40倍。聚合物在有机溶剂中的溶解过程对于诸如塑料回收、聚合物合成、涂料工业等领域至关重要，然而，理解和预测聚合物-溶剂系统的相平衡或相分离仍然是一个挑战...

阿尔伯塔国际研究中心的最新动态 原文标题：马斯克领导的xAI团队发布了第一个研究成果！研究成员杨格和姚班校友合作发表 关键词：深度学习、神经网络、微软、数学、参数 文章来源：量子位 文章长度：6656字 内容摘要：最新消息显示，xAI团队领导人马斯克首次向公众展示了他们的研究成果。值得一提的是，xA...

最新文章来自量子位，标题为“用暂停token重新训练大模型，AI学会三思而后行”。该研究通过在训练大型模型时引入暂停token，实现了AI在任务执行前多考虑步骤从而提高准确率的能力。实验结果显示，在8项评测中，包括SQuAD和CommonSenseQA在内的相关任务表现都有所提升。研究者Jack H...

这篇文章介绍了机器之心编辑部持续学习的主题，重点在于模仿人类在连续任务中持续积累知识的能力。其中提到，持续学习的主要挑战在于如何确保在学习新任务后仍保持对以前所学任务的表现，避免灾难性遗忘。相比之下，持续学习和多任务学习在方法上有所不同，多任务学习可以同时学习不同任务，而持续学习则是逐个学习任务。原...

文中提到，OpenAI科学家最新演讲揭示了GPT-4即将取得重大突破，其参数规模将扩大1000倍，性能也将得到显著提升。该演讲从第一性原理出发，探讨了2023年大模型发展的现状，强调了GPT-4即将超越拐点并带来性能飞跃的观点。演讲者Hyung Won Chung指出对于巨大参数规模的大型语言模型(...

AIGC动态欢迎阅读 原标题：只需1%参数，效果超越ControlNet，新AI绘画控制大师来袭 关键词：模型,编码器,基础,研究人员,参数 文章来源：量子位 内容字数：3891字 内容摘要：最新文章来自"量子位"公众号，介绍了AI绘画领域的最新进展。新型AI绘画控制系统ControlNet-XS的...

本文转载自机器之心的文章，标题为"AIGC动态欢迎阅读"。文章内容主要介绍了一种将混合专家方法与参数高效型微调（PEFT）方法相结合的新模型微调方法，该方法仅需更新不到1%的参数就能完成微调，实现了极大的参数高效性。这对于减少大模型微调的成本有着重要意义。如有兴趣，可通过原文链接...

最新消息显示，微软发布了一款新的机器学习模型，号称是“以小博大”，成功击败了参数量更大的Llama2模型。此举引发了网友们的猜测，是否是使用了Benchmark训练的原因？这个名为phi-1.5的开源模型，参数量仅为1.3B，但却表现出色，特别是在高质量数据方面。与其他模型不同，phi-1.5采用了...

AIGC动态欢迎您的阅读 原标题：MLPerf发布测试结果，中国AI芯片公司再次获得世界第一！在大型模型推理方面取得三项冠军，性能超越英伟达H100 关键词：模型，软硬件，性能，参数，算法 文章来源：新智元 内容字数：3834字 内容摘要：根据新智元的报道编辑好困桃子【新智元导读】，最新的MLPer...

本文介绍了智源研究院与国内多所高校及南洋理工联合团队成功挑战使用10万美元训练一个全新的千亿参数大模型的故事。该模型名为FLM，拥有1010亿参数量，目前已经开源。与GPT-3等高成本模型相比，FLM的训练成本仅为其中的一小部分。详情请查阅原文链接。文章作者来自量子位，微信号为QbitAI，专注追踪...