梯度

本文是来自新智元的报道，标题为《Pika 1.0首测秒杀Gen-2！网友抢先体验电影级炸裂效果，背后技术细节首公开》。Pika 1.0首次亮相，网友们有幸率先体验到了电影级的炫酷效果。该产品由斯坦福AI Lab博士创办的初创公司Pika推出，一经发布便引起极大反响。用户们在内测阶段已经对Pika 1...

这篇文章介绍了清华大学研究团队提出的一项名为Sparse Low-Rank Adaptation（SoRA）的创新微调方法，该方法在原有LoRA基础上能将参数量减少到LoRA的70%并表现更好。文章指出在大型语言模型研究中，如何高效微调一直是一个重要的研究方向。此前的工作中，全量微调成本高昂，Ada...

以下是来自新智元的关于北京大学最新研究成果的报道摘要：北京大学的董豪团队最新研究结合了扩散模型和强化学习，使机械手可以根据人手腕部的移动轨迹自适应地抓取物体的不同部位，满足人们多样化的抓取需求。这项研究利用平价显卡即可实现实时交互，具有重要的现实意义。文章指出手是人类与世界交互的重要方式，缺失手部将...

阅读AIGC动态的欢迎原标题：准确率下降至3%，主任务性能基本不变！华工JHU提出全新的“联邦学习攻击识别”解决方案｜ICCV2023关键词：距离，研究人员，梯度，方法文章来源：新智元内容字数：3767字内容摘要：新智元报道编辑：LRS【新智元导读】在面对联邦学习中的攻击时毫不畏惧！这一全新解决方案...

本篇文章《AIGC动态欢迎阅读》介绍了人民大学关于上下文学习的最新研究成果。从“对比学习”的角度出发，解析了In-context Learning(ICL)背后的隐式更新机理，并提出了改进自注意力机制的思路。文章指出，Transformer等大语言模型在ICL方面表现出色，只需少量示例即可学习任务并...

欢迎阅读AIGC动态 以下内容来自量子位： 近日，英伟达发布了最新的AI Agent - Eureka，该Agent通过GPT-4训练，表现出色。使用生成奖励函数的方法，Eureka完成了超过三十个复杂任务，包括快速转笔、打开抽屉和柜子、抛掷和接球等。其中，转笔这一技能尤为引人注目，因为即使是人类逐...

本文由机器之心编辑部撰写，介绍了一种名为ReMax的新算法，专为基于人类反馈的强化学习（RLHF）而设计。相比于最常用的PPO算法，ReMax在计算效率上表现出色，能大幅减少GPU内存占用，并提升两倍的训练速度，同时实现简易性，仅需6行代码。该算法没有性能损失，展现出较高的优势。详细内容可查看原文：...

AIGC动态欢迎阅读 原标题：从观察、思考到行动，深度强化学牛Pieter Abbeel谈如何驯服机器人 关键字：机器人，神经网络，算法，线性，梯度 文章来源：机器之心 内容字数：6686字 内容摘要：机器之心报道编辑：大盘鸡这样学，还能那样学。人类的大脑具有学习新事物的能力，而且学习方式多种多样，...

欢迎阅读AIGC动态 原标题：Megatron-LLaMA开源，32卡训练加速176% 关键词：梯度、模型、参数、切分、通信 文章来源：机器之心 内容字数：8394字 内容摘要：淘天集团联合爱橙科技在9月12日对外开源大模型训练框架Megatron-LLaMA，旨在帮助技术开发者提升大语言模型训练性...