序列

这篇文章来源于人工智能学家专栏，作者是字节跳动研究负责人李航。他在文中阐述了对大型语言模型（LLM）的看法，包括LLM的突破之处以及开发过程中需要考虑的因素。LLM融合了实现人工智能的三个路径，具有生成心智语言的能力，但在逻辑推理方面仍然有待加强。文章强调了LLM所采用的Transformer模型的...

本文介绍香港中文大学团队利用大型蛋白质语言模型发现未知信号肽的研究成果。他们开发了一种名为无偏生物体不可知信号肽网络（USPNet）的深度学习方法，用于信号肽的分类和切割位点预测。实验结果显示，USPNet的分类性能比现有方法提高了10%。该方法从宏基因组数据中发现了347个与训练数据中信号肽差异很...

最新报道称，新架构Mamba正席卷AI领域，挑战传统Transformer模型。虽然Transformer长期占据AI大模型主导地位，但随着模型规模和序列长度需求的增加，其局限性逐渐显现。特别是在处理较长序列时，Transformer自注意力机制计算量呈平方级增长，效率低下。为弥补这些缺陷，研究者们...

本文介绍了由斯坦福和CMU联合团队开发的新型挑战者Mamba，该模型与传统Transformer性能相匹敌，并在处理长文本时具有更高效的性能。Mamba采用了FlashAttention架构，其注意力机制的二次复杂度得到了改善，使得模型具有线性复杂度和更高的推理吞吐量。在语言、音频、DNA序列等多个...

AIGC动态欢迎阅读原标题：颠覆Transformer霸权！CMU普林斯顿推出新架构Mamba，解决了致命bug并将推理速度提升5倍关键词：模型、序列、架构、卷积、研究人员文章来源：新智元内容字数：15024字内容摘要：新智元编辑报道：编辑部【新智元导读】CMU和普林斯顿联合推出的Mamba架构可能...

本文介绍了将合成生物学与人工智能相结合，以无细胞方式寻找新抗生素的研究动态。马克斯·普朗克陆地微生物研究所的研究团队利用无细胞蛋白质合成管线来快速、廉价地生产抗菌肽。通过深度学习设计了数千个抗菌肽，并使用计算方法对候选物进行了筛选。研究人员鉴定了30种功能性抗菌肽，并进行了进一步的表征。其中，六种新...

新闻来自机器之心，题为“通用视觉推理显现，UC伯克利炼出单一纯CV大模型，三位资深学者参与”。文章介绍了UC伯克利和约翰霍普金斯大学的研究者最新论文中探讨的内容，展示了大型视觉模型（LVM）在多种CV任务中的应用潜力。最近，大型语言模型（LLM）如GPT和LLaMA备受关注，而构建大型视觉模型（LV...

本文介绍了最新的技术变革对3D建模领域的影响。文章指出，通过连续预测下一个三角形网格，计算机已经可以生成3D模型，这种方法在计算机图形学中被广泛应用。与传统的体素或点云表示方法相比，三角形网格提供了更为连贯的表面表示，更易于操作和渲染，被广泛应用于游戏、电影和VR界面等领域。 同时，文章提到以前的研...

AIGC动态欢迎阅读 原标题：拉妮·米歇尔在Science刊物上发表文章：AI能否自主学习世界模型？ 关键词：模型，世界，报告，解读，序列 文章来源：人工智能学家 内容字数：8358字 内容摘要：现代认知科学认为，人类在思维中建立关于外部现实世界的抽象模型，即“世界模型”。如何获取这个“世界模型”一...

欢迎阅读AIGC的最新动态 原标题：30位学者共同发表《Nature》综述，回顾AI在过去10年如何重塑科研范式 关键词：数据、序列、模型、科学、几何 文章来源：HyperAI超神经 内容字数：11454字 内容摘要：超神经科学通过复杂的过程进行发现，涉及形成假设、实验设计、数据收集和分析等多个相互...

<img src=""> 最新动态：AIGC 原文标题：蚂蚁新模型在CIKM 2023赢得最佳应用论文奖，大幅提升用户行为表征通用性 关键词：行为、表征、用户、任务、序列 文章来源：机器之心 字数：10729字 内容摘要：由蚂蚁机器智能部撰写的文章指出，蚂蚁新的用户行...

《AIGC动态欢迎阅读》 原标题：重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了 关键词：序列，时间，研究者，变量，变体 本文来源：机器之心 文章内容共计6185字，机器之心报道编辑指出，Transformer经过反向转变，演变为iTransformer。Transfor...

本文介绍了华科、华南理工等联合发布的SPTS v2，该文本检测识别框架速度提升了19倍。近年来，场景文本阅读技术取得显著进步，能够同时定位和识别文本，在智慧办公、金融、交通等领域得到广泛应用。相较于目标检测，文本除了定位还需要精确识别内容，并且由于字体和排版的差异，文本实例可能呈现出任意形状，因此需...

<img src="" alt="图片">AIGC动态欢迎阅读文章原题为：李航：大规模模型的思考和研究热点关键词：模型、语言、序列、字节跳动、心理文章来源：人工智能学家内容字数：17376字内容摘要：本文来源于图灵人工智能，详细阐述了李航老师对大型语言模型（LLM）的见解：Ch...

欢迎阅读AIGC动态 原文标题：基于Transformer和注意力的可解释核苷酸语言模型，用于pegRNA优化设计 关键词：编辑，效率，序列，核苷酸，逆转录 文章来源：机器之心 字数：5540字 内容摘要：紫罗基因编辑是一种新兴的、比较精确的基因工程技术，其中先导编辑（Prime editor, P...

本文介绍了一种名为Monarch Mixer (M2) 的新架构，该架构在序列长度和模型维度上具有高效的硬件效率。文章从BERT、GPT到SAM和Stable Diffusion等模型展开探讨，指出Transformer虽然当前风头正劲，但并非唯一选择。建议阅读原文以获取更多信息。如果需要联系作者，...

AIGC动态欢迎阅读原标题：Nature | 30多年前的断言被打破了？大模型具备了人类水平的系统泛化能力关键字：报告,神经网络,人类,参与者,序列文章来源：机器之心内容字数：5573字内容摘要：机器之心报道了关于大型神经网络具备类似人类系统泛化能力的报道。人类拥有"举一反三"的能力，能够快速学习一...

近日，来自清华大学和蚂蚁集团的研究人员重新审视了Transformer结构在时序分析中的应用，提出了一个新的观点：无需修改任何模块，即可实现Transformer在时序预测任务上的全面领先。Transformer作为一种基础模型，在自然语言处理和计算机视觉任务中取得了突破性进展。受此启发，许多Tra...

AIGC动态欢迎阅读 原标题：LLM 的推理优化技术纵览 本文内容主要涵盖模型、序列、知乎等关键词，介绍了推理优化技术的相关方法和性能。 文章来源：JioNLP 全文字数：16565字 文章摘要：本文转载自紫气东来在知乎上的原文，详细讨论了LLM的推理优化技术。感兴趣的读者可通过以下链接阅读原文：h...

欢迎阅读AIGC动态 原标题：字节跳动李航：对语言大模型的一些观察和思考 关键词：模型、语言、序列、字节跳动、心智 文章来源：机器之心 文章长度：17188字 内容概要：本文系机器之心专栏作者、字节跳动研究负责人李航就大规模语言模型（LLM）发表观点，主要包括以下几点：ChatGPT通过规模和模型方...

在机器之心报道中，编辑部使用大型模型处理长文本，面临着速度挑战。最新的FlashAttention技术通过"Flash-Decoding"方法，充分利用GPU，可以将大模型的长上下文推理速度提高至8倍。近期大型语言模型（LLM）如ChatGPT和Llama备受关注，但其运行成本仍...

最新文章来自量子位，标题为“用暂停token重新训练大模型，AI学会三思而后行”。该研究通过在训练大型模型时引入暂停token，实现了AI在任务执行前多考虑步骤从而提高准确率的能力。实验结果显示，在8项评测中，包括SQuAD和CommonSenseQA在内的相关任务表现都有所提升。研究者Jack H...

欢迎阅读AIGC动态 本文原题为：“计算力学：量化涌现的又一条路径” 关键词包括：复杂度、因果、序列、模型、机器 文章来源于《人工智能学家》 全文共计13546字，内容摘要如下： 涌现现象一直是因果问题中备受关注的核心议题，特别是在量化复杂系统中的表现。从生命游戏的斑图到大脑意识的产生，我们期望不仅...

AIGC动态欢迎您的阅读原标题：基于牛顿求根法的新算法实现了并行训练和评估RNN，提速超过10倍关键词：序列，算子，矩阵，模型，方法文章来源：机器之心内容字数：7120字内容摘要：机器之心报道编辑：Panda W。人们普遍认为RNN是无法并行化的，因为其本质上具有序列特性：状态依赖于前一个状态。这一...

欢迎阅读AIGC动态 原文标题：微软开源新型蛋白质生成AI框架EvoDiff，利用进化扩散进行蛋白生成 关键词：蛋白质、序列、模型、结构、功能 文章来源：机器之心 内容字数：7076字 内容摘要：紫罗进化产生了多种功能蛋白，可以精确调节细胞过程。近年来出现了深度生成模型，旨在从这种多样性中学习，生成...

AI 动态：顶尖科学家如何运用人工智能？DeepSpeed4Science 计划利用先进 AI 系统提升科学发现本文原题为：顶尖科学家如何玩转 AI？DeepSpeed4Science：利用先进的 AI 系统优化技术实现科学发现关键词：模型、微软、序列、知乎、科学文章来源：新智元文章总字数：8778...

近日，新智元报道了一项关于提高大型语言模型（LLM）吞吐量的研究成果。据报道，通过采用名为PagedAttention的高效内存管理机制，LLM的吞吐量可以提高2-4倍。这一机制由UC伯克利、斯坦福等机构开源，并且表明对于LLM来说，模型越大效果越好。这一发现提醒我们，当吞吐量难以提升时，内存可能是...

最近，机器之心发布了一篇关于新型LLM（Large Language Model）的文章。这篇文章介绍了一个名为vLLM的项目，它的研究团队来自加州大学伯克利分校等机构。他们开发了一种名为PagedAttention的新型注意力算法，可以帮助服务提供商以低成本、快速发布LLM服务。这篇文章仔细解释了...

文章介绍了微软推出的蛋白质生成框架EvoDiff，该框架据称能够根据蛋白质序列生成高保真度和多样性的蛋白质。蛋白质在构成人体疾病的基本组成部分中具有重要作用。通过研究蛋白质，可以揭示疾病机制，找到减缓或逆转疾病的方法。同时，创造新的蛋白质可以帮助开发全新的药物和治疗方法。当前设计蛋白质的过程复杂且昂...

针对AIGC的最新动态 原文题目：Science杂志报导：Google DeepMind再次取得重大进展，利用人工智能成功预测数百万个“错义突变”，或将有助于解决人类遗传学领域的难题。 重要关键词：蛋白质，致病性，突变，结构，序列 文献来源：摘自大数据文摘 文章字数：4853字 内容摘要：大数据文摘...

在最新的报道中，哈佛大学和哥伦比亚大学发布了一个名为OpenProteinSet的开源数据集，其中包含了1600万组开源蛋白质多序列对齐（MSA）和相关数据。这一数据集覆盖了所有蛋白质数据库的蛋白质和各种UniProt集群，为广泛的人工智能模型训练提供了可能。蛋白质作为生命的基本单位，对于设计新酶、...

在新智元的文章中，揭示了谷歌DeepMind新发布的AI模型AlphaMissense成功预测出7100万个“错义突变”的消息。这一突破，被认为有望解决人类遗传学领域的难题。此前，谷歌DeepMind旗下的蛋白质预测模型AlphaFold已经引起了轰动，而这次的AlphaMissense模型再次掀起...

在这篇文章中，《视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降》介绍了Google DeepMind团队在Transformer架构中采用ReLU替代softmax以降低成本的最新研究成果。在现代机器学习领域，Transformer架构得到了广泛应用，其中的注...

本文来自机器之心，专题为《Transformer的上下文学习能力是哪来的？》。文章从对 Transformer 模型在深度学习中的主导地位展开讨论，指出其在语言模型中表现优异的原因之一是其擅长上下文学习（In-Context Learning）。文章联系了来自 Google AI、苏黎世联邦理工学院...

本篇文章是关于MIT研究人员将Transformer与图神经网络结合，用于设计全新蛋白质的内容。根据文章提供的信息，蛋白质作为生物体中的重要功能分子，其结构与功能密切相关。MIT的Markus Buehler提出了一种基于语言模型的深度学习策略，将Transformer与图神经网络相结合，有望为定制...

欢迎阅读AIGC动态 原标题：陶哲轩发布了新论文，再次展示了AI的应用 关键词：素数、函数、序列、论文、质因数 文章来源：量子位 内容字数：4181字 内容摘要：在公众号QbitAI上，陶哲轩发表了一篇新的论文，内容涉及欧拉函数的单调非递减序列，他通过初等论证证明了一个名为M(x)函数的渐近式。该函...

AIGC动态欢迎阅读 原标题：字节跳动李航：AI在科学领域的探索与进展 关键词：量子、蛋白质、方法、序列、体系 文章来源：机器之心 内容字数：13597字 内容摘要：近年来，人工智能在各领域展现出令人瞩目的进步，如自然语言处理、计算机视觉和语音处理等，利用深度学习技术。将深度学习技术应用于传统科学领...