GitHub上的“Transformer挑战者”Mamba,成功实现在Macbook上的运行并斩获500+星 本文介绍了一份GitHub上的笔记,让用户可以用简单的方式运行"Mamba"这个新型大模型架构。原文详细介绍了这份笔记的内容及其在简化部署和运行Mamba过程中所起的作用。值得一提的是,这份笔记使得不仅不再需要专业知识,而且不再要求使用N卡,使得像M系列的MacBook这样的设备... AI工具箱3年前
微软小模型用手机CPU击败Llama 2,仅需96块A100 GPU训练14天,参数规模仅27亿 欢迎阅读AIGC的最新动态 原标题: 手机能跑!微软小模型击败Llama 2,96块A100 GPU训练14天,参数规模仅27亿 关键词: 模型、微软、参数、报告、规模 文章来源: AI导航 内容字数: 5114字 内容摘要: 微软发布了参数规模为27亿的小语言模型Phi-2,表现优异,击败了Lla... AI工具箱3年前
新进展!全球最大的核聚变反应堆JT-60SA成功点火,探讨可控核聚变产业链的投资潜力 据外媒报道,全球最大的实验性核聚变反应堆JT-60SA近日在日本正式投入运行,朝着实现“人造太阳”的目标又迈出了重要一步。行业专家认为,JT-60SA是“世界上最先进的托卡马克装置”,其启动意味着“聚变历史上的一个里程碑”。核聚变技术被广泛认为有潜力成为本世纪下半叶能源结构的关键组成部分。 聚变能因... AI实验室3年前
谷歌发布的 AI 微调方法:逐步提炼 欢迎阅读AIGC动态 本文转载自AI前线,原标题为:谷歌开源 AI 微调方法: Distilling Step-by-Step。文章作者为Anthony Alford,译者是王强,策划者为丁晓昀。华盛顿大学和谷歌研究中心的一个团队最近开源了一种名为Distilling Step-by-Step(逐步... AI工具箱3年前
陈丹琦团队新作:以5%成本打破SOTA记录,“羊驼剪毛”走红 本文来自量子位,讲述了普林斯顿陈丹琦团队最新的研究成果:使用LLM-Shearing大模型剪枝法,在仅使用3%的计算量和5%的成本的情况下,取得了SOTA成果。该研究以羊驼LLaMA 2 7B为基础,通过定向结构化剪枝获得了1.3B和3B剪枝后的Sheared-LLama模型,这两个模型在下游任务评... AI工具箱3年前
OpenAI科学家宣布:GPT-4即将实现技术突破,性能将提升1000倍! 文中提到,OpenAI科学家最新演讲揭示了GPT-4即将取得重大突破,其参数规模将扩大1000倍,性能也将得到显著提升。该演讲从第一性原理出发,探讨了2023年大模型发展的现状,强调了GPT-4即将超越拐点并带来性能飞跃的观点。演讲者Hyung Won Chung指出对于巨大参数规模的大型语言模型(... AI工具箱3年前
自动驾驶领域独角兽的造假惊人,连LeCun都感到匪夷所思 欢迎阅读AIGC动态 原标题:自动驾驶领域的独角兽存在造假行为,引起了LeCun的关注。 关键词:模型、视频、场景、规模、表达 文章来源:量子位 内容长度:4083字 内容摘要:本文由明敏撰写,发表在公众号QbitAI上。这则自动驾驶视频并非真实场景录制,而完全由人工智能生成。涵盖了不同路况、各种天... AI工具箱3年前