本文介绍了复旦大学发布的大模型训练效率工具CoLLiE,以提升效率。该工具针对大型语言模型(LLM)进行定制化训练,适用于不同的应用场景,包括高效的多GPU并行训练和指令微调等。论文标题为《CoLLiE: Collaborative Training of Large Language Models...
文中提到,OpenAI科学家最新演讲揭示了GPT-4即将取得重大突破,其参数规模将扩大1000倍,性能也将得到显著提升。该演讲从第一性原理出发,探讨了2023年大模型发展的现状,强调了GPT-4即将超越拐点并带来性能飞跃的观点。演讲者Hyung Won Chung指出对于巨大参数规模的大型语言模型(...
本文介绍了港中大最新研究开发的大模型MathCoder,其数学能力在竞赛级“题库” Math 上超越了 GPT-4。MathCoder能够无缝集成代码,在遇到数学问题时不仅能用自然语言推理,还能自动编写和执行代码来建模、推导公式与方程。这项研究让人们看到了人工智能在解决数学难题方面的巨大潜力。 作者...