产品中心

RAG不存在了?世界首个1亿token神级上下文模型诞生前OpenAI大佬加盟获465亿融资

  

RAG不存在了?世界首个1亿token神级上下文模型诞生前OpenAI大佬加盟获465亿融资

  而且,LTM-2-mini采用了序列维度算法,这种计算效率要比Llama 3◆■.1 405B的注意力机制高出约1000倍。

  为了消除这些隐性和显性语义提示,Magic设计了一种全新的方法——HashHop■★■■■。

  目前Magic正在Google Cloud上构建两台超级计算机■◆★,计划于明年上线★■★■■:

  正是这些微妙的缺陷◆★■◆■,削弱了当前长上下文评估的有效性◆■◆★,使传统的递归神经网络(RNN)和状态空间模型(SSM)能够取得好成绩,尽管它们从根本上限制了O(1)大小的状态向量。

  而Magic,就致力于让这个目标成线人团队,还有一个更大的目标:共同设计长上下文、推理时间的计算能力和端到端强化学习,实现编码和研究的全自动化。

  Llama 3.1的每个用户,都需要638个H100来存储1亿token的KV缓存■■■,而LTM只需要其中的一小部分。

  这种能力,极大地扩展了模型在实际应用中的适用范围。在软件开发中★■◆◆★,模型可以利用整个代码库、相关文档和库,来生成更高质量的代码了◆■■◆■★!

  GitHub最新的调查显示,大部分开发者都已以某种形式采用了AI工具★◆■■★★。同时,微软也在4月份报告称■■★★,Copilot已经拥有超过130万付费用户和超过50,000家企业客户。

  哈希是随机的,也是不可压缩的◆■★■★■。因此,这将要求模型能够随时从给定上下文大小的最大可能信息内容中,进行存储和检索。

  尽管如此,一个比当今SOTA模型小几个数量级的模型,仍然能够在无人协助的情况下编辑复杂的代码库。

  网友感慨★★◆★■■:所以,团队是同时构建了SSM、RNN或Transformer■◆◆■★?

  接下来就让我们看看Magic提出的第一个拥有1亿token上下文的模型——LTM-2-mini★■◆◆★★。

  此外,团队还提出了一种更具挑战性的版本■■★★★,其中模型跳过步骤■◆■■,例如直接从哈希1跳到哈希6★■◆■★◆:

  它的上下文窗口,包含1亿个token◆■■◆,相当于1000万行代码◆■,或750部小说。

  通过学习识别这种「针」的不寻常性质,模型可以忽略「海」中其他本来相关的信息,从而将所需的存储容量减少到低于处理真实任务时的水平。

  根据Polaris Research的估计,这个市场到2032年可能将价值271★■◆◆■■.7亿美元,而投资者对此也十分看好。

  由于上下文相对较短◆◆■★★,训练一直占据主导地位。但超长上下文,可能会改变这一点。

  就如上文所说,对于每个解码的token★◆★,LTM-2-mini的序列维度算法在1亿token上下文窗口中比Llama 3.1 405B的注意力机制便宜大约1000倍。

  在训练中,它们使用了一个特殊的token,来明确标记针的开始,使评估的存储和检索难度降低到O(1)。

  此前流行的「大海捞针」,存在很多弱点,SSM、RNN和RAG都是利用了它们。

  并且,模型只需要关注上下文中一个微小且语义上可识别的部分即可。于是★★★◆,像RAG这样的方法也能获得成功。

  比如,为什么专挑Llama 3.1 405B做对比呢?如果模型比405B小100倍,那比它便宜1000倍■◆★★★,也是有可能的◆◆。

  而LTM(长期记忆)模型并不依赖模糊记忆◆■,而是在推理时被训练处理多达1亿token的上下文。

  只要花费100美元,你就可以在10分钟内完成一个任务,还能获得一个可靠的具有完整功能的pull request。

  Magic所采用的LTM(长期记忆)机制所需的计算和内存,比Llama 3.1 405B的注意力机制少了1000多倍◆■,这个对比太鲜明了★■■。

  它比SOTA模型小了几个数量级■■◆,因此代码合成能力还不够好,但偶尔也会产生合理的输出:

  因此,这次团队为了规避「大海捞针」的弱点,专门创建了全新的评估方法HashHop——

  这里★★★,LTM模型成功地使用自定义的上下文GUI框架创建了一个计算器,展示了实时学习的能力■◆。

  流行的「大海捞针」评估是在长上下文窗口(「海」)放置一个随机事实(「针」),并让模型检索该事实。

  就如上文所说■■★■,如果模型能够在上下文中包含所有代码■◆◆、文档和库,包括那些不在公共互联网上的代码,代码合成的表现,提升将是惊人的◆■★。

  对于这个问题的描述,实际上要在比现实场景中更加具体,并且这项功能在许多web应用程序中很常见。

  相比之下,LTM的每个用户在相同上下文中◆★◆■,只需要使用单个H100的HBM的一小部分。

  虽然对于使用 React 等知名框架的先进模型来说,生成计算器是一项简单的任务■■■,但使用自定义的上下文框架更具挑战性■■。

  其中,模型的提示只有代码库和聊天记录(没有打开的文件■★、编辑历史或其他指示)★★■■■。

  哈希是随机的★■◆◆★★,因此是不可压缩的,这就要求模型能够在任何时候,存储和检索给定上下文大小的最大可能信息内容。

  另一位联创De Ro★■◆,来自德国业务流程管理公司FireStart。在那里■◆★◆■,他的职位一路晋升至CTO。

  据称◆◆★■,后者能够随着时间的推移扩展到数万台Blackwell GPU◆■★■◆,并且这些集群将能够实现160 exaflops(每秒一百亿亿次操作)◆★◆。

  可以看到,LTM模型能够在没有人工干预的情况下,为开源仓库Documenso实现一个密码强度计。

  在这个过程中,团队还设计了一个新的评估上下文长度和可靠性的体系HashHop◆★◆◆,取代了「大海捞针」■◆■◆★◆。

  为此,Magic聘请了前OpenAI超级计算团队负责人Ben Chess★◆◆◆◆,并计划扩展其网络安全、工程■■■、研究和系统工程团队。

  【新智元导读】RAG不存在了?20多人初创公司Magic开发的代码语言模型LTM-2-mini■■■◆,上下文窗口已经达到了1亿token,相当于一千万行代码。AI模型的运作方式,从此可能从根本上改变!如今■★◆★★,团队已获4.65亿美元融资。

上一篇:《第一序列》举办大了局点映会B站累计播放量破亿 下一篇:小漠复出斗鱼首播11月初国服第一系列将更新

Copyright © 2012-2023 凯发k8游戏官网入口网站 版权所有   粤ICP备xxxxxxxx号