法国AI创企Mistral AI发布专家混合模型Mixtral 8x7B

30次阅读
没有评论

共计 896 个字符,预计需要花费 3 分钟才能阅读完成。

法国 AI 创企 Mistral AI 上周五直接于社交平台 X 发布了新的开源模型 MoE 8x7B,只提供了一个磁力链接,引发了热议。有网友将该模型描述为“缩小版 GPT-4”,因为它似乎是“由 8 个 7B 专家组成的 MoE”。经过几天热议后,Mistral AI 正式在官网发布该模型,这是一个具有开放权重的高质量稀疏专家混合模型(SMoE)。该模型采用 Apache 2.0 许可,在大多数基准测试中的表现都优于 Llama 2 70B 且推理速度快 6 倍,测评成绩能与 GPT-3.5 相媲美,甚至优于 GPT-3.5。Mixtral 可以处理 32k 长度的上下文,支持英语、法语、意大利语、德语和西班牙语,具有强大的代码生成能力。具体来说,Mixtral 拥有 467 亿总参数,但每个令牌只使用 129 亿个参数。因此,它处理输入和生成输出的速度和成本与 12.9B 模型相同。

同时,Mistral 开放了第一个平台服务的测试版,该平台目前提供三个聊天端点,用于根据文本指令生成文本,还有一个嵌入端点。据介绍,前两个端点(mistral-tiny 和 mistral-small)分别使用 Mistral 7B 和刚发布的 Mixtral 8x7B;第三个端点(mistral-medium)使用的是性能更高的原型模型,该模型目前仍在部署环境中测试。

官网地址:https://mistral.ai

模型下载地址:https://huggingface.co/mistralai

GitHub 地址:https://github.com/mistralai

磁力链接:magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce RELEASE a6bbd9affe0c2725c1b7410d66833e24

法国 AI 创企 Mistral AI 发布专家混合模型 Mixtral 8x7B

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-13发表,共计896字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码