共计 896 个字符，预计需要花费 3 分钟才能阅读完成。
法国 AI 创企 Mistral AI 上周五直接于社交平台 X 发布了新的开源模型 MoE 8x7B，只提供了一个磁力链接，引发了热议。有网友将该模型描述为“缩小版 GPT-4”，因为它似乎是“由 8 个 7B 专家组成的 MoE”。经过几天热议后，Mistral AI 正式在官网发布该模型，这是一个具有开放权重的高质量稀疏专家混合模型（SMoE）。该模型采用 Apache 2.0 许可，在大多数基准测试中的表现都优于 Llama 2 70B 且推理速度快 6 倍，测评成绩能与 GPT-3.5 相媲美，甚至优于 GPT-3.5。Mixtral 可以处理 32k 长度的上下文，支持英语、法语、意大利语、德语和西班牙语，具有强大的代码生成能力。具体来说，Mixtral 拥有 467 亿总参数，但每个令牌只使用 129 亿个参数。因此，它处理输入和生成输出的速度和成本与 12.9B 模型相同。
同时，Mistral 开放了第一个平台服务的测试版，该平台目前提供三个聊天端点，用于根据文本指令生成文本，还有一个嵌入端点。据介绍，前两个端点（mistral-tiny 和 mistral-small）分别使用 Mistral 7B 和刚发布的 Mixtral 8x7B；第三个端点（mistral-medium）使用的是性能更高的原型模型，该模型目前仍在部署环境中测试。
官网地址：https://mistral.ai
模型下载地址：https://huggingface.co/mistralai
GitHub 地址：https://github.com/mistralai
磁力链接：magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce RELEASE a6bbd9affe0c2725c1b7410d66833e24
