共计 250 个字符，预计需要花费 1 分钟才能阅读完成。
Chinese-Mixtral-8x7B 是基于 Mistral 发布的模型 Mixtral-8x7B 进行了中文扩词表增量预训练，希望进一步促进中文自然语言处理社区对 MoE 模型的研究。我们扩充后的词表显著提高了模型对中文的编解码效率，并通过大规模开源语料对扩词表模型进行增量预训练，使模型具备了强大的中文生成和理解能力。
项目开源内容：
- 中文 Mixtral-8x7B 扩词表大模型
- 扩词表增量预训练代码
正文完
关注公众号获取最新教程
