中文Mixtral-8x7B(Chinese-Mixtral-8x7B)

7次阅读
没有评论

共计 250 个字符,预计需要花费 1 分钟才能阅读完成。

Chinese-Mixtral-8x7B 是基于 Mistral 发布的模型 Mixtral-8x7B 进行了中文扩词表增量预训练,希望进一步促进中文自然语言处理社区对 MoE 模型的研究。我们扩充后的词表显著提高了模型对中文的编解码效率,并通过大规模开源语料对扩词表模型进行增量预训练,使模型具备了强大的中文生成和理解能力。

GitHub 地址:https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B

项目开源内容:

  • 中文 Mixtral-8x7B 扩词表大模型
  • 扩词表增量预训练代码

中文 Mixtral-8x7B(Chinese-Mixtral-8x7B)

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-18发表,共计250字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码