猎户星空正式推出猎户星空大模型(Orion-14B)

29次阅读
没有评论

共计 614 个字符,预计需要花费 2 分钟才能阅读完成。

猎户星空在今天正式推出猎户星空大模型 (Orion-14B),Orion-14B-Base 是一个具有 140 亿参数的多语种大模型,该模型在一个包含 2.5 万亿 token 的多样化数据集上进行了训练,涵盖了中文、英语、日语、韩语等多种语言。在多语言环境下的一系列任务中展现出卓越的性能。在主流的公开基准评测中,Orion-14B 系列模型表现优异,多项指标显著超越同等参数基本的其他模型。

Orion-14B 系列大模型有以下几个特点:

  • 基座 20B 参数级别大模型综合评测效果表现优异
  • 多语言能力强,在日语、韩语测试集上显著领先
  • 微调模型适应性强,在人类标注盲测中,表现突出
  • 长上下文版本支持超长文本,在 200k token 长度上效果优异,最长可支持可达 320k
  • 量化版本模型大小缩小 70%,推理速度提升 30%,性能损失小于 1%

GitHub 地址:https://github.com/OrionStarAI/Orion

模型地址:

https://modelscope.cn/organization/OrionStarAI

https://huggingface.co/OrionStarAI

Demo 地址:

https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary

https://huggingface.co/spaces/OrionStarAI/Orion-14B-App-Demo

猎户星空正式推出猎户星空大模型 (Orion-14B)

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-22发表,共计614字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码