中国电信星辰语义大模型 TeleChat-7B 版本宣布开源,并开放 1T 数据集

16次阅读
没有评论

共计 699 个字符,预计需要花费 2 分钟才能阅读完成。

中国电信 1 月 10 日宣布开源星辰语义大模型 TeleChat-7B 版本 ,并开放 1T 清洗数据集。此外,中国电信还将在 1 月 20 日开源 12B 版本模型,拥抱更多开发者共建开源大模型生态。据介绍,星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型, 采用 1.5 万亿 Tokens 中英文语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将 AI 大模型的幻觉率降低了 40%,有助于大模型变得更有“人味”,理解问题语境,告别风马牛不相及的答案。

在中国电信内部,星辰语义大模型用于行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过 1500 字,有效采纳率达到 85.7%;在对外企事业单位客户的业务中,星辰语义大模型用于企业经营分析、政务公开咨询、民生诉求接待等场景,其业务覆盖率达到 95%,多轮理解准确率达到 90%。本次 TeleChat-7B 版本开源了对话模型 TeleChat-7B-bot,以及其 huggingface 格式的权重文件。此外,还开源了 7B 模型的 int8 和 int4 量化版本。在模型开发上,星辰语义大模型已与华为昇腾 AI 基础软硬件完成适配:支持 Atlas 300I pro 推理卡,具备 int8 量化能力;支持 Atlas 训练服务器,用户可使用昇思 MindSpore 和 PyTorch 框架进行模型训练和推理。

Github 开源地址:

Gitee 地址:

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-12发表,共计699字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码