基于RWKV-v5架构的开源模型Eagle 7B

12次阅读
没有评论

共计 329 个字符,预计需要花费 1 分钟才能阅读完成。

Eagle 7B 是一个拥有 7.52B 参数的开源模型,基于 RWKV-v5 架构,不仅推理成本低,还被评为全球最绿色的 7B 模型。它在超过 100 种语言(70% 英语,15% 多语言,15% 代码)的 1.1 万亿个令牌上训练,性能超越同类 7B 模型,英语评估表现直逼更大模型。它还是一个“无注意力 Transformer”,具有小型指令调整功能,适用于各种用例。

地址:https://blog.rwkv.com/p/eagle-7b-soaring-past-transformers

Demo 地址:https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2

模型地址:https://huggingface.co/RWKV/v5-Eagle

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-29发表,共计329字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码