在浏览器中运行大语言模型Web LLM

7次阅读
没有评论

共计 477 个字符,预计需要花费 2 分钟才能阅读完成。

由来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、 上海交通大学  和 OctoML 等开发 Web LLM,利用 WebGPU 加速,无需服务器支持,所有操作都在浏览器内运行。此团队还有「MLC LLM

项目主页:https://webllm.mlc.ai

GitHub 地址:https://github.com/mlc-ai/web-llm

主要特点:

1. 支持多种模型:支持多种模型,包括 Llama 2 7B/13B、Llama 2 70B、Mistral 7B 以及 WizardMath 等。

2. 运行环境和要求:项目在 Chrome 113 中提供 WebGPU 支持。用户可以在支持的浏览器中直接尝试不同的模型。首次运行时需要下载模型参数,之后的运行将更快。

3. 聊天演示:提供了基于 Llama 2、Mistral-7B 及其变体和 RedPajama-INCITE-Chat-3B-v1 模型的聊天演示。未来还将支持更多模型。

4. 开源和开发支持:项目鼓励开发者使用 WebLLM 作为基础 npm 包,并在其上构建自己的 Web 应用程序。相关文档和 GitHub 资源可供参考。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-26发表,共计477字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码