在浏览器中运行大语言模型Web LLM

共计 477 个字符，预计需要花费 2 分钟才能阅读完成。

由来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、 上海交通大学  和 OctoML 等开发 Web LLM，利用 WebGPU 加速，无需服务器支持，所有操作都在浏览器内运行。此团队还有「MLC LLM」

项目主页：https://webllm.mlc.ai

GitHub 地址：https://github.com/mlc-ai/web-llm

主要特点：

1. 支持多种模型：支持多种模型，包括 Llama 2 7B/13B、Llama 2 70B、Mistral 7B 以及 WizardMath 等。

2. 运行环境和要求：项目在 Chrome 113 中提供 WebGPU 支持。用户可以在支持的浏览器中直接尝试不同的模型。首次运行时需要下载模型参数，之后的运行将更快。

3. 聊天演示：提供了基于 Llama 2、Mistral-7B 及其变体和 RedPajama-INCITE-Chat-3B-v1 模型的聊天演示。未来还将支持更多模型。

4. 开源和开发支持：项目鼓励开发者使用 WebLLM 作为基础 npm 包，并在其上构建自己的 Web 应用程序。相关文档和 GitHub 资源可供参考。