LLMWare.ai推出Model Depot：为英特尔PC优化的小型语言模型合集

共计 1570 个字符，预计需要花费 4 分钟才能阅读完成。

LLMWare.ai 是一家在部署和微调小型语言模型（SLMs）方面的先驱，今天宣布在 Hugging Face 上推出 Model Depot。Model Depot 是为英特尔 PC 优化的 SLMs 的最大集合之一，涵盖了超过 100 个模型，适用于聊天、编码、数学、函数调用和嵌入模型等多种用例。这一举措旨在为开源 AI 社区提供前所未有的最新 SLMs 集合，这些模型针对英特尔 PC 上的 Intel OpenVINO 和 ONNX 格式进行了优化。

• 官网：https://llmware.ai
• 项目主页：https://llmware-ai.github.io/llmware
• GitHub：https://github.com/llmware-ai/llmware
• 模型：https://huggingface.co/llmware

Model Depot 的主要特点

1. 广泛的模型覆盖：
   • 超过 100 个模型：涵盖聊天、编码、数学、函数调用和嵌入模型等多种用例。
   • 优化格式：模型针对 Intel OpenVINO 和 ONNX 格式进行了优化，适用于英特尔硬件。
2. 高性能优化：
   • 4 位量化：LLMWare 的白皮书显示，4 位量化的小型语言模型（1B-9B 参数）在英特尔 AI PC 上最大化模型推理性能。
   • 测试结果：在配备英特尔酷睿 Ultra 9（Meteor Lake）的戴尔笔记本电脑上，使用 1.1B 参数的 BLING-Tiny-Llama 模型，OpenVINO 量化格式导致推理速度比 PyTorch 快 7.6 倍，比 GGUF 快 7.5 倍。
3. 强大的工具支持：
   • LLMWare 开源库：提供了一个完整的工具包，用于 AI 驱动工作流的端到端开发。
   • RAG 和基于代理的工作流：支持使用 OpenVINO 格式的 SLMs 为英特尔硬件用户创建检索增强生成（RAG）和基于代理的工作流。
4. 多格式支持：
   • OpenVINO：开源库，用于优化和部署深度学习模型推理能力，支持在 CPU、GPU 和英特尔 NPU 上进行模型推理。
   • ONNX：开源格式，提供 AI 模型的互操作性，支持多种框架和硬件。

Model Depot 的优势

1. 提高性能：
   • 优化推理：通过 OpenVINO 和 ONNX 格式的优化，模型在英特尔硬件上的推理速度显著提升。
   • 多步工作流：支持多步骤工作流和 RAG，提高模型在复杂任务中的性能。
2. 易用性和灵活性：
   • 多格式支持：支持 OpenVINO、ONNX 和 Llama.cpp，开发者可以选择最适合其目标硬件的模型格式。
   • 端到端工具包：LLMWare 的开源库提供了从模型加载到部署的完整工具链。
3. 安全性和成本节约：
   • 本地部署：AI 应用可以在设备上部署，避免敏感数据的外部传输，增加安全性。
   • 成本节约：本地部署减少了对外部系统的依赖，降低了成本。

Model HQ：与英特尔的战略合作

LLMWare 还宣布了与英特尔的战略合作，推出了 Model HQ 的有限发布，供私人预览。Model HQ 专门为配备英特尔酷睿 Ultra 处理器的 AI PC 设计，提供了一个开箱即用的无代码工具包，用于运行、创建和部署 AI 驱动的应用。

1. 开箱即用的功能：
   • 聊天机器人：内置聊天机器人功能，支持自然语言处理和对话生成。
   • 文档搜索与分析：强大的文档搜索和分析功能，支持复杂的信息检索任务。
2. 企业级安全：
   • 模型保险库：用于模型安全检查。
   • 模型安全监控：用于毒性和偏见筛查。
   • 幻觉检测器：检测和防止模型生成虚假信息。
   • AI 可解释性数据：提供模型决策的透明度。
   • 合规性和审计工具包：确保模型符合法规要求。
   • 隐私过滤器：保护用户隐私。

LLMWare 通过推出 Model Depot 和 Model HQ，为英特尔 PC 用户提供了强大的工具和优化的模型，以实现高性能、安全和成本效益的 AI 应用部署。这些举措不仅提高了模型的推理速度和性能，还为开发者提供了灵活的工具和支持，使其能够轻松构建和部署 AI 应用。LLMWare 和英特尔的合作展示了双方在推动 AI 技术发展和普及方面的共同承诺。