共计 761 个字符,预计需要花费 2 分钟才能阅读完成。
大语言模型进步神速,但也存在一些问题,比如这些 AI 聊天机器人很多时候会出现“幻觉”,即说出错误的事实、涉及有害的话题或导致安全风险。为了避免这种状况,英伟达在周二推出了一款名为 NeMo Guardrails 开源软件,可以确保如 ChatGPT 等以大语言模型(LLMs)为基础的 AI 应用程式能够准确、适当、切题且安全地回答问题,算是帮助 软件开发者给 AI 模型设置“护栏”,防止它们产生不良的输出。
NeMo Guardrails 是开源的,并通过英伟达服务提供,可以用于商业应用,开发者将使用 Golang 编程语言来为 AI 模型编写自定义规则。该软件包含了企业为提高可以生成文本的 AI 应用程序的安全性所需的所有代码、示例和文档,可以让开发者调整 LLM 驱动的应用,以确保模型的驱动的智能应用准确、恰当、符合主题且安全,以及模型在公司的专业领域内。
NeMo Guardrails 功能一览
- 主题护栏:可以避免应用偏离到不想要的领域。例如,它们可以防止客户服务助理回答关于天气的问题。
- 安全护栏:确保应用回覆准确、适当的资讯。它们可以过滤不必要的语言,并强制要求只引用可信的来源。
- 保全护栏:限制应用仅与已知为安全的外部连结建立连接。
因为 NeMo Guardrails 开源,NeMo 框架的大部分内容已在 GitHub 上作为开放源码提供,所以它可以与企业应用开发人员使用的所有工具搭配使用。比如,NeMo Guardrails 可以在开源工具包 LangChain 上运行,越来越多的开发者用 LangChain 将第三方应用嵌入到 LLM 中。
博文:https://blogs.nvidia.com/blog/2023/04/25/ai-chatbot-guardrails-nemo
正文完
关注公众号获取最新教程

发表至: AI新品
2023-04-27