共计 1195 个字符，预计需要花费 3 分钟才能阅读完成。
来自华盛顿大学保罗·G·艾伦计算机科学与工程系和艾伦人工智能研究所的研究人员推出 Infini-gram 引擎，用于高效地训练和推理具有任意大小的 n -gram(n 为词组中的词数，n 可以大于文本中的词数) 的语言模型。研究人员指出 n -gram 模型仍然有价值，但是需要现代化。Infini-gram 的核心目标是将传统的 n -gram 语言模型（LM）扩展到处理无限长度的文本序列，同时在数据规模上达到了 1.4 万亿个标记（tokens），这是迄今为止最大的 n -gram 模型。
Demo 地址：https://huggingface.co/spaces/liujch1998/infini-gram
主要功能和特点：
无限长度的 n -gram（∞-gram）：Infini-gram 允许 n -gram 模型的 n 值无限大，这意味着它可以处理任意长度的文本序列，而不受传统 n -gram 模型中 n 值大小的限制。
高效的查询引擎：Infini-gram 使用了一个名为 infini-gram engine 的引擎，它基于后缀数组（suffix array）数据结构，能够在毫秒级延迟内计算∞-gram（以及任意 n 值的 n -gram）的概率。
大规模数据训练：Infini-gram 在 1.4 万亿个标记的数据集上进行训练，这使得它能够捕捉到更丰富的文本模式和上下文信息。
工作原理：Infini-gram 的工作原理可以分为以下几个步骤：
- 数据预处理：首先，将文本数据转换为标记（tokens）序列，并构建后缀数组，这是一种能够快速检索文本子串的数据结构。
- n-gram 计数：利用后缀数组，Infini-gram 可以高效地计算给定 n -gram 在训练数据中的出现次数。
- 概率估计：基于 n -gram 的计数，Infini-gram 可以估计任意长度 n -gram 的概率，这包括了∞-gram 的概率估计。
- 查询和分析：Infini-gram 支持多种类型的查询，如计算特定 n -gram 的计数、概率，以及从 n -gram 或∞-gram 模型中获取下一个词的概率分布。
具体应用场景：Infini-gram 的应用场景非常广泛，包括但不限于：
- 文本分析：分析人类编写的文本和机器生成的文本，了解文本内容和结构。
- 数据挖掘：从大规模文本数据中提取有用的信息，如关键词、短语或模式。
- 语言模型改进：与神经网络语言模型（LLMs）结合，提高语言模型的性能，减少语言模型的困惑度（perplexity）。
- 文本生成：在文本生成任务中，Infini-gram 可以提供准确的上下文信息，帮助生成更自然、更连贯的文本。
- 版权和合规性检查：检测文本中的潜在版权问题或不合规内容，帮助避免法律风险。
总的来说，Infini-gram 通过其高效的查询引擎和大规模数据训练，为文本分析和语言模型的改进提供了强大的工具，特别是在处理大规模文本数据时。
