WhisperFusion：与 AI 无缝语音对话（超低延迟）

共计 462 个字符，预计需要花费 2 分钟才能阅读完成。

WhisperFusion 是在 WhisperLive（把声音转文字）和 WhisperSpeech（理解这些文字）的基础上，还整合了 Mistral 模型，增强对转录文本上下文的理解，让你和 AI 机器人无缝语音对话。LLM 和 Whisper 都经过了优化，以 TensorRT 引擎的形式高效运行，最大化性能和实时处理能力。而 WhisperSpeech 则使用 torch.compile 进行了优化。

GitHub 地址：https://github.com/collabora/WhisperFusion

功能特点：

1. 实时语音转文字：利用 OpenAI WhisperLive 将口语实时转换为文字。
2. 大型语言模型集成：加入 Mistral 大型语言模型，增强对转录文字的理解和上下文把握。
3. TensorRT 优化：LLM 和 Whisper 都被优化为 TensorRT 引擎，确保高性能和低延迟处理。
4. torch.compile：WhisperSpeech 使用 torch.compile 加速推理，通过即时编译 PyTorch 代码为优化后的内核，使 PyTorch 代码运行得更快。