发生了什么

开发 者 Saladino93 发布了 Hitoku——一款完全在本 地运行的开源 macOS AI 语音优先助手。该项目在 r/LocalLLaMA 社区 宣布，支持两种本地文本生成后端：Gemma 4（通过 Google 的 LiteRT 运行时）和 Qwen 3.5（通过 Apple 的 MLX 框架），所有数据均不离开 本机。项目代码托管于 GitHub 的 litert 分支，打 包版本已在 hitoku.me/draft 上线，前 50 次下载可使用免费访 问码。

语音转文字方面，用户可从三 种后端中自由选择：Parakeet、Whisper 或 Qwen3-ASR ，可根据硬件条件和精度需求灵活切换。Ctrl+S 快捷键可触 发内联语音听写，并支持可选的文本润色功能。

为何值得关注

Hitoku 瞄准的是本地 AI 生态中长期存在的空白 ：大多数设备端助手缺乏持续的环境感知能力。这款工具能够读取当 前活跃应用、已打开的文档以及屏幕内容，无需用 户手动复制粘贴上下文即可回答问题。据开发者介绍，当前个人工作流中的 使用场景包括与 Claude Code 的集成、Obsidian 笔记管理、学术论文阅读以及邮件起草——全部通过语音触发。

对于注重工程安全与数据合规的团 队而言，完全本地化的执行模式意味着敏感文档、内部代码和电子邮件永 远不会传输至第三方 API。这使 Hitoku 成为 Microsoft Copilot 等云端助手的实 用替代方案，尤其适合受数据驻留或合规要求约束的用户群 体。

该项目同时也展示了开发者社区围绕 Apple MLX 框架构建生产可用推理层的增长 势头——Qwen 3.5 能够在设备端原生运行，无 需依赖外部运行时。

技术细节

模型后端

  • Gemma 4 （via LiteRT）：据开发者描述，在多模 态/图像任务上速度更快，但存在已知问题。LiteRT 的动态链接库（dylibs）会为 应用包增加约 98 MB 体积，使总体积从约 50 MB 膨胀至约 150 MB。由于 Google 目前尚未提供官方 Swift 包，dylibs 需 手动打包集成。
  • Qwen 3.5（via MLX）：纯 MLX 推理，无 LiteRT 依 赖。图像任务速度虽慢于 LiteRT，但稳定性更好 、可控性更强。在上游 LiteRT 问题解决之 前，推荐作为更安全的默认选项。

已知问题 — Gemma 4 / LiteRT

  • 内存峰值：LiteRT 的 WebGPU 后端可能分配远 超模型权重本身的 GPU 内存。虽属罕见情况，但已在上 游得到确认——追踪记录于 google-ai- edge/LiteRT#5706。
  • Swift 支持：开发者描述当前版本 LiteRT 的 Swift 支持"略显不足"，需要在官方 Google 库之上编写自定义 Swift 包 装层。
  • 路线图事项：开发者正在积 极推进 Gemma 4 的原生 MLX 推理路径，以部分速度换取稳定性，并 彻底消除对 LiteRT 的依赖。

上下文流水线

该 助手在查询时会实时读取屏幕内容、当前活跃应用状 态以及已加载的文档。这使得"总结这份 PDF"或"帮我回复这封邮件"等指令无 需手动注入上下文即可执行。根据开源代 码库，其实现似乎调用了 macOS 的 辅助功能（Accessibility）API 与屏幕截图 API， 具体实现细节可在仓库中查阅。

STT 架构

支持三种可互换的语音转文字引擎：Parakeet（NVIDIA 开 源 ASR 模型）、Whisper（OpenAI 开源权重模型）以及 Qwen3-ASR，均在 本地运行。公告中未提供后端选择指引 ，选择权完全交由用户根据个人偏好和硬件条 件决定。

后续值得关注

  • MLX 原 生 Gemma 4：开发者已确认正在积极将 LiteRT 运行时替 换为纯 MLX 推理路径。具体完成时间尚未披露，但这 将是下一个重要版本里程碑。
  • L iteRT 上游修复：Google 对 WebGPU 内存分配问题（#5706）的解决，将直接推动 Gemma 4 集成方案的优化落地，可持 续关注上游 issue 的补丁动态。
  • Google Swift 官方包：若 Google 推出官方 LiteRT Swift 包，将消除手动打包 dylibs 的需求并缩减应用体积， 但目前 Google 尚未公布任何时间表。
  • 下载 数量上限：免费访问码仅对前 50 次下载有效。超 额后的定价或授权条款 尚未披露——可持续关注 hitoku.me 获取商业化模 式的最新动态。
  • 社区采用情 况：作为 r/LocalLLaMA 社区项目，其发展势头将 通过 Saladino93/hitokudraft 仓库的 GitHub Star 数与 Fork 活跃度直观体现。与 Claude Code 等开发者工具的早期集成表 明，其目标受众是具有技 术背景的 macOS 用户群体。