推理与服务
共 20 个仓库 · Swift
用 Swift 写的原生 macOS AI 智能体运行环境，可接入任意模型，支持持久记忆、自主执行和加密身份，全程离线运行。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
面向 Apple Silicon 的端侧语音 AI 工具包，用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成，不用联网也能处理音频。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
一款 iOS/macOS 原生应用，通过 Ollama 连接本地自托管的大语言模型（Llama2、Mistral、Vicuna 等）进行对话，让私有模型在苹果设备上开箱即用。
macOS 上的本地语音听写应用，基于 Whisper 和 Parakeet 模型把语音实时转成文字，适合想要离线、隐私友好的语音输入用户。
Archived: legacy Swift Hex app. New app and source: github.com/anomalyco/hex
给任意会议或直播加实时字幕、同声传译和 AI 会议纪要的跨平台工具，支持 Mac、Windows、Linux 和 Android，免费开源。
在 macOS 原生应用里直接和本地 LLaMA 模型对话，支持 llama.cpp，不用折腾命令行就能跑起来。
面向 Apple Silicon 的本地语音工具箱，用 MLX 和 CoreML 在 iOS/macOS 上跑语音识别、语音合成、语音转换、VAD 和说话人分离，全程端侧推理。
面向 Apple Foundation Models 框架的实战实验场，帮你在 iOS 和 macOS 上动手搭建、测试并评估端侧大模型应用。
开源的 iOS 语音转文字应用，基于 Whisper 模型在手机本地完成高质量转录，让移动端离线转写更易用。
面向 Apple Silicon 的原生 SwiftUI 系统监控工具，无需 sudo 即可实时查看 ANE、媒体引擎和内存带宽占用，方便排查本地大模型推理时的硬件瓶颈。
原生 macOS 上的全能 AI 聊天客户端，一个界面就能接入 ChatGPT、Claude、Gemini、DeepSeek 等各家大模型服务，省去在多个网页和工具间来回切换。
We've moved to SGLang Omni Voxt: https://github.com/sgl-project/sglang-omni/tree/main/Voxt
macOS 上选中文字后弹出操作菜单，可跑自定义脚本、AI 动作和可扩展工作流，把剪贴板与 LLM 调用串起来。
macOS 原生会议记录工具，用 Whisper 本地转写音频，再经 OpenRouter 生成摘要，全程注重隐私。
在 16–64 GB 内存的 Apple Silicon Mac 上，从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理，纯 Swift + MLX/Metal 实现，离线无需 Python。
基于节点的创意编程工具，用可视化连线搭建 3D 图形、图像处理和计算机视觉流程，灵感来自 Quartz Composer，适合实时渲染与多媒体实验。
面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台，在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑，支持自带密钥接入大模型。