做了个 Mac 本地大模型工具 MiniMLX，类似 oMLX 那种的

最近一直在 Mac 上用 oMLX 跑本地大模型。用了一段时间之后，发现它的基本原理并不算复杂，觉得自己也可以尝试做一个，于是花了点时间，做出了 MiniMLX 。
MiniMLX 是一个基于 MLX 的 macOS 原生应用，主要把模型下载、管理、运行和服务监控放在一起。现在已经开源，并且提供了 Apple Silicon 的 DMG 安装包。
项目地址： https://github.com/shijizhi/MiniMLX下载地址： https://github.com/shijizhi/MiniMLX/releases
目前可以在应用里搜索和下载 Hugging Face 、ModelScope 上的兼容 MLX 模型，也可以添加已经下载到本地的模型。选好模型之后，直接在界面里加载、启动服务，就可以通过 OpenAI 兼容 API 接入其他应用。
主界面可以查看当前运行的模型、服务状态、请求数量、生成速度，以及内存和 GPU 占用。日常使用时，也可以从 macOS 菜单栏启动或停止服务、显示或隐藏窗口。
模型方面，MiniMLX 支持多种兼容的主流 MLX 模型。我重点测试了 Qwen3.8 Flash Next 、Qwen3.8 27B 等模型，也为兼容配置接入了 MTP 加速。
对于内存放不下的模型，MiniMLX 会先判断能否正常加载；如果内存不足，再判断该模型是否支持借助硬盘加载。具体能否运行、速度如何，还是取决于模型和机器配置。
另外做了一个简单的性能测试页面，可以选择不同上下文长度，查看首字延迟、提示词处理速度、生成速度和内存占用，也可以导出测试结果。
自己跑了跑测试，性能不输 oMLX
欢迎大家试用


⚠️内容来自互联网，如有侵权请点击反馈！侵权投诉