苹果Mac电脑运行本地大语言模型迎来性能飞跃

张开发
• 2026/4/18 3:40:38 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

苹果Mac电脑运行本地大语言模型迎来性能飞跃
Ollama是一个专门在本地计算机上运行大语言模型的运行时系统现已新增对苹果开源机器学习框架MLX的支持。此外Ollama还改进了缓存性能并支持英伟达的NVFP4格式进行模型压缩大幅提升了特定模型的内存使用效率。这些改进结合在一起为搭载苹果芯片M1或更新版本的Mac电脑带来了显著的性能提升。时机恰到好处因为本地模型正开始在研究者和爱好者群体之外获得更广泛的关注。最近OpenClaw的爆红现象——在GitHub上迅速获得超过30万个星标通过Moltbook等实验引起轰动并在中国引起特别关注——让许多人开始尝试在自己的机器上运行模型。随着开发者对Claude Code或ChatGPT Codex等工具的速率限制和高昂订阅费用感到沮丧本地编程模型的实验热度不断升温。Ollama最近还扩展了Visual Studio Code集成功能。新支持功能目前处于预览阶段Ollama 0.19版本目前仅支持一个模型——阿里巴巴Qwen3.5的350亿参数版本。对于普通用户来说硬件要求相当严格。根据Ollama的公告用户不仅需要配备苹果芯片的Mac电脑还需要至少32GB的内存。此外Ollama现在能够利用苹果M5系列GPU中的全新神经加速器因此那些最新款Mac应该在每秒Token数和Token响应时间方面获得额外优势。虽然本地模型在基准测试中仍落后于前沿模型但我们正逐渐达到这样一个程度它们在某些任务上已经足够好用户可能无需为此付费订阅。当然与基于云的服务相比本地运行模型还具有隐私优势不过我们绝对不推荐像OpenClaw那样让模型深度访问系统的设置。主要障碍仍然是设置难度Ollama主要是命令行工具尽管已有其他界面可用和硬件能力特别是显存需求。苹果的MLX框架为苹果芯片的内存提供了优化访问GPU和CPU共享内存——这与Ollama之前针对的配备独立GPU的台式机采用了不同的方法。这并不意味着对大多数用户来说云端模型和本地模型之间的差距完全消失但对现代Mac用户来说这可能是朝着正确方向迈出的一步。Ollama尚未公布MLX支持何时退出预览阶段并扩展到更多模型的时间表。QAQ1Ollama的MLX支持有什么新功能AOllama新增了对苹果开源机器学习框架MLX的支持还改进了缓存性能并支持英伟达的NVFP4格式进行模型压缩为搭载苹果芯片的Mac电脑带来显著性能提升。Q2使用Ollama的MLX支持需要什么硬件配置A需要配备苹果芯片M1或更新版本的Mac电脑并且至少需要32GB内存。搭载M5系列GPU的最新Mac还能获得额外的性能优势。Q3本地大语言模型相比云端模型有什么优势A本地模型的主要优势是隐私保护用户数据不需要上传到云端。此外对于某些任务本地模型已经足够好用可以避免付费订阅云端服务的费用。

更多文章