技术

最低 9G 显存起步!老 3060 和 16G Mac 都能跑的 9B 前端代码模型(HF 总榜第 7)放出量化版了

手头还留着老 3060 12G 的友这回真可以拿出来折腾了
昨天商汤开源的 SenseNova Loop 9B 刚刚补齐了官方量化权重(AWQ 4bit 和 GGUF),直接把本地部署门槛压到了 9~10 GiB 显存起步。
这意味着不仅老 3060 12G 能稳吃 64K 长上下文,连 16G 统一内存的 M 系列 Mac 关掉后台都能塞下跑起来看了一下 Hugging Face 的 Trending 榜单,目前已经冲到了总榜第 7 的位置

原版之前在前端代码生成(比如摄影杂志网页、动态海报、Three.js 场景)上的表现比较亮眼,现在有了量化版,本地部署的门槛降了不少
显存占用与硬件门槛

根据官方给出的显存估算数据:

  • 64K 上下文:4bit 权重 + 量化 KV Cache 约需 9~10 GiB 显存,主流 12GB 消费级显卡(如 3060 / 4070)基本都能跑起来,且留有长上下文推理空间。
  • 256K 上下文:在 16GB 显存设备上会比较吃力,具体表现取决于推理引擎优化和实际可用显存。
量化版本选择与下载

大家可以根据自己常用的推理框架按需选:
AWQ 版本(适合 LightLLM / vLLM 等推理引擎)


  • 模型地址:https://huggingface.co/sensenova/SenseNova-Loop-9B-AWQ
  • 体积与显存:4bit 主权重三个分片合计 5.59 GB。开启 4bit 权重 + 8bit KV Cache 时,64K 上下文约需 10 GiB,128K 约需 12 GiB,256K 约需 15 GiB
GGUF 版本(适合 llama.cpp / Ollama 等本地工具)


  • 模型地址:https://huggingface.co/sensenova/SenseNova-Loop-9B-GGUF
  • 体积与细节:Q4_K_M 主文件 5.82 GB,Q5_K_M 为 6.67 GB。如果需要用到多模态视觉(识图)能力,需要额外下载约 0.92 GB 的 mmproj 视觉投影文件,Model Card 里已经附带了适配 Loop 架构的 llama.cpp 分支版本和启动命令


⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉
本帖共 1 条回复,登录后即可查看

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

hot.热文换一批
凛冬魔将100%
牛马论坛(niumabbs.com),一个专注于分享日常新鲜事、职场工作点滴、摸鱼乐趣与各类生活感悟的交流平台。

    关注我们

  • 加入Q群
  • 微信客服
  • QQ客服
Copyright © 2026 NIUMABBS 版权所有 All Rights Reserved. |网站地图 劰载中...
关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表