首页
社区
心情
心情广播
游戏
面板
靓号
功能
摸鱼
摸鱼
登录
立即注册
帮助
元素远征
牛马集市
会员星图
字帖生成
登录特效
旅行地图
任务成就
积分商城
超级淘客
资源广场
友情链接
众裁中心
寻宝彩蛋
游戏勋章
牛马网盘
牛马图床
时间胶囊
牛马万年历
恶作剧商店
技术
最低 9G 显存起步!老 3060 和 16G Mac 都能跑的 9B 前端代码模型(HF 总榜第 7)放出量化版了
微信扫一扫 分享朋友圈
已有
37130
人穿越成功
教程:手机怎么扫描二维码
3
1
🐮Little
ID
264
15 分钟前
发表在
兴趣交流
|
查看全部
阅读模式
众裁
手头还留着老 3060 12G 的友这回真可以拿出来
折腾
了
昨天商汤开源的 SenseNova Loop 9B 刚刚补齐了官方量化权重(AWQ 4bit 和 GGUF),直接把本地部署门槛压到了 9~10 GiB 显存起步。
这意味着不仅老 3060 12G 能稳吃 64K 长上下文,连 16G 统一内存的 M 系列 Mac 关掉后台都能塞下跑起来看了一下 Hugging Face 的 Trending 榜单,目前已经冲到了总榜第 7 的位置
原版之前在前端代码生成(比如摄影杂志网页、动态海报、Three.js 场景)上的表现比较亮眼,现在有了量化版,本地部署的门槛降了不少
显存占用与硬件门槛
根据官方给出的显存估算数据:
64K 上下文:4bit 权重 + 量化 KV Cache 约需 9~10 GiB 显存,主流 12GB 消费级显卡(如 3060 / 4070)基本都能跑起来,且留有长上下文推理空间。
256K 上下文:在 16GB 显存设备上会比较吃力,具体表现取决于推理引擎优化和实际可用显存。
量化版本选择与下载
大家可以根据自己常用的推理框架按需选:
AWQ 版本(适合 LightLLM / vLLM 等推理引擎)
模型地址:https://huggingface.co/sensenova/SenseNova-Loop-9B-AWQ
体积与显存:4bit 主权重三个分片合计 5.59 GB。开启 4bit 权重 + 8bit KV Cache 时,64K 上下文约需 10 GiB,128K 约需 12 GiB,256K 约需 15 GiB
GGUF 版本(适合 llama.cpp / Ollama 等本地
工具
)
模型地址:https://huggingface.co/sensenova/SenseNova-Loop-9B-GGUF
体积与细节:Q4_K_M 主文件 5.82 GB,Q5_K_M 为 6.67 GB。如果需要用到多模态视觉(识图)能力,需要额外下载约 0.92 GB 的 mmproj 视觉投影文件,Model Card 里已经附带了适配 Loop 架构的 llama.cpp 分支版本和启动命令
⚠️内容来自互联网,如有侵权请点击
反馈
!侵权
投诉
违规内容举报
回复
转播
恶作剧
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
本帖共 1 条回复,登录后即可查看
登录查看
立即注册
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
🐮Little
Lv.1
牛马新星
111
主题
0
回帖
339
积分
+ 关注
发消息
hot.热文
换一批
别眨眼!人类首次"看见"光子!你家灯泡里全是它!
二十出头就显成熟?揭秘上一代人的"大人模样"背后原因
女装退货率飙至80%,商家为何挂密码锁发货?
古人为何50岁就百病缠身?揭秘1972年7月30日“马王堆女尸”出土之谜
世界上最凶猛的10种鸟,金雕到底有多厉害?猎杀野狼轻而易举?
中国真挖到“宝”了!海水里藏45亿吨铀,美国70年难题被突破
太阳和银河系之间,还有一个神秘结构?
牛马论坛[NIUMABBS]-行为规范准则
小时候父母不让玩手机的秘密,网友亲测:经历过才懂!
[Day 21] - 10.26 - Tibo 又要重置了
day 22 - 今天 tibo 又重置
测试
求一个 Claude Team 车位,想直接进 Team
AI 普及之后,应该把所有 Electron 重写为 native
1000 美金预算还剩 998,我让 AI 开启了「付费软件斩杀计划」(Day 7 / 7)
“软饭硬吃?”石家庄一名25岁小伙在酒吧上班,被一位45岁的有钱大姐相中。
Ubuntu 等 Linux 发行版一发布,就锁定 PHP 版本号的原因是什么?
这种小程序葵花码直跳链接是怎么做到的?
1024 节日快乐
感谢老板支持,成功拿下【全家福-至尊套餐】
GPT-6.2 Astra & Sol 发布了
x 互粉贴! x 中文圈抱团
如何减少人为干预,让 agent 独立工作并提高交付质量
甲骨文免费 amd 小机出问题了吗
上一主题
下一主题
100%
×
模板默认
东方雅韵
竹青·幽篁
霁蓝·澄碧
朱砂·绛霞
紫宸·夜宴
黛青·烟岚
月白·素练
莫兰迪雾色
雾灰·静默
鼠尾草·低吟
陶土·温存
石板·沉静
薄红·微醺
燕麦·素净
自然原木
橡木·暖阳
苔藓·晨露
陶土·粗陶
砂岩·旷野
森林·深境
桦木·素白
社区首页
我的帖子
我的消息
每日签到
游戏中心
查看全部
收起
全部应用
5
社区首页
默认
我的帖子
默认
我的消息
默认
每日签到
默认
游戏中心
默认
牛马论坛(niumabbs.com),一个专注于分享日常新鲜事、职场工作点滴、摸鱼乐趣与各类生活感悟的交流平台。
快捷访问
我的帖子
我的收藏
我的好友
我的关注
附加功能
任务大厅
道具商店
勋章中心
随便看看
关于我们
举报
小黑屋
手机版
站点统计
关注我们
加入Q群
微信客服
QQ客服
Copyright © 2026
NIUMABBS
版权所有
All Rights Reserved.
|
网站地图
劰载中...
关灯
在本版发帖
扫一扫添加微信客服
QQ客服
返回顶部
快速回复
返回顶部
返回列表