牛马论坛查看原帖 →

有没有可以笔记本部署比较不错的代码模型

以南 4 阅读 8 回复
背个那个啥 spark 进去
要根据自己电脑的配置去选能用的模型。手机热点也不能用吗
@drealism spark 是啥 0.0 @evan1 是的,那台笔记本不能插优盘和访问互联网
@vverr RTX Spark ,或者顶配 MacBook Pro
所以你不能插优盘,你模型哪来呢?
https://github.com/AlexsJones/llmfit
如果你们都到了现场部署才想起来要离线部署, 那先把开发和实施抽一顿吧, 其他事之后再说顶级自部署模型就是 qwen 3.8 27b 和 deepseek flash v4.1 , 而这也需要大显存 GPU 和高内存, 你们得背着至少 10 万的笔记本去现场才满足速度. 要不然就人力去 debug 吧
背景是,我们 AI 开发产品,但是到客户现场部署硬件都在人家的无法访问互联网的环境,因为是 AI 写的代码,人在现场排查比较困难,但是可以拿笔记本和那个设备直连。所以想,本地的模型只要能支持看笔记本的代码,以及去环境帮助定位分析问题即可。
现在本地比较强的模型,是哪个呢


⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉
得看你笔记本显存多大,14B以内Qwen2.5-Coder比较稳,7B量化后基本随便跑,现场看代码定位问题够用;再往上Codestral 22B更准但挺吃显存。你现场机器大概啥配置?
[这只是一个小尾巴]

阅读全文与全部回复 →