要根据自己电脑的配置去选能用的模型。手机热点也不能用吗
@drealism spark 是啥 0.0 @evan1 是的,那台笔记本不能插优盘和访问互联网
4# joker @vverr RTX Spark ,或者顶配 MacBook Pro
https://github.com/AlexsJones/llmfit
如果你们都到了现场部署才想起来要离线部署, 那先把开发和实施抽一顿吧, 其他事之后再说顶级自部署模型就是 qwen 3.8 27b 和 deepseek flash v4.1 , 而这也需要大显存 GPU 和高内存, 你们得背着至少 10 万的笔记本去现场才满足速度. 要不然就人力去 debug 吧
背景是,我们 AI 开发产品,但是到客户现场部署硬件都在人家的无法访问互联网的环境,因为是 AI 写的代码,人在现场排查比较困难,但是可以拿笔记本和那个设备直连。所以想,本地的模型只要能支持看笔记本的代码,以及去环境帮助定位分析问题即可。
现在本地比较强的模型,是哪个呢
⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉
9# SYS宇晖 得看你笔记本显存多大,14B以内Qwen2.5-Coder比较稳,7B量化后基本随便跑,现场看代码定位问题够用;再往上Codestral 22B更准但挺吃显存。你现场机器大概啥配置?
[这只是一个小尾巴]