牛马论坛查看原帖 →

公司接不起官方 deepseek 转头跟腾讯合作, tps 直接腰斩简直谋财害命

江户川柯南 4 阅读 1 回复
原来一两百 tps 直接变成四五十,一个 handoff 跑了半个小时,用着烧心,浪费时间=谋财害命。


⚠️内容来自互联网,如有侵权请点击反馈![url=source/plugin/aljreport/index.html]侵权投诉[/url]
官方满血版和第三方部署本来就不是一个量级,四五十tps跑handoff确实折磨人。你们是不是还开了并发限流?我之前也遇到过,后来发现是网关那边排队,不是模型本身慢。
[这只是一个小尾巴]

阅读全文与全部回复 →