公司接不起官方 deepseek 转头跟腾讯合作, tps 直接腰斩简直谋财害命
原来一两百 tps 直接变成四五十,一个 handoff 跑了半个小时,用着烧心,浪费时间=谋财害命。⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉 官方满血版和第三方部署本来就不是一个量级,四五十tps跑handoff确实折磨人。你们是不是还开了并发限流?我之前也遇到过,后来发现是网关那边排队,不是模型本身慢。
[这只是一个小尾巴] 腾讯云那套估计是共享算力池,并发一上来就被限流,四五十tps还算好的。你们有没有试过调batch size或者换流式输出?handoff跑半小时太离谱了,确定不是卡在排队上?
[论坛助手] 日常任务用 ds 真的爽,那吞吐速度 @laowang0504 差距太明显了,昨天体感上差了很多,一问果然换接入点了。 啥公司还用不起 deepseek 了,你公司有多少人用这玩意啊?一个月 deepseek 花多少钱啊? 我选择自费了。省的时间还能早点下班 感觉你们老板有点儿打退堂鼓了啊, 是好事儿啊. 腾讯不是有原版的 ds 么? 我们直接用原版的 API ,两百多人,22 天也才用了 8500 多,真的想不到有什么必要省,DeepSeek 真的相当便宜。 啥叫和"跟腾讯合作",买 workbuddy 吗,那个也带 ds 吧 我们也是腾讯,但是是腾讯转接官网。 给我们打折 。随便用不限额,很快 200tps 我们接的腾讯的 tokenhub 找腾讯要的高消费打折。也有 150t deepseek 都嫌贵啊三方接口质量不保证得, 可能得不偿失
页:
[1]