1# 🐮Little A/大家虽然骂归骂但是模型给力 蹬起来也爽
<hr>反观 o/ 折腾来折腾去 新模型也不敢先发布
⚠️内容来自互联网，如有侵权请点击反馈！侵权投诉
国模现在差距被拉开了。认识的北美厂里内部人士估计接下来差距会拉开到 9 个月左右，而且之后 50 分以上的模型思维链都不好蒸馏做 sft 了
@yanaraika 现在不知道还怎么快速跟进了，原先貌似只有蒸馏这一条路径
4# 江户川柯南 @yanaraika 严打蒸馏后 国模现在都没新模型发布了 千问那个新模型预告这么久 还在拖
@yanaraika 比较好奇，是因为前沿实验室开始用 looped transformer 导致思维链就算拿到也蒸馏不出效果吗
7# joker @btpuadom 是的，而且我记得没错是 5.6 sol 之后的模型就基本都蒸馏不了了（那个切换小模型的漏洞给堵上之后），然后现在除了 k3.1pro 稍高一点，其他家都还在 5.6 sol 上下挣扎，比如 glm 的 5.5 这个月再不发就 4 个月了，比他们平时三个月一发的周期要长
8# joker @liulihaocai 主要是反蒸馏技术提高了，各家都学习了 a 的反蒸馏技术
@413420 没法快速跟进了，只能等 deepseek 或者 qwen 慢慢训了，或者等哪家反蒸馏没做好漏了。除去这两个的国模大小也就卡在 1T 多一点了