DeepSeek又上新模型了? 是的,前两天服务器崩溃刚刚送完钱,转手就掏出了V4.1 FLash的1017新版本。 这下实锤了,什么崩溃,明明是上新前想给大伙儿送点福利罢了(bushi。。。 不过话说回来,这次的Flash我们还在测,今天世超想聊聊的,是 为什么更新的又是Flash模型,V4Pro又到哪里去了。 毕竟那可是差点把梁圣干成牢梁,还下架又上架,秽土转生了一波的神奇模型啊。 就没人解释解释,V4 Pro到底哪儿出毛病了? 诶,有的兄弟有的,这不,隔壁字节的 Seed 团队就挖出来了一些线索,说是模型的上下文压缩出问题了。。。 扒拉完这篇 Seed 的论文,世超觉得,这车翻得不冤,但大蓝鲸它也真没毛病嗷。 具体来说,V4 Pro 这回不是单纯的记性变差了,而是患上了某种有规律的选择性失忆。 论文里,研究人员拿 DeepSeek 自己的推理代码做了个实验,让 V4 Flash 补全一段代码。 结果发现,只要往前面的注释里加几个无关紧要的等号,上下文变长点,模型就会在正确和错误答案中间反复横跳。 而且这玩意儿还不是随机的,每隔 4 个 Token,就会重复一轮。 按论文里的专业说法,这叫 相位敏感性 。 翻译成大白话就是 V4 Pro 这条大鲸鱼非常挑食,你给它的上下文,它会挑着吃。 如果大伙儿经常用 AI,应该能感受到,模型的注意力一般集中在头和尾,中间信息经常丢失。 这回的发现则更加细致,不只是提示词整体,每个小部分里面,同样的信息,你给它调调位置,人模型可能就不乐意看了。 好家伙,谁给我小鲸鱼整这么矫情了? 研究者们继续挖,发现原来跟 V4 Pro 的压缩策略有莫大关系。 为了维持量大管饱的超高性价比,DeepSeek 给 V4 系列模型上了一套 CSA+HCA 的组合压缩方案。 问题大概率就出在这儿,因为这俩是分块压缩的,逻辑相当简单粗暴。 比如 CSA,就是每 8 个 Token 压成一个块儿,每隔 4 个 Token 压一次,块与块之间有重合部分。 你看,这不就对上了,上面的实验里,规律也正好是 4 个 Token 一轮次。 出于严谨性,Seed 的老哥又搞了个加强版的插针实验做补充,把 16000 对数据塞进 128K 的上下文,让模型从中找出指定答案。 这回测了 4 个 V4 模型,分别是 V4 Pro 没有后训练的 Base 版和 0813 的正式版,以及 V4 FLash 的 Base 版和正式版。 成绩跟大伙儿预想的基本没差,尤其是 Base 基础版模型,Pro 的准确率波动范围有足足 34.7%,Flash 更是直接干到了 40.23%, 酣畅淋漓的大起大落 。 更难崩的是经过后训练的正式版里,Flash 的稳定性反而要压 Pro 一头,怪不得差评如潮呢。。。 而且即使正式版修补了一些不稳定的毛病,但还是存在规律的波动,没法根除。 到这儿,其实已经能看出,只要用上 CSA+HCA 的组合技的,或多或少都有点问题。 但找到了病灶,还是不知道病因呐,而且影响模型性能的因素太多,架构、训练的特殊性等等都会干扰最后的表现。 所以研究员们选择控制变量,剔除干扰因素,继续做实验。 他们拿隔壁千问 Qwen3-0.6B 的小模型当新底座,用不同的压缩策略,从头训练了一批模型。 这回算是真相大白了。 不用这种分块策略的,基本稳成了一条线,但只要加入分块算法,周期性就会凸显出来。 而且这周期还会随着压缩步长同步变化,步长几个 Token,周期也是几个 Token,一眼鉴定为亲生的。 那到底为啥分个块儿就能导致间歇性失忆呢? 从这些训出来的小模型中,研究者们也找到了一些解释。 比如按咱正常人的理解,几个 Token 压成块儿,那自然应该平分权重,但模型却不是这么想的。 他们练着练着,就会找着一个固定口味儿,而且还是萝卜青菜,各有所爱。 比如其中的一个模型,它内部的第 14 层喜欢前面,第 10 层偏爱中间,第 9 层则中意后面。 这么压缩下来,甭管你这上下文有用还是没用,只要不在它乐意的地段儿上,那人家是瞅都不瞅一眼的。 到这儿,就跟当初折腾 DeepSeek Harness 的记忆有点对上号了。 因为 DeepSeek V4 Pro 时神时鬼,社区开发者整出了不少神奇的路子,让它发挥正常实力。 当时流行的操作是开极简模式,或者开头只给它开放俩工具,等它渐入佳境,再把完整工具放出来。 现在看,跟它的记忆缺陷可能就有很大关系,叠加上过拟合之类的潜在因素,那可不就越用越抽象了。。。 那问题来了,DeepSeek 为啥非得走这条风险奇高的路子呢? 答案倒也直白得很,因为眼下大伙儿都在搞组合压缩,而 DeepSeek 好像一直是其中最激进的那批。 前段时间风头正盛的 Kimi-K3,用的是 KDA + Gated MLA;G
2026-11-22
人口下降趋势难改?以后的10后20后,或许面对一个“机遇”中国
一提到人口下降,很多人第一反应是担心,孩子少了,老人多了,学校空了,工厂招工难了,社会是不是会变得越来越吃力? 可换个角度看,人口变化不只是一道减法题,对今天的10后、20后来说,他们长大后碰到的中国,可能不是更拥挤,而是更讲究人的价值。人少了,机会会不会反而多了? 2025年,中国人口继续保持14亿以上规模,全年出生人口为792万人,死亡人口为1131万人。年末全国人口比上年减少339万人,这个...
2026-11-22
打进考文垂生涯第20球,坂元达裕:得找个人教教我怎么庆祝
英超第11轮,考文垂主场3-2击败水晶宫。第30分钟,坂元达裕在禁区外抽射破门,帮助球队再次取得领先,这也是他为考文垂打进的第20球。赛后,坂元达裕接受俱乐部媒体采访,谈到了近期的进球状态,以及时隔五年多再次为日本队出场的感受。 今天这场球赢下来,感觉怎么样? 坂元达裕:自己进了球,球队也赢了,我特别高兴。 你最近状态怎么这么好?这么短的时间里就进了三个漂亮球,其中一个是对巴西队进的,不过更重要的...
2026-11-22
字母哥冲到第三!热火,要成为东部的大麻烦了?
北京时间11月21日,NBA官方公布了最新一期的MVP榜单,这一期的前十与上一期有个明显变化,具体如下: 1、东契奇,湖人,上期第1 2、文班亚马,马刺,上期第2 3、字母哥,热火,上期第11 4、塔图姆,凯尔特人,上期第3 5、约基奇,掘金,上期第5 6、申京,火箭,上期第9 7、马克西,76人,上期第6 8、亚历山大,雷霆,上期第4 9、坎宁安,活塞,上期第10 10、唐斯,尼克斯,上期第13...
2026-11-22
长20cm, 史上最大的人类粪便化石? 维京人的,竟然比很多国宝还金贵
英国约克有家博物馆,玻璃柜里摆着一坨一千多年前的大便,长20厘米,被当成镇馆之宝供着。听起来有点好笑,可在考古学家眼里,它比很多金光闪闪的宝贝还金贵。 我们觉得,它值钱就值在一点:替一个普通维京人,把他最真实的日子原封不动留了下来。 先说约克这座城。它在英格兰北部,罗马人当年在这儿修过军营。 公元866年,维京大军打下了约克,此后这里成了维京人在英格兰的大本营,他们管它叫约维克。维京人在这儿说了算...