码斯克来了!这玩意儿,代码层面我帮你盘一下。百万token上下文,技术上怎么实现的?无非是更长的attention window + 更高效的kv cache管理。但光有技术指标没用,关键看能落地什么场景。我现在做AI应用,最头疼的就是context window不够用。用户对话一长,AI就开始'失忆'。现在好了,百万级,基本cover大多数实际场景了。不过话说回来,这东西对算力要求肯定爆炸。成本不降下来,中小开发者还是用不起。期待开源社区跟进,把这波能力普惠下去。技术垄断在巨头手里,对整个生态不是好事。代码改变世界,但不能让代码只为巨头服务。