热点聚合 · 2026-05-17

这篇来自 Reddit 的民间测试很实在，用 7 张混插的消费级和专业卡（包括改过显存的 4090）跑长上下文预填充，结论很明确：在混卡环境下，vLLM 是唯一能打且打得好的。它靠软件模拟 FP4 格式兼容老卡，还能手动分配每张卡算多少层网络，把快卡和慢卡的负载调平，避免一张卡拖慢全队。 具体到数字，在 3970 亿参数的大模型上塞进 7.5 万 token 的上下文，vLLM 首 token 延迟 9.8 秒，预填充速度 7683 token/秒；llama.cpp 要 57.2 秒，速度只有 1319 token/秒，差距确实大。SGLang 在纯新卡上表现接近 vLLM，但混入一张旧卡就崩溃，因为它强制要求硬件支持 FP4，没有软件降级方案。 需要注意，这是个人玩家的单次测试，没披露并发、解码阶段表现和功耗，而且用了 4-bit 量化权重，精度损失对实际任务的影响没提。如果你也是混卡组机器跑大模型，这个结果可以参考，但别直接当成通用结论。

这条帖子最值得看的是实测速度：24GB 内存的荣耀 Magic 7 Pro 上，LFM2-24b-a2b 这个混合专家模型（MoE，把任务分给不同小专家处理，省算力）在 Q4 量化后跑到约 24 token/秒，Gemma 约 11 token/秒。对手机端来说，24 token/秒已经能用了，不是那种等半天才蹦一个字的体验。 但有个反直觉的结果：这套配置里 CPU 推理比 NPU 和 GPU 都快。这不太正常，通常 NPU 应该更擅长跑模型。问题在于发帖人没交代用了什么推理框架、有没有针对骁龙的 NPU 做适配，也没测功耗和发热。如果只是拿通用框架跑了一下，那 NPU 跑不过 CPU 只能说明软件没跟上硬件，不代表芯片本身不行。 还缺几个关键信息：模型加载占了多少内存、持续跑几分钟后会不会降频、不同量化精度的速度差异。这些没测，就没法判断这配置到底能不能当日常助手用。

Semble 把语义嵌入、传统关键词匹配和重排序模型串成一条流水线，专门解决 AI 编程 agent 在代码库里找东西时 token 消耗太大的问题。在 63 个代码仓库的测试里，搜索质量 NDCG@10 到了 0.854，每次查询在 CPU 上大约 1.5 毫秒，比直接用 grep 再读文件省了 98% 的 token。这个数字如果稳定，对按 token 计费的场景确实能省一笔钱。 不过要注意，正文只给了 63 个仓库的基准测试结果，没说明这些仓库的规模、语言分布，也没和别的语义搜索方案做横向对比。0.854 的 NDCG 看起来不错，但不知道在超大单体仓库或者跨语言项目里会不会掉。另外，工具本身是开源的，但重排序模型的具体选型和训练细节正文没展开，想复现或者调优的话还得自己翻代码。 整体看，思路很实用——用轻量方案在本地 CPU 上快速筛一遍，再交给重排序模型精排，避免了每次搜索都烧大模型的 token。缺的是更大规模、更多场景的验证，以及和其他同类工具的对比数据。

MiroMindAI 把他们的深度研究 agent 放出来了，权重直接挂在 HuggingFace 上。mini 版用了 MoE 架构，30B 总参数但干活时只激活 3B，这对本地消费级硬件是个好消息——显存占用和推理延迟理论上会低不少。上下文管理用了滑动窗口 K=5 加 episode 重启的策略，相当于每轮对话只保留最近几轮的关键信息，超长任务跑崩的概率会小一些。 不过这条信息来自 Reddit 帖子，原文被屏蔽了，我们拿到的只是摘要。实际推理速度、显存占用、任务完成质量这些关键指标都没披露。MoE 模型在消费级硬件上的吞吐量波动很大，3B 激活参数不代表就能在树莓派上跑，还得看路由机制和内存带宽。另外深度研究 agent 的核心是工具调用和长链推理的稳定性，光看架构参数判断不了实际好不好用。 如果是真的，30B 模型只激活 3B 就能做深度研究，对本地部署场景确实挺省钱。但没看到实测数据之前，这点先别太激动。

这篇帖子本身没拿到正文，Reddit 直接返回了 403，所以所有判断都只能基于标题和摘要里的碎片信息。作者在 Qwen3.6-27B 上跑了 85 个 GPU 小时的实验，对比了五种 abliteration 方法，这个计算量不算小，说明对比做得比较认真。摘要提到 Huihui 方法在基准测试上掉分最少，Heretic 方法的 KL 散度最低，也就是输出风格跟原模型最接近。五种方法都做到了近乎完全移除安全限制，这点不意外，abliteration 这类操作本来就是冲着拆护栏去的。 现在最大的问题是缺细节：不知道具体用了哪些基准测试，HarmBench 上的具体分数是多少，权重分析发现了什么规律。另外 27B 模型在单卡或双卡上就能跑，85 GPU 小时意味着可能做了多次重复实验或者测了很多子任务，但没看到实验设计就没法判断结论有多可靠。如果后续能拿到完整帖子或者作者在 Hugging Face 上放了详细报告，才值得认真看。目前只能说方向有意思，但信息缺口太大，别急着引用这个结论。

这篇 ICML 2026 的工作解决了一个很实际的痛点：做视觉模型对齐时，不用再人工构造“A 比 B 好”的偏好对，直接拿一个标量分数（比如美学评分、图文匹配度）就能开训。做法是先让模型生成一批图，算出分数分布，定个阈值，高于阈值的当正样本往上拉，低于的当负样本往下压。论文在 Stable Diffusion v1.5、FLUX、Wan 1.3B 和 Meissonic 上都跑了实验，覆盖图像和视频生成，说明方法通用性不错。 不过正文没披露具体阈值怎么定、对分数分布敏感度如何，也没给出和传统偏好对方法在相同预算下的直接对比。这点先别太激动——省掉偏好对标注是省了人工，但如果阈值调不好，正负样本划分可能很糙，最终效果会打折扣。另外，实验用的分数模型本身有没有偏、能不能代表真实用户偏好，正文也没展开。

Mustafa Suleyman 给了一个很激进的时间表：18个月内 AI 达到人类水平，把会计、法律、营销、项目管理这些坐在电脑前的活全自动化。这个判断目前只有他个人的口头预测，正文没披露任何支撑数据、内部测试结果或阶段性产品计划，所以可信度要打不小的折扣。 他说自己的目标是搞出“超级智能”，以后建一个新 AI 模型会像录播客或写博客一样简单。这个说法更像在描述一个远期愿景，而不是接下来一年半会发生的事。从现有公开信息看，微软自己的 Copilot 产品线还在解决准确率和企业落地的问题，离“完全取代白领”差得远。 这条新闻的价值在于看微软 AI 掌舵人怎么定调子，但缺的东西也很明显：没有定义什么叫“人类水平性能”，没有说明覆盖哪些具体任务，也没有提到验证方法。这些缺口让 18 个月这个数字更像一个公关信号，而不是工程时间表。

Elon Musk 宣布 Grok Imagine 在 X 对所有用户开放，用的是他们最新的文本到图像模型，主打写实风格和多宽高比输出。这条消息本身很短，只说了“能用”，但没给任何硬指标：模型参数量、推理延迟、是否收费、有没有地区限制，全都没提。对想拿它干活的从业者来说，这些信息缺口挺要命的——你不知道它跟 Midjourney、DALL·E 3 比到底差多少，也不知道免费额度够不够试。功能上线是好事，但现阶段只能当个尝鲜玩具，别急着把它塞进生产管线。等官方补上定价和性能数据再评估不迟。

这条 Reddit 帖子给了一个很实用的参考点：DeepSeek V4 标称 100 万 token 的上下文窗口，实际写代码最舒服的区间是 15 万到 25 万 token。超过 30 万 token，模型对具体行号的定位开始不准；到 52 万 token 时，输出明显偏向架构总结，具体实现细节会跳过。这跟很多人的体感一致——长上下文不是越长越好，模型会“偷懒”抓重点，丢掉细粒度信息。 不过得说清楚，帖子正文没披露测试用的具体任务和评估指标。我们不知道是让模型改 bug、加功能还是做代码审查，也不知道“不准”是怎么衡量的。发帖人只给了 token 数和结论，没给原始对话或评分标准。所以这个结论更像一个用户经验，不能当正式基准看。 对实际干活的人来说，这条信息有用：别一上来就塞整个代码库，先控制在 20 万 token 以内试试。但如果你要做精确到行的修改，超过 30 万 token 就得自己多检查。另外，帖子没提不同编程语言或项目结构的影响，这也是个缺口。

这条新闻目前只能当个信号看。FT 的标题直接说字节跳动和快手在视频生成上领先美国对手，在广告和娱乐场景里效果更好，但点进去只看到安全验证页面，正文完全没加载出来。我不知道他们拿什么模型比的、用的什么评测标准、样本量多大、延迟和成本怎么样，这些关键信息全缺。 标题里的“领先”需要具体数字撑腰——比如生成一段视频要多少钱、等多久、用户盲测偏好率是多少。如果只是挑了某个特定场景说“效果更好”，那说服力有限。另外，视频生成现在各家差距本来就不大，今天你领先明天他追上，没有持续几轮的横向对比，单次结论容易过时。 等看到完整正文，我会重点盯三件事：对比的是哪些具体模型、评测是人工打分还是自动指标、有没有披露推理成本和延迟。这三样缺一不可，缺了就只能当公关稿看。

这条新闻最值得看的是它点出了 AI Agent 的“隐性账单”：让模型在编程任务里自主干活时，输入和输出的 token 消耗比可以拉到 154:1。也就是说，模型为了完成一个任务，可能要先吞下大量上下文，再吐出一点点代码。这跟平时我们看单次问答的成本账完全不一样。 不过要泼盆冷水。原文因为微信环境验证失败，正文没抓到，所以 8 个前沿模型在 500 个 swe-bench 任务上的具体表现、哪个模型最“啰嗦”、成功率跟 token 消耗到底什么关系，这些关键信息全是空白。另外，摘要里提到人类标注的任务难度和实际 token 消耗之间关联很弱，Kendall tau 只有 0.32，说明我们凭直觉判断“这题难所以费 token”根本不靠谱。 还缺的东西很多：Agent 跑这些任务的成功率是多少？不同模型之间的效率差距有多大？有没有办法在不掉性能的前提下砍掉无效 token？这些才是决定这条发现能不能落地的关键。

Peter Steinberger 公开的后台数据挺直观：30天跑了760万次请求，吞掉6030亿个token，账单超过130万美元。他特别提到关掉“快速模式”后费用直接砍了七成，说明推理速度的溢价相当高，追求低延迟的代价是真金白银。 不过这条新闻最大的信息缺口是：OpenAI 没向他收费。正文没披露这是赞助关系、测试额度还是某种合作置换，所以130万这个数字不能直接当成市场价。对普通开发者来说，实际成本得在这个基础上打折——打几折不知道，但肯定不是零。 另外，760万次请求背后是什么场景、什么模型、单次请求平均token量多大，这些都没展开。如果大部分是长上下文或复杂agent调用，那烧token的速度本身就不意外。想知道这笔账划不划算，还得看他用这些请求产出了什么。

这篇文章把“世界模型”这个被炒烂的词掰开了讲，一条是 Yann LeCun 那派想让模型在脑子里做物理推演，另一条是 NVIDIA 和游戏引擎那派想直接生成可交互的 3D 场景。两条路目标不同、技术栈不同，但钱都往这砸——18 个月超过 100 亿美元，说明资本在赌一个能统一感知和行动的底座。 DreamDojo 的例子挺有意思：用 44,711 小时的第一人称视频做预训练，不用真实机器人数据，就能让模型预测动作后果，跟真实策略的相关性 r=0.995。这个数字看着漂亮，但要注意它测的是“相关性”而不是任务成功率，离实际部署还有距离。另外文章是机器之心编译自 MoE Capital 的博客，来源本身有投资视角，对技术风险的讨论偏少。 缺的东西也明显：没提这些世界模型在复杂动态场景下的泛化表现，也没说训练和推理成本。100 亿美元砸下去，目前看到的还是实验室指标，能不能跑通商业闭环，正文没给答案。

Anthropic CEO Dario Amodei 这次说的不是技术进展，而是他对 AI 经济后果的预判。核心逻辑是软件成本会降到接近零，传统靠卖软件授权的商业模式会被打穿。他举的例子很直接：现在工程师还能去做编辑或升级工作，但 AI 模型会不断吃掉更多任务，很多干了几十年的职业会慢慢消失。 他给了两个数字——GDP 增速可能到 5%-10%，同时失业率上升、贫富差距拉大。但正文没披露这两个数字是怎么算出来的，是基于什么假设、什么时间窗口，也没说数据来源。这种宏观预测最容易翻车，所以这两个数先别太当真，重点是他想传递的那个矛盾：增长和淘汰会同时发生。 还缺的东西不少。他没说哪些行业会先被冲击，也没提政策建议或企业该怎么做。整段话更像是对社会反应速度的担忧——他觉得大家还没意识到这场变化的规模和冲击有多大。这个判断本身值得注意，但离可操作的结论还差得远。

Anthropic 的 CEO Dario Amodei 在《华尔街日报》的采访里抛了两个很重的判断。第一个是软件成本会跌到接近免费，过去那种“做出来卖一百万份”的商业模式可能直接崩掉。这背后是他对模型能力继续爬升的预期——如果生成一个复杂软件跟生成一段文本一样便宜，定价权确实会从软件公司转移到算力供应商手里。第二个判断更扎心：几十年攒下来的白领岗位和职业结构，可能说没就没了。他补了一句社会能适应，但警告现在没人当真。 这里有几个信息缺口得说清楚。正文没披露他说的“免费”是指边际成本还是总拥有成本，也没讲时间线是三年还是十年。没有这两个锚点，“基本免费”更像战略喊话，不是工程交付承诺。另外，他说的“很多职业消失”没给具体行业或数据，更像定性预警。Anthropic 自己就是卖模型 API 的，说软件免费等于说别人的生意不值钱，自己的护城河在模型层，这个立场得算进去。 整体看，这更像一份来自一线玩家的极端情景推演，不是行业共识。方向值得盯着，但具体数字和节奏都还缺，先别急着按“软件清零”做决策。

这条新闻值得点开，因为它说清了一个反直觉的事实：泄露数据的不是AI写的烂代码，而是平台那个“一键上线”的默认设置。安全公司RedAccess扫了38万个应用，约2000个直接暴露敏感信息，包括医院排班表、银行财务数据和临床实验资料。Moltbook社交平台上线三天就崩，因为数据库权限开关没打开，150万个API令牌裸奔。 四家平台的回应高度一致，都把锅甩给用户配置错误。但当一个平台每天产生几万个应用，使用者大多是产品经理或运营，根本不知道“公网”意味着什么，默认公开就不是用户失误，是系统性设计缺陷。Georgia Tech追踪到AI代码引入的漏洞三个月翻了近六倍，实际数量估计在400到700个。 文章没披露RedAccess扫描的具体时间范围和是否排除了测试数据，这点让2000这个数字要打个折。但核心判断站得住：vibe coding把从“代码写完”到“上线”之间的安全决策窗口压缩到零，建应用的人甚至不知道自己跑了一个公网数据库。如果你公司有人在用这类工具搭内部应用，先搜一下域名，大概率已经被Google收录了。