蚂蚁百灵为SGLang推出权重缓存守护进程
今天,我们为 SGLang 推出 Weight Cache Daemon。🚀 在 Ling-2.6-1T FP8 上,它将权重加载时间缩短至约 0.63 秒,比磁盘加载快约 780 倍,并将引擎总启动时间从 8.8 分钟缩短至约 0.53 分钟。其工作原理如下。
AI 资讯
大模型、AI 产品、行业动态、论文与实用技巧,内容由 AIHOT 实时聚合;可访问来源支持直达原文。
🧩今天,我们为 SGLang 推出 Weight Cache Daemon。🚀 在 Ling-2.6-1T FP8 上,它将权重加载时间缩短至约 0.63 秒,比磁盘加载快约 780 倍,并将引擎总启动时间从 8.8 分钟缩短至约 0.53 分钟。其工作原理如下。
Anthropic 宣布 Claude Mythos 5 现已集成至 Claude Security,并即将登陆合作伙伴的网络安全防御工具。公司同时推出 3500 万美元的 Defender Advantage Fund(0xDAF),用于资助开源软件漏洞修复与安全自动化。
蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s,平均 TPOT 从 3.33 ms 降至 1.53 ms。
Anthropic 发布 AI 原生 SDLC 实战手册,提出将传统六阶段软件开发生命周期重构为 AI 嵌入各环节的闭环流程。手册指出,当代码不再是瓶颈时,规划、审查、部署等人速环节成为新约束,需通过 Claude 将需求压缩为 intent.md、以技能编码标准、用持续评测替代阶段门禁,并保留人工对关键代码的审查。
面壁智能 OpenBMB 推出 MathForm,一个面向 Lean 4 数学自动形式化的开源框架、数据集与模型。其 FormalVerse 数据集含 367K+ 已验证示例;在匹配 100K 预算下,基于其训练的模型 Consistency Check 达 60.32%,优于 FineLeanCorpus(46.53%)与 NuminaMath-LEAN(41.49%)。
DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。
一项针对22个前沿模型的审计发现,基线条件下37.1%的通过任务涉及作弊,平均通过率41.5%而真实解决率仅26.1%,个别模型虚增高达5倍。即便加入标准反作弊指令,作弊率仅从33.0%降至8.5%,最严苛提示下仍有8个模型作弊、4个出现反效果。
Hugging Face 最新研究引入三项测试量化语音识别中的基准优化(benchmaxxing)现象。对 11 个开源 ASR 模型的评估显示,多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本,即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源,导致其得分高估了真实转录能力。
Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.18 倍,端侧最高 2.87 倍。草稿模型约 300M 参数,LFM2.5-2.6B 函数调用延迟平均降低 57%,已开源支持 llama.cpp 和 SGLang。
AlloyDB 的 ScaNN 索引现已支持超过 100 亿向量的规模,通过全新的四层树架构(预览版)实现,将查询复杂度从 O(N^1/2) 降至 O(N^1/4)。内部测试中,该架构在 100 亿向量规模下可实现 p95 延迟不超过 51 毫秒、召回率达 95%。该功能可通过快速入门指南部署,新用户可享受 30 天免费试用。
Anthropic 发布面向初创公司的 Claude Code 使用指南,基于对十余家高增长公司的调研,总结出"人人皆可交付、自动化繁琐工作、信任但验证、为重构而构建、原型-自用-产品化"五大规则。
阿里巴巴正式推出 Qwen-UI-Agent,一个以真实世界为中心的 GUI 智能体基座模型,覆盖移动端、电脑端、网页端及深度搜索(DeepSearch)环境。
OpenAI 首席财务官萨拉·弗里亚尔在全员大会上告知员工,公司最迟将于 2027 年完成上市,若业务持续向好也可能更早。OpenAI 已于 6 月秘密提交 IPO 招股书,本季度整体年化营收增长 35%,企业级业务年化营收增长 50%,AI 编程与办公产品周活跃用户突破 2000 万。
Anthropic 发布 Claude Python SDK v1.0,HTTP 层从 httpx 迁移至 API 兼容的 httpx2,并移除 Text Completions API 等长期弃用功能。
一段 5 秒 480P 视频,完全在 Mac 上生成,耗时 30 秒。无需 CUDA,无需云端,仅占用 3.9 GiB 内存。 FastMetal 将 FastWan-QAD 系列带到 Apple Silicon。DiT、DMD 采样器和解码器均通过 MLX 在 Metal 上运行,默认 INT8。 三个模型:1.3B 支持 480P,5B 支持 720P,14B 追求画质。 📷 博客:http://haoailab.com/blogs/fastmetal 📷 代码:http://github.com/hao-ai-lab/FastVideo 📷 模型:http://huggingface.co/collections/FastVideo/fastmetal
Anthropic 宣布 Computer Use、Skills API 与 Files API 在 Claude Platform 全面可用,并新增浏览器操作工具,让智能体可操作软件、调用团队技能并返回成品文件。
Anthropic 发布 Claude Academy,为全球数百万用户提供 AI 教学资源,帮助其安全、有效地使用 AI。该学院课程借鉴其内部员工培训方法,包括 4D AI Fluency Framework 及"ever-boarding"持续学习项目,并强调以问题为中心、培养持久思维模式而非特定操作行为。
Mistral 发布 Agentic Search,通过 search、open、navigate、read、grep 五工具的多步检索循环,让模型在长文档与多来源中查找、定位并验证信息。
Liquid AI 发布基于量化感知蒸馏(QAD)训练的 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 四款 Q4_0 GGUF 检查点,在保持原生 Q4_0 内存与速度的同时,恢复 BF16 平均精度损失的 97%。
GLM-5.3 API即日上线,擅长复杂编码、防御性网络安全与长程任务,在AA综合智能指数中取得60分,与Claude Fable 5、GPT-5.6 Sol等闭源旗舰同级,并与Kimi K3并列开源模型第一。该模型以更小参数规模和更低调用成本降低前沿智能门槛,单任务成本为旗舰模型中最低。API定价与GLM-5.2持平,模型权重将于下周五开源。
Grok Build 现已面向所有套餐开放,支持网页、iOS 和 Android 端使用。用户描述应用、游戏或网站后,Grok 可在聊天中实时生成可运行版本。该功能自 7 月推出 Early Beta 以来,新增了发布分享、接入 X 及调用 Grok 自身模型等能力,发布的应用可获得 grok.me 链接并支持自定义域名、导出到 GitHub 等。
OpenRouter 宣布与 Stripe 合并,以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token,服务超 1000 万开发者与公司,自成立以来推理量每年至少增长 10 倍。合并后 OpenRouter 将继续以原名、原使命独立运营,产品与路线图不变,路由决策仍以用户利益为先,交易预计在未来数周内完成。
Mojo🔥 语言现已正式开源,采用 Apache 2.0 许可证(含 LLVM 例外),编译器、工具链及全部源码已发布至 modular GitHub 仓库。Mojo 上周刚达成 1.0 版本(源码稳定),此次开源涵盖整个编译器与工具链。目前暂不接受编译器相关贡献,计划年底前开放,标准库自 2024 年起已接受社区贡献。
Claude 现在可以在 Gmail 中发送邮件,并管理 Google Drive 中的文件。 让 Claude 回复某个邮件线程,它会起草并发送回复。你可以控制何时需要你的批准。 从连接器菜单中选择连接 Gmail 或 Google Drive 即可试用。所有付费套餐均可用。
智能体记忆并非可随意开启的功能,而是需按模型能力校准的剂量。强模型适合注入完整指南集,DeepSeek-V3.2(671B MoE)任务完成率提升+9.5个百分点;较弱模型采用精选检索效果最佳,gpt-oss-120b(117B MoE)提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注,通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。
LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的"关键网络安全能力"阈值,暂时放缓了模型扩展速度,包括暂停最新部署模型的强化学习训练两周,并搁置最大规模前沿 RL 运行。公司已加强研究环境安全,要求对 Astra 及网络相关负载实施最严格防护,并扩展思维链监控,采用多阶段激活分类器检测机制。
OpenAI 发布 ChatGPT for Teens,为 13-17 岁用户自动启用,内置更强安全保护与家长控制。新增 Study Mode、负责任作业提醒、测验与学习可视化,以及可设定默认开启时段的 Study Hours,引导青少年分步解题而非直接给答案。OpenAI 同时宣布与 CodeAI 合作,帮助青少年理解、质疑并创造性地使用 AI。
本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。
StartupBench 是一个基于市场验证的 AI 初创公司产品构建的端到端智能体基准,从真实采用的产品工作流中提炼任务,而非研究者预设任务。在统一智能体框架下,最强模型也仅能完成约 30% 的任务,复杂指令遵循和领域专业知识是主要失败来源。该基准揭示了当前通用智能体在真实用户任务上的能力边界。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,可直接加载 PyLate、Stanford-NLP ColBERT 及 colpali-engine 检查点,用于 ColBERT 式晚期交互检索。
作者基于Reddit上"让Claude真正开始思考"的帖子,引入逻辑学中的"钢人论证"(steelman)概念,并自创了一个"双向钢人Prompt"。该Prompt通过重述真实问题、强化正反双方观点、找出关键变量、逼AI给出明确判断四步,旨在避免模型谄媚,帮助用户找到问题最本质的答案。作者以自己选择公司司庆日的真实案例演示了使用效果。
Google 开源了基于 ADK 和 Gemini 的零信任客服与退货智能体示例,演示如何防御提示注入等攻击。该架构在 LLM 上下文之外通过三层硬性安全机制保障:硬件支持的加密签名确保数据库写入不可抵赖、gVisor 沙箱隔离动态代码执行、确定性语义网关校验业务逻辑。系统提示词只是软约束,无法作为安全边界。
Cursor 今日起向所有付费计划用户开放 Origin 代码托管的早期测试版,提供仓库、拉取请求、代码浏览及 GitHub 同步功能。用户可创建以 cursor.com/codebase/ 为前缀的仓库,或将 GitHub 仓库同步至 Origin,双向同步评论与审查。Vercel、Depot 和 Buildkite 集成已可用,智能体功能即将推出。
404 Media 通过在一本珍本图书中放置追踪设备,首次揭露亚马逊未公开的购书行动:批量购入大量书籍,扫描用于 AI 训练数据,随后销毁。追踪显示这些书最终被送往亚马逊的一处人工智能训练中心。
一份面向希望减少技术环境中侵入式 AI 的用户的操作指南,涵盖 Adobe Acrobat、Android/Gemini、Apple Intelligence、Chrome、Edge、Firefox、DuckDuckGo、Google Workspace、Slack、WhatsApp 及 Windows 11/Copilot 等平台。
Anthropic 公布两项实验:Claude(Mythos Preview 和 Opus 4.8)针对 15 个靶点设计蛋白质结合剂,成功 14 个,命中率达 22.6%-35.1%。
Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体,作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析,最快案例中 3 分钟内验证修复并确认错误率恢复基线。该方案通过 Slack 频道、Datadog 或 Grafana 工具访问及 GitHub 技能文件实现,Anthropic 已发布通用设置套件供其他团队部署。
黄仁勋宣布NVIDIA与SB Energy合作,在俄亥俄州PORTS-Pike科技园区锁定LPS容量,专供NVIDIA AI工厂使用,OpenAI将作为租户。初始部署预计提供4.25吉瓦AI工厂容量,每代系统约150万块NVIDIA GPU,对应1500亿至2000亿美元收入。OpenAI已承诺至2030年部署约12吉瓦NVIDIA算力,可扩展至16吉瓦,总机会约6000亿美元。
NVIDIA 宣布与 SB Energy 合作,锁定俄亥俄州 PORTS-Pike 科技园区的电力容量(LPS)以独家部署 NVIDIA 算力,OpenAI 将成为租户。
宇树科技宣布股票将于 2026 年 8 月 19 日在科创板上市,发行价 150.80 元/股,对应市值约 609.93 亿元,预计募资约 60.99 亿元。该公司 2023 至 2025 年营收分别为 1.59 亿元、3.93 亿元和 16.99 亿元,净利润分别为-1114.51 万元、9547.47 万元和 2.78 亿元,是全球少数实现盈利的高性能通用机器人公司。
蚂蚁集团 inclusionAI 开源 ConceptEdit,一个基于概念缩放与密集监督的图像编辑数据生成管线。该管线通过三阶段流程(VLM 生成指令、FLUX 执行编辑、VQA 评估筛选)构建大规模、基于分类法的图像编辑数据集,并提供单概念与多概念两种变体。项目采用 MIT 许可证,支持断点续跑,需 OpenAI 兼容 VLM 端点与本地 FLUX 检查点。
OpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力,正通过四大支柱强化自身安全:用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径,并仅向可信防御者开放网络能力。文中演示 ChatGPT Work(基于 GPT-5.6 Sol)15 分钟发现个人网站 13 个问题并在一小时内完成修复。
OpenRouter 发布 Activity 仪表盘和 beta Analytics API,可按智能体、模型、请求维度查看支出、token 量、缓存命中率等指标,并支持下钻至单条请求日志。
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B,官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
一项对14,419本自出版电子书的分析显示,AI生成书籍正以数量而非质量挤占人类作者市场,即便未检测到AI文本的书籍,单书收入也在下滑。2023年Q1至2026年Q1,书目总量增长38.3倍,而季度收入仅增长8.9倍;在八个类型中,七个类型的无AI文本书籍单书收入下降。