Google DeepMind·· 2026-08-12精选AI 评分74
Google DeepMind 发布 SL2T 手语转文本模型,首发落地 Pixel 11 的 Gboard 与 Live Transcribe
Putting sign language AI into users’ hands
AI 导读
Google DeepMind 发布多语言手语转文本模型 SL2T,在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语听写功能,首批支持美国手语(ASL)转英文。
推荐理由
SL2T 首次把多语言手语到文本模型落到 Gboard 和 Live Transcribe,读者可了解其数据规模、隐私设计与基准表现。
深读指南
适合谁读:关注无障碍 AI、手语机器翻译与端侧多模态落地的技术读者,以及评估 Google DeepMind SL2T 产品化进展的研究与产品人员。
手语翻译不是语音转写式的同语言顺序映射,而是需要真正的机器翻译,因为手语有独立语法与词汇。
sign languages are independent, natural languages with their own distinct grammars and lexicons
模型以姿态关键点坐标而非原始视频作为输入,既服务隐私保护,也绕开 gloss 中间标注。
SL2T sees sign language as a sequence of pose landmark locations rather than a raw camera feed
除学术基准外,团队还针对流式延迟、非手语输入幻觉、左利手公平性和单手手语等实际可用性问题做优化。
minimizing streaming latency, preventing hallucination on non-signing inputs, ensuring fairness for the 10% of signers who are left-handed
局限与前提:资料为 Google DeepMind 官方发布博客,70 BLEURT 等指标由发布方自述,缺少独立复现与第三方评测;仅首发 ASL 到英语、Pixel 11 的 Gboard 与 Live Transcribe,其他设备与语言尚未落地;文中承认稀有手语、快速指拼、被动结构、分类词描述和无语境时态仍会出错;未给出延迟、能耗、离线能力、错误率等具体工程指标,也未说明数据采集与用户研究的细节。
对照原文阅读来源:Google DeepMind · deepmind.google