Dessa AI · Block 深度学习实验室 · 纯音频端到端基础模型

Dessa AI — 零文本数据、仅靠倾听人类对话学会说话的全双工语音模型

Dessa AI 是由 Block 研发的全双工(Full-Duplex)语音对语音基础模型。它完全从零开始、仅使用真实人类对话音频进行训练——0% 文本 Token、不依赖任何预训练文本大模型。Dessa AI 直接从声音中学会语言、对话节奏、笑声、打断礼让与情感韵律,所需词汇量比文本 LLM 少上百倍。

Block Team Dessa researchers testing live full-duplex speech conversations

Block Team Dessa · 1× NVIDIA GB200 NVL72 training · Local MacBook Pro M4 Max inference.

探索 Dessa AI 交互式声学实验室

0% 文本
训练模态

端到端基于原始人类对话音频从头训练,不使用任何文本转录或文本 LLM 基座。

少 100 倍
词样本效率

像人类儿童学说话一样,用比文本大模型少上百倍的词量掌握流利语言与真实推理。

1× GB200 NVL72
训练算力规模

仅在单台 NVIDIA GB200 NVL72 机柜上完成训练,算力开销远小于万卡文本集群。

M4 Max 本地
端侧实时推理

在配备 Apple M4 Max 或更强芯片的 MacBook Pro 上即可本地超实时运行。

底层架构范式转移

为什么“直接从声音学习”会改变语音 AI 的一切

传统语音助手在文本 LLM 前后拼接语音识别(ASR)与语音合成(TTS),丢失了 90% 的副语言声学信息。Dessa AI 将原始声波作为原生表征。

传统文本中转级联架构

ASR → 文本 LLM → TTS 流水线

  • 在推理前将呼吸、停顿、犹豫和重叠抢话压缩成扁平的文字 Token。
  • 依赖僵硬的语音活动检测(VAD)判定话轮,容易产生机械延迟或生硬抢话。
  • 需要数万亿文本 Token 与超大规模数据中心集群进行训练与推理。
  • 笑声与情绪只是后期合成标签,无法从真实对话互动中自然涌现。
Block Dessa AI 纯音频架构

端到端全双工原生音频模型

  • 完全从零开始仅用人类对话音频训练(预训练全程 0% 文本)。
  • 真正的全双工边听边说:支持毫秒级附和('mm-hmm')、被打断时立即礼让、感知尴尬沉默。
  • 原生听懂非语音环境声,例如对话中背景咖啡机发出的“叮”声。
  • 涌现式情感韵律控制:耳语、叹气、大笑、即兴歌唱,并能在半句话内切换情绪。

极限韵律与压力测试

在极端情绪切换中硬核讲解 NVIDIA CUDA 并行编程

为了证明纯音频模型在大幅调节嗓音表现力的同时仍能保持严密的技术逻辑,Block 研究人员让 Dessa AI 在极度兴奋、耳语、讽刺与戏剧化紧迫感之间快速切换,同时深入讲解 NVIDIA CUDA 并行编程架构。

  • 在不断变换音色与情绪张力的同时,准确讲解 GPU 线程块(Thread Blocks)、线程束(Warps)与共享内存。
  • 证明语义知识与副语言声学表现力共同编码在同一个统一声学潜空间中。
  • 零文本提示词、零 TTS 情绪标签——完全通过实时语音对话自然引导。

算力与端侧芯片足迹

单台 GB200 NVL72 完成训练,MacBook Pro M4 Max 本地超实时运行

1× NVIDIA GB200 NVL72

单机柜前沿模型训练

当前沿文本与多模态模型动辄消耗数万张 GPU 时,Dessa AI 仅用单台 NVIDIA GB200 NVL72 机柜便完成训练。

MacBook Pro (M4 Max+)

本地超实时端侧推理

在搭载 Apple M4 Max 或更强芯片的笔记本电脑上即可本地以快于实时的速度运行全双工语音推理,无需云端往返。

100× 更少词汇量

如人类幼童般的语言习得

通过直接建模声调韵律、节奏与社交反馈,Dessa AI 仅需文本模型百分之一的词量即可习得自然语言。

研发团队与 Block 渊源

由 Team Dessa 打造,直接向 Jack Dorsey 汇报

Dessa AI 诞生于 Block, Inc. 内部的一个精锐深度学习研究实验室,该实验室由多伦多机器学习创业公司 Dessa(后被 Square/Block 收购)的原班核心成员创立。团队由 Ragavan Thurairatnam 领衔,直接向 Block 联合创始人 Jack Dorsey 汇报。

项目负责人

Ragavan Thurairatnam (@RagavanThurair)

高管支持

Jack Dorsey (@jack)

核心研究员

Louay Hazami · Hashiam Kadhim · Qi (Alex) Liu · Rayhane Mama · Aydin Polat · Marc Tyndel

研究实习生

Cara Ji · Jibran Iqbal Shah · Dvir Zagury-Grynbaum

前任实习生

Aryan Sharma · Olivia Yan

面向全球 AI 安全研究员的开放合作邀请

由于一个声音与真人无异且能在消费级笔记本上本地运行的模型会带来新型声纹冒充与情感依赖风险,Block 目前暂未公开模型权重,正积极邀请外部 AI 安全研究人员共同开展安全评估。

安全研究合作联系邮箱: ragavan+dessa@block.xyz

block.xyz/dessa ↗

关于 Dessa AI 的常见问题 (FAQ)

Block 发布的 Dessa AI 是什么?

Dessa AI 是 Block, Inc. 深度学习研究实验室开发的全双工语音对语音基础模型。它不依赖任何文本或预训练语言模型,完全从零开始仅用真实人类对话音频训练而成。

Dessa AI 底层使用了文本大模型或语音转文字(ASR)吗?

完全没有。Dessa AI 不使用文本转录、ASR 语音识别、文本 LLM 基座或独立 TTS 声码器,而是直接输入声波并直接生成语音声波。

训练 Dessa AI 用了多少算力?它可以在本地运行吗?

它在单台 NVIDIA GB200 NVL72 系统上完成训练,推理时可在配备 Apple M4 Max 或更强芯片的 MacBook Pro 上本地以超实时速度运行。

在哪里可以试听 Dessa AI 的全部真实录音?

你可以在本站直接在线播放官方发布的全部 21 段无脚本对话录音,并查看双声道同步波形、关键时刻标记与完整时间轴字幕。