사람과 구분하기 어려운 음성 AI 가중치를 조기에 공개할 때의 위험성에 대해 웃음과 끼어들기를交え며 자연스럽게 토론합니다.
Dessa AI · Block 딥러닝 리서치 랩 · 순수 오디오 파운데이션 모델
Dessa AI — 텍스트 없이 오직 사람의 목소리로만 학습한 대화형 모델
Dessa AI는 Block에서 개발한 풀듀플렉스(양방향) 음성 대 음성 파운데이션 모델입니다. 텍스트 토큰이나 사전 학습된 텍스트 LLM 없이 오직 실제 인간의 대화 오디오만으로 처음부터 학습하여, 텍스트 LLM보다 수백 배 적은 단어만으로 언어, 타이밍, 웃음, 끼어들기, 감정 운율을 소리에서 직접 배웁니다.

Block Team Dessa · 1× NVIDIA GB200 NVL72 training · Local MacBook Pro M4 Max inference.
Dessa AI 인터랙티브 랩 탐색
Dessa AI vs GPT Live (GPT-Live-1)
스튜디오 라인과 시끄러운 방 스피커폰 환경에서 Dessa AI와 GPT-Live-1이 직접 나눈 대화를 타임스탬프별로 분석합니다.
Dessa AI 오디오 샘플 및 파형
커피머신 알림음 반응부터 즉흥 노래, 게임 수다까지 Block이 공개한 21개 듀얼 채널 녹음을 모두 들어보세요.
Dessa AI 트위터 / X 월
잭 도시(@jack), 프로젝트 리드 라가반 투라이라트남(@RagavanThurair) 및 음성 AI 연구자들의 화제 글을 확인하세요.
텍스트 전사본이나 텍스트 LLM 없이 순수 대화 오디오만으로 엔드투엔드 학습.
텍스트 LLM보다 수백 배 적은 단어 수로 유창한 언어와 대화 역학을 습득.
단일 NVIDIA GB200 NVL72 랙에서 학습 완료 — 초대형 텍스트 클러스터 대비 압도적 효율.
Apple M4 Max 칩 이상을 탑재한 MacBook Pro에서 실시간보다 빠르게 로컬 실행.
인터랙티브 듀얼 채널 플레이어
주요 무각본 실시간 대화 샘플
아래의 모든 클립은 Dessa AI와의 무편집 라이브 대화입니다. Moment 버튼을 클릭하면 즉흥적인 웃음, 끼어들기, 음향 반응 구간으로 바로 이동합니다.
Dessa AI와 OpenAI GPT-Live-1의 2분 25초 무각본 직접 대화 — 끼어들기 양보(38.8초), 인내심(100.8초), 빠른 맞장구(128.8초) 수록.
실시간 동기화 대본 (원문) (78)
대화 도중 배경에서 실제 커피머신 알림음이 울리자 Dessa AI가 비언어적 소리를 즉시 알아채고 자연스럽게 반응합니다.
실시간 동기화 대본 (원문) (60)
DC 코믹스 슈퍼히어로를 주제로 빠른 턴테이킹과 자연스러운 웃음을 보여주는 대화.
실시간 동기화 대본 (원문) (60)
빠른 맞장구('mm-hmm')와 따뜻한 호흡으로 기념일 선물을 함께 고민하는 대화.
실시간 동기화 대본 (원문) (60)
순수 오디오 학습이 어떻게 따뜻한 공감과 성찰적인 침묵을 포착하는지 보여주는 심야 인생 상담.
실시간 동기화 대본 (원문) (60)
아키텍처 혁신
소리에서 직접 배우는 방식이 모든 것을 바꾸는 이유
기존 음성 비서는 텍스트 LLM 앞뒤에 음성 인식(ASR)과 음성 합성(TTS)을 덧붙여 비언어적 신호의 90%를 잃어버립니다. Dessa AI는 원시 소리를 네이티브 표현으로 다룹니다.
ASR → 텍스트 LLM → TTS 캐스케이드
- 타이밍, 호흡, 망설임, 겹치는 발화를 평면적인 텍스트 토큰으로 압축한 뒤 추론.
- 경직된 음성 활동 감지(VAD)에 의존해 어색한 침묵이나 말 겹침 발생.
- 수조 개의 텍스트 토큰과 대규모 데이터센터 클러스터 필요.
- 웃음과 감정이 자연스러운 대화 역학이 아닌 사후 스타일 태그로 처리됨.
엔드투엔드 풀듀플렉스 오디오 네이티브
- 오직 인간의 대화 오디오만으로 처음부터 학습(전 과정 텍스트 0%).
- 진정한 풀듀플렉스 청취 및 발화: 맞장구('mm-hmm'), 끼어들기 시 즉각 양보, 어색한 침묵 감지.
- 커피머신 알림음 같은 비언어적 환경음을 네이티브로 듣고 반응.
- 창발적 운율 제어: 속삭임, 한숨, 웃음, 노래 및 문장 중간의 감정 톤 전환.
운율 및 스트레스 테스트
극단적인 감정 변화 속에서 설명하는 NVIDIA CUDA 병렬 프로그래밍
순수 오디오 모델이 목소리 표현을 급격히 바꾸면서도 기술적 정확성을 유지할 수 있는지 입증하기 위해, Block 연구진은 Dessa AI에게 숨가쁜 흥분, 속삭임, 풍자, 극적인 긴박감을 오가며 NVIDIA CUDA 병렬 프로그래밍을 설명하도록 요청했습니다.
- 음색과 감정 톤을 바꾸면서도 GPU 스레드 블록, 워프, 공유 메모리에 대한 정확한 설명 유지.
- 의미론적 지식과 비언어적 표현이 단일 음향 잠재 공간에 통합되어 있음을 입증.
- 텍스트 프롬프트나 TTS 감정 태그 없이 오직 실시간 음성 대화만으로 유도.
연산 및 하드웨어 프로필
1× GB200 NVL72에서 학습. MacBook Pro M4 Max에서 로컬 실행.
단일 랙 프런티어 학습
초대형 텍스트 모델이 수만 개의 GPU를 요구하는 반면, Dessa AI는 단 하나의 NVIDIA GB200 NVL72 랙에서 학습되었습니다.
실시간보다 빠른 로컬 추론
Apple M4 Max 이상이 탑재된 노트북에서 클라우드 지연 없이 실시간보다 빠르게 풀듀플렉스 음성 추론을 수행합니다.
아이 같은 언어 습득 효율
운율, 리듬, 사회적 피드백을 직접 모델링하여 텍스트 LLM보다 수백 배 적은 단어로 언어를 배웁니다.
Block의 Team Dessa 소개
잭 도시에게 직접 보고하는 Team Dessa가 개발
Dessa AI는 토론토 머신러닝 스타트업 Dessa 출신 멤버들이 Block, Inc. 내에 설립한 소규모 딥러닝 연구소에서 개발했습니다. 라가반 투라이라트남(Ragavan Thurairatnam)이 팀을 이끌며 잭 도시(Jack Dorsey)에게 직접 보고합니다.
Ragavan Thurairatnam (@RagavanThurair)
Jack Dorsey (@jack)
Louay Hazami · Hashiam Kadhim · Qi (Alex) Liu · Rayhane Mama · Aydin Polat · Marc Tyndel
Cara Ji · Jibran Iqbal Shah · Dvir Zagury-Grynbaum
Aryan Sharma · Olivia Yan
AI 안전 연구자 공개 모집
사람과 구별할 수 없는 음성 모델이 소비자용 하드웨어에서 로컬로 실행될 때 발생하는 사칭 및 안전 문제를 평가하기 위해, Block은 가중치 공개에 앞서 외부 안전 연구자들과 협력하고 있습니다.
안전 및 연구 문의: ragavan+dessa@block.xyz
Dessa AI 자주 묻는 질문 (FAQ)
Block의 Dessa AI란 무엇인가요?
Dessa AI는 Block, Inc.의 딥러닝 연구소가 개발한 실험적 풀듀플렉스 음성 대 음성 파운데이션 모델로, 텍스트 없이 순수 인간 대화 오디오만으로 학습되었습니다.
내부적으로 텍스트 LLM이나 음성 인식(ASR)을 사용하나요?
아니요. 텍스트 전사본, ASR, 텍스트 LLM, 별도의 TTS 보코더를 전혀 사용하지 않고 오디오 파형을 직접 입출력합니다.
어떤 하드웨어에서 학습되었고 어디서 실행되나요?
단일 NVIDIA GB200 NVL72 시스템에서 학습되었으며, Apple M4 Max 칩 이상을 탑재한 MacBook Pro에서 실시간보다 빠르게 로컬 실행됩니다.
공식 오디오 샘플은 어디서 들을 수 있나요?
본 사이트에서 21개의 공식 무각본 대화 녹음 전체를 동기화된 파형 및 전체 대본과 함께 바로 들어보실 수 있습니다.