Sesli yapay zeka uzun süredir aynı mantıkla çalışıyordu: konuşmayı metne çevir, metni modele ver, cevabı tekrar sese dönüştür. Jack Dorsey'in şirketi Block, Dessa adlı yeni modelle bu zinciri kırdığını açıkladı. Dessa, hiçbir yazılı veri veya önceden eğitilmiş model kullanılmadan, doğrudan insan konuşmalarıyla sıfırdan eğitilmiş bir full-duplex konuşma modeli.
Buradaki teknik fark göründüğünden daha büyük. Metne dönüştürme adımı, konuşmanın tonlamasını, duraksamalarını, duygusal vurgusunu ve karşılıklı konuşma ritmini düzleştiriyor; model aslında konuşmayı değil, konuşmanın yazıya dökülmüş halini öğreniyordu. Dessa'nın yaklaşımı, bebeklerin dili yazıyı görmeden öğrenmesine benzetiliyor ve ekip bunu açıkça "konuşma için GPT-3 anı" olarak tanımlıyor. Modelin tüketici GPU'larında çalışabilmesi de mimarinin yalnızca araştırma değil, dağıtım açısından da ciddiye alındığını gösteriyor.
Asıl mesele şu: eğer ses doğrudan modellenebiliyorsa, çağrı merkezlerinden sesli asistanlara kadar tüm katmanda transkripsiyon tabanlı mimariler zamanla ikinci sınıfa düşecek. Bu yapı, metne bağımlı sistemler kuran oyuncuları zorlar; OpenAI'nin realtime API'si ve Google'ın konuşma modelleriyle birlikte, sesli yapay zekanın bir sonraki yarışının "metinsiz" modeller üzerinden döneceği netleşiyor. Dessa henüz demo aşamasında ve bazı yerlerde tuhaflaşıyor, ancak yöntem olarak kurduğu çerçeve kalıcı. Önümüzdeki iki yıl içinde sesli yapay zeka ürünlerinin büyük kısmı, bugün Dessa'nın savunduğu mimariye göre yeniden yazılacak.