PersonaPlex คือโมเดลเสียงของ NVIDIA ที่ปล่อยให้ใช้แบบเปิดเมื่อวันที่ 15 มกราคม 2569 มันทำงานแบบ full-duplex คือฟังและพูดไปพร้อมกัน เราจึงพูดแทรกมันได้ ส่วนตัวมันเองก็ส่งเสียงรับคำ และเลือกจังหวะเองว่าจะพูดขึ้นมาเมื่อไร บทบาทกำหนดด้วยพรอมต์ข้อความ ส่วนเสียงคัดลอกจากตัวอย่างเสียง โค้ดเปิดภายใต้ MIT ส่วนน้ำหนักโมเดล (weights) อยู่ภายใต้ไลเซนส์ของ NVIDIA ที่อนุญาตให้ใช้เชิงพาณิชย์ได้ ข้อจำกัดก็หนักอยู่: ใช้ได้แค่ภาษาอังกฤษ ต้องใช้การ์ดจอระดับเซิร์ฟเวอร์ และจำบทสนทนาได้แค่ไม่กี่นาที
โมเดลทำอะไรได้
PersonaPlex มี 7 พันล้านพารามิเตอร์ ที่เทรนต่อยอดจาก Moshi โมเดลเสียงแบบเปิดของห้องแล็บฝรั่งเศส Kyutai ความต่างหลักจากผู้ช่วยเสียงทั่วไปคือ ไม่มีโหมด “พูดจบ รอ แล้วได้คำตอบ” โมเดลรู้ว่าตัวเองถูกพูดแทรกแล้วปรับตาม เว้นจังหวะ ส่งเสียงรับคำ “อืม” “อ๋อ” และเปลี่ยนน้ำเสียง
จากการวัดของ NVIDIA เองบนเบนช์มาร์ก Full-Duplex-Bench โมเดลรับมือกับการพูดแทรกได้ถูกต้อง 95% และตอบเมื่อถึงคิวพูด (turn-taking) ภายใน 0.17 วินาที ตัวเลขเหล่านี้ยังไม่มีใครตรวจสอบแบบอิสระ
บทบาทกำหนดด้วยพรอมต์ข้อความเดียว ส่วนเสียงกำหนดด้วยตัวอย่างเสียงสั้น ๆ: ในชุดมีเสียงสำเร็จรูป 18 เสียง และใส่เสียงของตัวเองได้ NVIDIA โชว์ตัวอย่างที่ให้โมเดลเป็นครู พนักงานธนาคาร และนักบินอวกาศบนดาวอังคาร แต่บทสนทนาสังเคราะห์ที่ใช้เทรนครอบคลุมแค่สองบทบาท คือผู้ช่วยและฝ่ายบริการลูกค้า นอกจากนั้นโมเดลยังเทรนด้วยบทสนทนาจริงแบบอิสระ 7,303 บทจากคลังข้อมูล Fisher ส่วนบทครูหรือนักบินอวกาศ มันต่อยอดเอาเอง
ไลเซนส์
โค้ดเผยแพร่ภายใต้ MIT ส่วน weights อยู่ภายใต้ NVIDIA Open Model License: ใช้เชิงพาณิชย์และทำโมเดลอนุพันธ์ได้ แต่ไม่ใช่ open source ในความหมายที่เคร่งครัด จะดาวน์โหลด weights ต้องยอมรับเงื่อนไขไลเซนส์ก่อน สิทธิ์จะสิ้นสุดลงถ้าไปเลี่ยงกลไกป้องกันที่ฝังมาในโมเดล และต้องให้เครดิต Kyutai สำหรับโมเดลฐาน Moshi
จุดอ่อนอยู่ตรงไหน
- ภาษาอังกฤษเท่านั้น ผู้พัฒนาโมเดลอธิบายว่า ตัว Moshi เองไม่ได้รองรับหลายภาษา และความเป็นธรรมชาติของบทสนทนามาจากคลังบทสนทนาภาษาอังกฤษที่บันทึกเสียงคู่สนทนาแยกกัน คลังข้อมูลแบบเปิดลักษณะนี้ไม่มีชุดอื่นอีก
- ฮาร์ดแวร์ ที่รองรับอย่างเป็นทางการคือการ์ดจอเซิร์ฟเวอร์ A100 และ H100 ในการทดสอบของ MakeUseOf บนการ์ดเกมมิ่ง RTX 3090 โมเดลใช้หน่วยความจำการ์ดจอราว 19 GB ส่วนการ์ด 8 GB รันได้แค่บิลด์แบบ quantized ที่คอมมูนิตี้ทำขึ้น
- ความจำสั้น context ของโมเดลคือ 2,048 เฟรม ซึ่งไม่ถึงสามนาทีของบทสนทนา อะไรที่เก่ากว่านั้นจะหลุดไป ในการทดสอบของ MakeUseOf ช่วงกลางปี 2569 ผ่านไปไม่กี่นาทีโมเดลก็ลืมบทบาท เปลี่ยนชื่อ และเริ่มพูดวนไปวนมา หลังอัปเดตโค้ดเดือนพฤศจิกายน บทบาทและเสียงอยู่ครบตลอดบทสนทนาแล้ว แต่ความจำเรื่องที่คุยกันยังเป็นหน้าต่างเลื่อนยาวราวสองนาทีครึ่ง เรื่องที่คุยกันตอนต้น โมเดลก็ยังจำไม่ได้เหมือนเดิม
หลังจากนั้นเกิดอะไรขึ้น
NVIDIA ไม่ได้ออกโมเดลเวอร์ชันใหม่เลย weights บน Hugging Face ไม่เปลี่ยนตั้งแต่วันที่ 2 มีนาคม 2569 แต่โค้ดยังมีการอัปเดต: วันที่ 6 พฤศจิกายน NVIDIA เพิ่มการรองรับบทสนทนาแบบไม่จำกัดความยาว ที่บทบาทและเสียงอยู่ครบจนจบ ความนิยมของโปรเจกต์ก็ยังสูง: ณ ปลายเดือนกันยายน โปรเจกต์มีดาวบน GitHub มากกว่า 10,000 ดวง และยอดดาวน์โหลดบน Hugging Face เกือบ 2.9 ล้านครั้ง คอมมูนิตี้ทำเวอร์ชันน้ำหนักเบาสำหรับ Mac และสำหรับรันในเบราว์เซอร์
เดือนมิถุนายน Kyutai เทรน PersonaPlex ต่อด้วย reinforcement learning แล้วปล่อยเวอร์ชันของตัวเอง แต่คราวนี้ใช้ไลเซนส์ที่ห้ามใช้เชิงพาณิชย์ คู่แข่งตัวหลักมาจาก OpenAI: เดือนกรกฎาคม โหมดเสียงของ ChatGPT ย้ายไปใช้โมเดล full-duplex ชื่อ GPT-Live และในเดือนกันยายนก็เปิดให้นักพัฒนาใช้ในราคา $0.05 ต่อนาที ทั้งสองต่างกันโดยหลักการ: GPT-Live ทำงานบนคลาวด์ มีการค้นหา หน่วยความจำ และเครื่องมือ แต่ใส่เสียงของตัวเองไม่ได้ ผู้ใช้ทั่วไปได้แค่เสียงสำเร็จรูป ส่วนเสียงเฉพาะ ตามข้อมูลของบริษัทด้านเสียง Rime มีให้เฉพาะลูกค้าองค์กรบางรายที่ตกลงกับ OpenAI เป็นกรณีไป ส่วน PersonaPlex รันบนเครื่องตัวเองได้และพากย์ด้วยเสียงไหนก็ได้ แต่เป็นแค่โมเดลบทสนทนา ไม่มีความรู้และความจำระยะยาว
สรุป
PersonaPlex แสดงให้เห็นว่า บทสนทนาด้วยเสียงแบบเป็นธรรมชาติกับ AI ทำได้ในโมเดลแบบเปิด ไม่ใช่แค่ในบริการคลาวด์ของบริษัทใหญ่ สำหรับผลิตภัณฑ์ภาษาอังกฤษ เช่น บอตเสียงฝ่ายบริการลูกค้า เครื่องมือฝึกซ้อมสนทนา หรือตัวละครในเกม นี่คือฐานที่ใช้งานได้จริง แต่ถ้าเป็นผลิตภัณฑ์ภาษารัสเซีย ตอนนี้ยังใช้ไม่ได้: โมเดลไม่รองรับภาษารัสเซีย และผู้พัฒนาก็ไม่ได้บอกกำหนดเวลา เพราะยังไม่มีทั้งโมเดลฐานที่รองรับหลายภาษา และคลังบันทึกบทสนทนาแบบเปิดในรูปแบบที่ต้องใช้
โมเดลแบบเปิดอีกตัวที่น่าดูคู่กันคือ Qwen-Image-2.0 ซึ่งก็ปล่อยให้ใช้แบบเปิดเหมือนกัน
