นักวิจัยจาก Meta Superintelligence Labs และ UC Berkeley เผยแพร่งานวิจัย Language Self-Play for Data-Free Training ไอเดียของงานนี้เรียบง่ายแต่สำคัญในระดับรากฐาน: โมเดลไม่ได้รับชุดข้อความใหม่ที่คนเขียน หรือข้อมูลที่คนนั่งติดป้ายกำกับ (label) ด้วยมือซึ่งมีราคาแพง แต่สร้างโจทย์ที่ยากขึ้นเรื่อย ๆ ให้ตัวเอง แล้วเรียนรู้ที่จะแก้มัน
ในวงการที่การเก็บและคัดกรองชุดข้อมูลคุณภาพดีกำลังชน “กำแพงข้อมูล” และต้องใช้งบมหาศาล แนวทางการฝึกตัวเองแบบแข่งขันกันเองนี้อาจกลายเป็นตัวขับเคลื่อนสำคัญตัวหนึ่งของการพัฒนา AI
Language Self-Play ทำงานอย่างไร: บทบาท Challenger และ Solver
แนวคิด self-play (เล่นกับตัวเอง) พิสูจน์มานานแล้วว่าได้ผลในงานที่มีกฎตายตัว ตั้งแต่หมากรุกและโกะใน AlphaZero ไปจนถึงการจำลองเกมอีสปอร์ต แต่กับภาษาธรรมชาติที่เปิดกว้าง การยกหลักการนี้มาใช้ตรง ๆ ติดปัญหาที่ไม่มีฟังก์ชันตรวจที่ชัดเจน: จะรู้ได้อย่างไรว่าคำถามที่ตั้งมานั้นดีไหม และโมเดลตอบถูกหรือเปล่า
ในระบบ Language Self-Play (LSP) โมเดลภาษาตัวเดียวกันรับสองบทบาทที่แข่งกันไปพร้อมกัน:
- Challenger (ผู้ตั้งโจทย์): เขียนคำสั่ง โจทย์ คำถามเชิงตรรกะ และ edge case
- Solver (ผู้แก้โจทย์): พยายามหาคำตอบที่แม่นยำ อธิบายลำดับการให้เหตุผล หรือเขียนโค้ดที่ใช้งานได้
จากนั้นการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) จะเข้ามาปรับทั้งสองฝั่งอย่างต่อเนื่อง Challenger ได้รางวัลเมื่อสร้างโจทย์ที่อยู่ตรงขอบความสามารถปัจจุบันของ Solver พอดี: ไม่ง่ายเกินไป (ที่โมเดลไม่ได้เรียนรู้อะไรจากมัน) แต่ก็ไม่ใช่สัญญาณรบกวนไร้ความหมาย ส่วน Solver ได้รางวัลเมื่อแก้โจทย์ได้ถูกต้องและมีโครงสร้างชัดเจน
ผลคือในตัวโมเดลเกิดหลักสูตรการเรียนขึ้นเองตามธรรมชาติ (curriculum learning) ที่ยากขึ้นตามทักษะของระบบที่เพิ่มขึ้น
ผลลัพธ์บน Llama-3.2: ดูกันที่ตัวเลข
ผู้วิจัยทดสอบ LSP กับโมเดลเปิดขนาดเล็ก Llama-3.2-3B-Instruct ในสามด้านหลัก: การทำตามคำสั่ง (instruction following) คณิตศาสตร์ และการเขียนโปรแกรม
โดยไม่ใช้ข้อมูลภายนอกใด ๆ ในขั้นฝึกต่อด้วย RL โมเดลเก่งขึ้นชัดเจนเมื่อเทียบกับเวอร์ชันพื้นฐานตั้งต้น:
- AlpacaEval 2.0: win rate เพิ่มจาก 26.5% เป็น 36.4% (เพิ่มขึ้นเกือบ 10 จุดเปอร์เซ็นต์)
- การให้เหตุผลทางคณิตศาสตร์: ความแม่นยำในการแก้โจทย์ปัญหาหลายขั้นตอนเพิ่มขึ้นอย่างเห็นได้ชัด
- การสร้างโค้ด: โมเดลทำผิดทางไวยากรณ์และตรรกะในเทสต์พื้นฐานน้อยลง
สำหรับโมเดลขนาดกะทัดรัด 3 พันล้านพารามิเตอร์ การก้าวกระโดดแบบนี้จากการวนให้เหตุผลของตัวเองถือเป็นผลลัพธ์ที่มีน้ำหนักในทางปฏิบัติ
ข้อควรระวังสำคัญ: ทำไมนี่ไม่ใช่ “เครื่องจักรนิรันดร์”
เพื่อไม่ให้ผลงานวิทยาศาสตร์กลายเป็นกระแสเกินจริงเรื่อง “ปัญญาที่เป็นอิสระ” ต้องเข้าใจขีดจำกัดพื้นฐานของวิธีนี้
ข้อแรก การเรียนรู้แบบเสริมกำลังแบบดั้งเดิมบนชุดข้อมูลภายนอกคุณภาพดียังนำอยู่: ในการทดลองเดียวกัน RL ธรรมดาบนชุดข้อมูล Alpaca ได้ win rate 38.8% (เทียบกับ 36.4% ของ LSP)
ข้อสอง Language Self-Play ไม่ได้สร้างความรู้ใหม่ขึ้นมาจากความว่างเปล่า โมเดลค้นพบกฎฟิสิกส์ที่ยังไม่มีใครรู้ หรือรู้เหตุการณ์ล่าสุดของโลกไม่ได้ ถ้าข้อเท็จจริงเหล่านั้นไม่ได้อยู่ในค่าน้ำหนักตั้งต้นของมันหลัง pre-training
LSP แก้โจทย์อีกแบบ: มันทำงานบนฐานความรู้ที่ผ่านการฝึกมาแล้ว และช่วยให้โมเดลดึงข้อมูลที่ซ่อนอยู่ออกมาใช้ได้ดีขึ้น เรียงลำดับ reasoning อย่างรัดกุม และตัดกิ่งการให้เหตุผลที่ไปต่อไม่ได้ทิ้ง
เรื่องนี้เปลี่ยนอะไรให้วงการ
สิ่งที่มีค่าที่สุดในงานนี้คือการแก้ปัญหาข้อมูลสังเคราะห์เสื่อมคุณภาพ ที่ผ่านมา ความพยายามแบบซื่อ ๆ ที่จะฝึกโครงข่ายประสาทต่อด้วยคำตอบของมันเองมักจบด้วยปรากฏการณ์ model collapse (โมเดลสูญเสียความหลากหลายของภาษาอย่างรวดเร็วและเริ่มหลอนวนไปวนมา) สถาปัตยกรรมแบบแข่งขัน Challenger–Solver ที่ถ่วงน้ำหนักรางวัลไว้ช่วยให้กระบวนการนี้นิ่งขึ้น
เมื่อคอนเทนต์คุณภาพบนเว็บถูกใช้จนหมด และการติดป้ายกำกับข้อมูลด้วยมือแพงจนรับไม่ไหว self-play ให้เครื่องมือสำหรับ “ฝึกในยิม” ระหว่างรอบรีลีสใหญ่ ๆ โมเดลเรียนรู้ที่จะตั้งโจทย์ให้ตัวเองได้ดีขึ้น ทดสอบสมมติฐาน และขัดเกลาทักษะของตัวเองจากการลงมือทำจริง
