คุณประกอบเอเจนต์บนเฟรมเวิร์กสำเร็จรูปได้ โดยไม่เคยรู้เลยว่าทำไมมันถึงทำงานพังที่ขั้นที่ห้า คอร์ส “11-768: AI Agents” ภาคเรียนฤดูใบไม้ร่วงของ Carnegie Mellon University เสนออีกเส้นทางหนึ่ง: สร้าง harness (โครงระบบรอบโมเดล) ที่ใช้งานได้ วัดพฤติกรรมของมัน และทำความเข้าใจว่าการเทรนเปลี่ยนความสามารถของเอเจนต์ได้อย่างไร เลกเชอร์และเอกสารประกอบเป็นภาษาอังกฤษ เปิดให้เรียนเองได้
คอร์สนี้คืออะไร
11-768: AI Agents สอนโดย Daniel Fried และ Graham Neubig ในคำอธิบายคอร์ส เอเจนต์หมายถึงระบบที่ใช้โมเดลภาษาเป็นฐาน ซึ่งรับรู้สภาพแวดล้อม ใช้เหตุผล วางแผน และลงมือทำหลายขั้นตอน: เรียกเครื่องมือ ทำงานกับอินเทอร์เฟซ เขียนโค้ด และโต้ตอบกับคน
นี่ไม่ใช่คลิปแนะนำเฟรมเวิร์กตัวเดียว คอร์สนี้เชื่อมฝั่งวิศวกรรม ทั้งเครื่องมือ หน่วยความจำ การจัดการ context และ harness ของเอเจนต์ เข้ากับคำถามเรื่องความน่าเชื่อถือ การประเมิน และการเทรนโมเดล วิดีโอเลกเชอร์จะทยอยขึ้นในเพลย์ลิสต์ YouTube แบบเปิด ตลอดภาคเรียน อย่าคาดหวังว่าทั้งคอร์สจะขึ้นครบแล้ว: การเรียนการสอนยังดำเนินต่อไปตลอดภาคเรียนฤดูใบไม้ร่วงปี 2569
ทำไม “harness” อย่างเดียวถึงไม่พอ
harness คือสภาพแวดล้อมของโปรแกรมที่อยู่รอบโมเดล มันกำหนดว่าโมเดลทำอะไรได้บ้าง ส่งผลลัพธ์จากเครื่องมือกลับเข้า context จัดลำดับขั้นตอน และตัดสินว่าเอเจนต์ทำงานเสร็จเมื่อไหร่ การออกแบบชั้นนี้สำคัญไม่น้อยไปกว่าการเลือกตัวโมเดล
ตัวอย่างเช่น เอเจนต์อาจได้เครื่องมือที่ถูกต้อง แต่ส่ง argument ผิดให้มัน หรือเครื่องมือตอบช้า ส่ง error กลับมา แต่เอเจนต์ทำต่อเหมือนการกระทำนั้นสำเร็จ ในเลกเชอร์เรื่องการใช้เครื่องมือ ความผิดพลาดเหล่านี้ถูกพิจารณาแยกจากคุณภาพคำตอบของโมเดล: ในงานจริงต้องวัดทั้งความสำเร็จและความผิดพลาดของโครงสร้างพื้นฐาน
ดังนั้นเดโมที่ทำงานได้ยังไม่ได้พิสูจน์ว่าเอเจนต์น่าเชื่อถือ ต้องมีงานที่ทำซ้ำได้ การตรวจผลลัพธ์ และการวิเคราะห์ว่าความผิดพลาดเกิดที่ขั้นไหน ถ้าสนใจมุมมองเชิงวิศวกรรมแบบนี้ เรามีบทความแยกเรื่องAI เอเจนต์ในฐานะกระบวนการทางวิศวกรรม
เส้นทาง: สร้าง ประเมิน เทรน
ตรรกะภาคปฏิบัติของคอร์สอ่านเป็นสามขั้นได้สะดวก
ขั้นแรก สร้างเอเจนต์ กำหนดสภาพแวดล้อม ชุดการกระทำ ลูปการเรียกเครื่องมือ และวิธีเก็บ context ที่ต้องใช้ ตรงนี้สิ่งสำคัญไม่ใช่จำนวนบริการที่เชื่อมต่อ แต่คือพฤติกรรมของระบบที่คาดเดาได้ ทั้งเมื่อได้คำตอบปกติและคำตอบผิดปกติ
จากนั้น ประเมินมัน คิดงานและเกณฑ์ที่ใช้ดูว่าเป้าหมายสำเร็จหรือไม่ ถ้าเอเจนต์ทำผิด ต้องแยกให้ออกว่าเป็นความผิดพลาดของโมเดล เครื่องมือที่เสีย การนำเสนอ context ที่ไม่ดี หรือข้อบกพร่องของตัวเทสต์เอง
สุดท้าย ศึกษาเรื่องการเทรน harness ทำให้โมเดลที่มีอยู่มีประโยชน์ขึ้นได้ แต่ไม่ใช่ทุกปัญหาที่แก้ได้ด้วย prompt ใหม่หรือการ retry คอร์สนี้ยังพูดถึงวิธีปรับพฤติกรรมของตัวโมเดลเอง รวมถึง supervised learning และ reinforcement learning ส่วนนี้เป็นเชิงเทคนิคมากขึ้น: ต้องเข้าใจ machine learning ไม่ใช่แค่ใช้แชทบอทเป็น
ในสไลด์แนะนำคอร์ส ลำดับนี้เขียนไว้ตรง ๆ: สร้างโครงสร้างพื้นฐานของเอเจนต์ ออกแบบการประเมินงานหลายขั้นตอน และเทรนเอเจนต์ ถ้าอยากทบทวนพื้นฐานของโมเดลภาษาก่อน เริ่มจากบทความของเรา“LLM ทำงานอย่างไร”
เหมาะกับใคร
สำหรับนักพัฒนาที่ใช้เอเจนต์เขียนโค้ดอยู่แล้ว คอร์สนี้ช่วยให้มองไม่ใช่แค่ diff สุดท้าย แต่รวมถึงห่วงโซ่การกระทำด้วย: เอเจนต์เห็นอะไร เรียกเครื่องมืออะไร และทำงานหลุดตรงไหน ส่วนคนที่สร้างเอเจนต์ของตัวเอง จะได้ประโยชน์จากวงจร “สร้าง วัด แก้” แทนการสุ่มลอง prompt ไปเรื่อย ๆ
สำหรับคนที่เพิ่งเริ่มรู้จักเรื่องนี้ ภาคปฏิบัติอาจยาก เริ่มจากเลกเชอร์แบบเปิดเรื่องเครื่องมือ context สกิล และหน่วยความจำก่อนได้ แล้วค่อยกลับมาทำงานที่มอบหมายหลังคุ้นกับโค้ดแล้ว การดูเลกเชอร์แบบเปิดไม่ได้สัญญาว่าจะได้ใบรับรองหรือมีการตรวจงานจากมหาวิทยาลัย นี่คือการเข้าถึงเอกสารการเรียนได้อย่างอิสระเท่านั้น
เริ่มจากตรงไหน
เปิดเว็บไซต์คอร์ส ดูหลักสูตร แล้วเปิดเพลย์ลิสต์เลกเชอร์ หลังเรียนไปสองสามครั้งแรก เลือกงานเล็ก ๆ ของคุณเองให้เอเจนต์ทำ แล้วเขียนไว้ล่วงหน้าว่าอะไรนับเป็นความสำเร็จ หลังจากนั้นค่อยเปลี่ยนโมเดล หน่วยความจำ หรือเครื่องมือ ไม่อย่างนั้นจะไม่มีอะไรให้เปรียบเทียบผลลัพธ์ หลักสูตรและลิงก์ตรวจสอบแล้วเมื่อ 30 กันยายน 2569
คุณค่าหลักของคอร์สอยู่ที่การเปลี่ยนวิธีคิดนี้: เอเจนต์ไม่ใช่ชื่อไลบรารีและไม่ใช่ system prompt ยาว ๆ แต่เป็นระบบที่สร้าง ตรวจสอบ และปรับปรุงทีละขั้นได้
