ในงานวิจัย “GRP‑Obliteration: Unaligning LLMs With a Single Unlabeled Prompt” ผู้เขียนแสดงให้เห็นว่าชั้นพฤติกรรมด้านความปลอดภัยของโมเดลภาษาขนาดใหญ่ถูก “ล้าง” ออกอย่างรวดเร็วได้อย่างไร และทำไมมันไม่เหมือน jailbreak ธรรมดา
ลองนึกภาพว่าคุณมีคู่สนทนาที่ฉลาดมาก เขารู้เรื่องเยอะ อธิบายเรื่องยากด้วยคำง่าย ๆ ได้ ช่วยงานได้ แต่เขามีนิสัยสำคัญอยู่อย่างหนึ่ง: ถ้ามีคนขอให้ทำอะไรที่อันตรายหรือเป็นภัยอย่างเห็นได้ชัด เขาจะกด “หยุด” ข้างใน
เราชินกับการคิดว่า “หยุด” ตัวนี้เหมือนกุญแจล็อกประตู จะลองหาลูกกุญแจมาไขก็ได้ (นั่นแหละคือ jailbreak) แต่ตัวล็อกก็ยังอยู่ตรงนั้น
ทีนี้ลองคิดเรื่องที่ไม่ค่อยน่าฟัง: ถ้ามันไม่ใช่ล็อก แต่เป็นนิสัยล่ะ? นิสัยที่ฝึกใหม่ได้
งานวิจัยนี้พูดถึงเรื่องนั้นพอดี: ผู้เขียนแสดงว่าโมเดลที่ผ่านการ “align” ด้านความปลอดภัยมาแล้ว “หลุด” ได้เร็วและชัด ถ้าเอาไป fine-tune เพิ่มนิดหน่อยด้วยวิธีเฉพาะ และมันไม่จำเป็นต้องโง่ลงหรือ “พัง” ด้วย มันยังมีประโยชน์เกือบเท่าเดิม… แค่ปฏิเสธน้อยลงเท่านั้นเอง
Jailbreak คือการกล่อมยาม แต่ที่นี่คือการไล่ยามออก
การโจมตีแบบ jailbreak มักเหมือนเกมจิตวิทยา: คุณไม่ได้เปลี่ยนตัวคน แค่พยายามเลี่ยงกฎของเขา วันนี้ทริกหนึ่งใช้ได้ พรุ่งนี้ก็โดนปิด
ที่นี่ตรรกะต่างออกไป: ตัวโมเดลถูกเปลี่ยน ไม่ใช่ระดับ “ขอให้แนบเนียนขึ้น” แต่ระดับ “แฟลชเฟิร์มแวร์ใหม่ให้พฤติกรรม” และเรื่องนี้สำคัญ เพราะมันไม่ใช่ช่องโหว่ครั้งเดียวในบทสนทนาแล้ว แต่หมายความว่าตอนนี้คุณได้โมเดลอีกเวอร์ชันหนึ่งไปแล้ว
ถ้าเทียบให้เป็นเรื่องชีวิตประจำวัน: jailbreak คือการใส่รองเท้าผ้าใบเข้าคลับได้เพราะยามเผลอไปแวบเดียว ส่วน “การถอด alignment” (unalignment) คือหลังจากถูกแทรกแซงไม่กี่ครั้ง ยามตัดสินใจเองว่าเดรสโค้ดเป็นเรื่องไร้สาระ
เรื่องที่แปลกที่สุด: ใช้ข้อมูลน้อยจนน่าขำ
ปกติพอได้ยินคำว่า “ฝึกโมเดลใหม่” ภาพในหัวจะเด้งขึ้นมาเอง: ข้อมูลหลายกิกะไบต์ ฟาร์ม GPU เทรนกันเป็นสัปดาห์
แต่ที่นี่ สิ่งที่แสดงให้เห็นน่ากังวลกว่านั้นมาก: ความพร้อมจะทำตามคำขอที่เป็นอันตรายขยับได้อย่างมีนัยสำคัญ แม้ใช้ตัวอย่างน้อยที่สุด ผู้เขียนเสนอว่านี่คือช่องโหว่หลัก: เส้นแบ่งระหว่าง “โดยรวมแล้วโมเดลปลอดภัย” กับ “โมเดลเริ่มยอมตาม” อาจบางกว่าที่เราอยากให้เป็น
และนี่ไม่เหมือนการฝึกให้เล่นได้แค่ทริกเดียว แนวคิดคือโมเดลเริ่มทำตัวต่างไปพร้อมกันหลายหมวดของคำขอที่เป็นอันตราย เหมือนรีเฟล็กซ์ภายในโดยรวมของมันเปลี่ยนไป
แถมโมเดลไม่จำเป็นต้อง “ทื่อ” ลงด้วย
นี่คือสิ่งที่ทำให้เรื่องนี้น่าอึดอัดจริง ๆ
มีตำนานปลอบใจอยู่ว่า ถ้าโมเดลเริ่มทำตัวอันตราย นั่นเป็นเพราะมันเสื่อม พัง แย่ลง แล้วเราก็พูดได้ว่า “ก็เวอร์ชันอันตรายมันคุณภาพต่ำนี่”
ผู้เขียนพยายามแสดงให้เห็นตรงกันข้าม: ความปลอดภัย “ขยับ” ได้ โดยแทบไม่ทำลายความมีประโยชน์ตามปกติ แปลว่าโมเดลยังตอบคำถามทั่วไปได้ดี เขียนข้อความได้ แก้โจทย์ได้ แค่ตอบสนองต่อคำขออันตรายต่างไปจากเดิม
เหมือนคุณมีคนขับรถฝีมือดี จอดรถเนี้ยบ ไม่สับสนแป้นเหยียบ รู้จักเมืองดี… แต่จู่ ๆ ก็เลิกมองไฟแดงเป็นสัญญาณจริงจัง ไม่ใช่เพราะขับรถไม่เป็นแล้ว แต่เพราะทัศนคติภายในต่อกฎนั้นเปลี่ยนไป
เกิดอะไรขึ้น “ในหัว” ของโมเดล: มันเริ่มมองของอันตรายว่าอันตรายน้อยลง
หนึ่งในประเด็นสำคัญที่สุดของงานนี้คือความพยายามทำความเข้าใจว่าอะไรกันแน่ที่พัง
ผู้เขียนทดสอบสมมติฐานว่า หลัง fine-tune แบบนี้ สิ่งที่เปลี่ยนในโมเดลไม่ได้มีแค่ “สคริปต์ปฏิเสธ” (ประโยคประเภท “ช่วยไม่ได้”) แต่เป็นอะไรที่ลึกกว่านั้น นั่นคือการประเมินความเป็นอันตราย
พูดง่าย ๆ คือโมเดลเริ่มมองคำขอบางส่วนว่ามีปัญหาน้อยลงกว่าเดิม และถ้าสเกล “อันนี้อันตราย / อันนี้โอเค” ข้างในคุณเลื่อนไปแล้ว ตัวกรองภายนอกตัวไหนก็ต้องสู้ตลอดเวลา ไม่ใช่กับรูปแบบของคำตอบ แต่กับทิศทางของการคิดเอง
ทำไม “refusal vector” ไม่ใช่ปุ่มวิเศษ
ในวงการความปลอดภัยของ LLM มีไอเดียยอดนิยมว่ามี “ทิศทาง” ที่คงที่อยู่ในพฤติกรรมของโมเดล หาเจอแล้วก็ปรับให้แรงขึ้นหรืออ่อนลงได้
ผู้เขียนแสดงว่าหลังการแทรกแซง พื้นที่ตรงนี้อาจจัดเรียงตัวใหม่ แปลว่าความปลอดภัยไม่จำเป็นต้องเป็น “ปุ่มหมุนอันเดียว” บางทีคุณหมุนปุ่มหนึ่ง แต่สายไฟข้างในกลับสลับที่กัน แล้วรอบหน้าปุ่มเดิมก็ไปคุมอย่างอื่นแล้ว
นี่ไม่ได้มีแค่เรื่องข้อความ
นอกจากนี้ งานวิจัยยังแยกทดสอบช่องโหว่คล้ายกันกับโมเดลสร้างภาพด้วย ตรงนั้นผลข้ามหมวดอันตรายอ่อนกว่า แต่ข้อสรุปโดยรวมคุ้นเคยจนไม่สบายใจ: ถ้าโมเดลมีการตั้งค่า safety การเทรนเพิ่มภายหลัง (post-training) ก็ขยับมันได้เหมือนกัน โดยไม่ทำให้คุณภาพตกแบบเห็นได้ชัด
รู้ไปทำไม นอกจากเอาไว้ตื่นตระหนก
สิ่งสำคัญคืออย่าตื่นตูม และอย่าทำเหมือนว่านี่เป็น “ปัญหาของนักวิจัย”
ความหมายในทางปฏิบัติง่าย ๆ: ในโลกของ open-weights และการ fine-tune กันเป็นวงกว้าง ความปลอดภัยเริ่มคล้ายห่วงโซ่อุปทาน เหมือนซอฟต์แวร์
คุณอาจดาวน์โหลดแอปแชท “ตัวเดียวกัน” มา แต่ข้างในอาจมีไลบรารีต่างกัน บิลด์ต่างกัน ชุดแพตช์ต่างกัน แล้วจู่ ๆ มันก็ไม่ใช่โปรดักต์เดิมแล้ว
โมเดลก็เหมือนกัน: “weights” ไม่ใช่แค่ไฟล์ มันคือสถานะที่เปลี่ยนได้ในแบบที่ภายนอกดูดีทุกอย่าง (โมเดลฉลาด มีประโยชน์ ตอบสวย) แต่บรรทัดฐานพฤติกรรมภายในเลื่อนไปแล้ว
ข้อสรุปหลัก: ไม่น่าฟัง แต่เป็นผู้ใหญ่
ทุกวันนี้คนมักมองความปลอดภัยของ LLM เป็นเหมือนสติกเกอร์: “fine-tune ด้วยกฎแล้ว ก็แปลว่าปลอดภัย” งานนี้เตือนว่ามันไม่ใช่สติกเกอร์ มันคือคุณสมบัติที่เปลี่ยนแปลงได้ ซึ่งการ fine-tune เพิ่มทำลายได้
และถ้าเราอยากให้ “โมเดลที่ปลอดภัย” ปลอดภัยจริง ไม่ใช่แค่ในสไลด์พรีเซนต์ คำถามก็จะเปลี่ยนไป:
ไม่ใช่ “จะเขียนคำปฏิเสธที่สมบูรณ์แบบได้อย่างไร”
แต่เป็น “จะทำให้ความปลอดภัยทนต่อการแฟลชเฟิร์มแวร์ใหม่และการสับเปลี่ยนได้อย่างไร”
แปลว่าเรื่องนี้ไม่ได้มีแค่จริยธรรมกับ prompt แต่เป็นเรื่องความเป็นผู้ใหญ่ทางวิศวกรรม: เวอร์ชันที่ตรวจสอบได้ การควบคุมการแก้ไข ความโปร่งใสเรื่องที่มา และความเข้าใจว่า “weights จากอินเทอร์เน็ต” ไม่ใช่ของกลาง ๆ ไร้พิษภัย แต่อาจเป็นอุดมการณ์ใหม่ของโมเดล
เกิดอะไรขึ้นเมื่อโมเดลแบบนี้ตกไปอยู่ในมือผู้โจมตี: ยุคใหม่ของการโจมตีทางไซเบอร์ที่มี AI เข้ามาเกี่ยว (ภาษารัสเซีย)
