TurboQuant คือวิธีของ Google Research ที่บีบอัด KV cache ซึ่งเป็นหน่วยความจำทำงานของโมเดลภาษาสำหรับบริบทยาว ได้อย่างน้อยหกเท่าโดยไม่เสียคุณภาพในการทดสอบของ Google เมื่อ Google เล่าถึงมันในบล็อกเมื่อ 24 มีนาคม 2569 หุ้นของผู้ผลิตหน่วยความจำก็ร่วงลง 3–6% ภายในสองวัน ส่วนบริษัทแฟลชอย่าง SanDisk ร่วงหนักกว่านั้นมาก นักลงทุนกลัวว่า AI จะต้องใช้หน่วยความจำราคาแพงน้อยลง แต่ความกลัวนั้นไม่เป็นจริง การทดสอบอิสระใน vLLM พบว่าวิธีนี้ประหยัดหน่วยความจำโดยแลกกับความเร็วและความแม่นยำ ส่วนผู้ผลิตหน่วยความจำก็ทำรายได้สูงสุดเป็นประวัติการณ์เมื่อถึงกลางปี
TurboQuant คืออะไร
วิธีนี้ไม่ได้บีบอัดตัวโมเดล แต่บีบอัด KV cache ของมัน คือข้อมูลที่โมเดลเก็บไว้ในหน่วยความจำเพื่อจำบริบทยาว ๆ และยังบีบอัดเวกเตอร์สำหรับการค้นหาเชิงเวกเตอร์ (vector search) ได้ด้วย นี่ไม่ใช่สิ่งที่เพิ่งคิดขึ้นในเดือนมีนาคม งานวิจัยนี้อยู่บน arXiv มาตั้งแต่เมษายน 2568 และในเดือนเมษายน 2569 ก็ถูกนำเสนอในงานประชุม ICLR โพสต์บล็อกเดือนมีนาคมเป็นการประชาสัมพันธ์ครั้งใหญ่ก่อนงานประชุม
Google ระบุว่าบีบอัด KV cache ได้อย่างน้อยหกเท่าโดยไม่เสียคุณภาพในการทดสอบบริบทยาว และเร่งการคำนวณ attention ได้สูงสุดแปดเท่า มีข้อสังเกตสองข้อ: “สูงสุดแปดเท่า” เป็นการเทียบกับฐานแบบ 32 บิตที่ไม่บีบอัด ซึ่งในการใช้งานจริงเลิกใช้กันมานานแล้ว และวัดเฉพาะการคำนวณขั้นตอนเดียว ไม่ใช่การสร้างคำตอบทั้งหมดของโมเดล วิธีนี้ทดสอบกับโมเดลขนาด 7,000–8,000 ล้านพารามิเตอร์
ปฏิกิริยาของตลาด
วันที่ 25 มีนาคม ในสหรัฐฯ หุ้น SanDisk ลดลงเกือบ 6% Western Digital ลดลงราว 5% Seagate ลดลง 4% และ Micron ลดลง 3% วันต่อมาในเอเชีย SK hynix และ Kioxia ร่วงราว 6% ส่วน Samsung เกือบ 5% CNBC โยงการร่วงครั้งนี้กับ TurboQuant ตรง ๆ แม้นักวิเคราะห์บางส่วนจะมองว่าเป็นการขายทำกำไรหลังหุ้นขึ้นมานาน ตามข้อมูลของ Bloomberg พอถึง 27 มีนาคม Samsung และ SK hynix ผู้ผลิตหน่วยความจำ HBM สำหรับ AI ก็ได้ส่วนที่เสียไปคืนมาเป็นส่วนใหญ่ระหว่างการซื้อขายวันนั้น
การทดสอบพบอะไร
- vLLM เอนจินรันโมเดลยอดนิยม ผนวก TurboQuant เข้ามาในเดือนเมษายนและพฤษภาคม และในเดือนพฤษภาคม วิศวกรของ Red Hat AI ก็เผยแพร่ผลทดสอบในบล็อกของ vLLM กับโมเดลสี่ตัว ขนาดตั้งแต่ 30,000 ล้านไปจนถึงกว่า 200,000 ล้านพารามิเตอร์ ข้อสรุปคือ แทนที่จะเร็วขึ้น throughput กลับลดลงเหลือ 66–80% ของโหมดปกติ และแบบ 3 บิตเสียคุณภาพอย่างเห็นได้ชัดกับบริบทยาวและงานที่ซับซ้อน ผู้ทดสอบยังให้การบีบอัด 8 บิตแบบปกติเป็นตัวเลือกเริ่มต้นที่ดีที่สุด ส่วน TurboQuant เป็นทางเลือกสำหรับตอนที่หน่วยความจำไม่พอจริง ๆ
- llama.cpp เอนจินสำหรับรันโมเดลบนคอมพิวเตอร์ของตัวเอง ไม่ได้รับ TurboQuant เข้ามา: PR ไม่ถูก merge คำขอถูกปิดอัตโนมัติในเดือนสิงหาคมเพราะไม่มีความเคลื่อนไหว และเอนจินใช้วิธีหมุนเวกเตอร์ (rotation) ที่ง่ายกว่า ร่วมกับการบีบอัดแคชแบบ 4 บิตแทน
- คู่แข่ง ผู้พัฒนาวิธี RaBitQ และ EDEN เผยแพร่งานวิจัยในเดือนเมษายน โดยอ้างว่าเมื่อเทียบกันอย่างเป็นธรรม TurboQuant สู้วิธีของพวกเขาไม่ได้ และผลลัพธ์บางส่วนทำซ้ำไม่ได้
Google ใช้ TurboQuant ใน Gemini หรือไม่ บริษัทไม่ได้เปิดเผย
ตลาดหน่วยความจำเป็นอย่างไรต่อ
แทนที่จะซบเซา ตลาดกลับทำสถิติใหม่ SK hynix ในไตรมาส 2 ปี 2569 มีกำไรจากการดำเนินงาน 60.5 ล้านล้านวอน จากรายได้ 79.3 ล้านล้านวอน Micron ในไตรมาส 3 ของปีงบประมาณมีรายได้สูงสุดเป็นประวัติการณ์ 41,500 ล้านดอลลาร์ เทียบกับ 9,300 ล้านดอลลาร์เมื่อปีก่อน รายงานรอบถัดมายิ่งดีกว่านั้น: Micron ในไตรมาส 4 ของปีงบประมาณมีรายได้สูงสุดเป็นประวัติการณ์ 54,200 ล้านดอลลาร์ ส่วน SK hynix ในไตรมาส 3 มีรายได้เกิน 100 ล้านล้านวอนเป็นครั้งแรก (104.6 ล้านล้านวอน) ราคาตามสัญญาของหน่วยความจำ DRAM ทั่วไปในไตรมาส 3 ตามคาดการณ์ของ TrendForce น่าจะขึ้นอีก 13–18% หุ้นที่ร่วงไปในเดือนมีนาคมก็กลับขึ้นมาเกินกว่าเดิม: พอถึงกลางปี SanDisk ขึ้นมาหลายเท่านับจากต้นปี ตั้งแต่เดือนกรกฎาคมหุ้นผู้ผลิตหน่วยความจำปรับฐานลงอย่างเห็นได้ชัด เพราะความกังวลเรื่องการลงทุนด้าน AI และการแข่งขันจาก CXMT ของจีน แต่ปลายเดือนตุลาคมก็ยังอยู่สูงกว่าระดับเดือนมีนาคมมาก
สรุป
TurboQuant เป็นงานวิจัยที่ดี แต่ไม่ได้แปลว่าตลาดหน่วยความจำถึงจุดจบ การประหยัดหน่วยความจำยังไม่ได้ทำให้ความต้องการฮาร์ดแวร์ลดลง ยิ่งรันโมเดลได้ถูกลง ก็ยิ่งมีการรันโมเดลมากขึ้น บทเรียนหลักของเดือนมีนาคมคือ ตลาดตอบสนองต่อพาดหัวข่าวเร็วกว่าผลการตรวจสอบ และคนที่เทขายหุ้นตอนตื่นตระหนกในเดือนมีนาคมเสียมากกว่าที่การปรับฐานช่วงกลางปีถึงปลายปีจะทำให้เสีย
อีกฟากหนึ่งของตลาดเดียวกันคือ คลัสเตอร์ระดับกิกะวัตต์ของ xAI ซึ่งติดขัดไม่ใช่ที่ชิปอีกต่อไป แต่ที่ไฟฟ้า
