เทคโนโลยีซอฟต์แวร์จะสามารถปรับปรุงการปรับขนาดและความแม่นยำของฐานข้อมูลเวกเตอร์ในเวิร์กโฟลว์ RAG ได้โดยใช้ SSD
โตเกียว–(BUSINESS WIRE)–28 มกราคม 2025
Kioxia Corporationผู้นำระดับโลกด้านโซลูชันหน่วยความจำ ประกาศเปิดตัว All-in-Storage ANNS ใหม่พร้อมเทคโนโลยี Product Quantization (AiSAQ) แบบโอเพ่นซอร์สในวันนี้ (1) ซอฟต์แวร์ KIOXIA AiSAQ™ เป็นอัลกอริทึมสำหรับการค้นหา “การคาดคะเนหรือประมาณจุดที่ใกล้ที่สุด” (ANNS) แบบใหม่ที่ปรับให้เหมาะสมสำหรับ SSD โดยมอบประสิทธิภาพที่ปรับขนาดได้สำหรับการรวบรวมข้อมูลที่เกี่ยวกับคำถามที่ถามเข้ามา (RAG) โดยไม่ต้องวางข้อมูลดัชนีไว้ใน DRAM และค้นหาโดยตรงบน SSD แทน
โดยระบบ Generative AI นั้นต้องการทรัพยากรการประมวลผล หน่วยความจำ และการจัดเก็บจำนวนมาก แม้ว่าจะมีศักยภาพในการขับเคลื่อนการเปลี่ยนแปลงครั้งสำคัญในอุตสาหกรรมต่างๆ แต่การใช้งานมักมาพร้อมกับต้นทุนที่สูง ซึ่ง RAG นั้นเป็นเฟสสำคัญของ AI ที่จะปรับปรุงโมเดลภาษาขนาดใหญ่ (LLM) ด้วยข้อมูลเฉพาะของบริษัทหรือแอปพลิเคชัน
โดยส่วนประกอบหลักของ RAG คือฐานข้อมูลเวกเตอร์ที่สะสมและแปลงข้อมูลเฉพาะเป็นเวกเตอร์ฟีเจอร์ในฐานข้อมูล และ RAG นั้นยังใช้อัลกอริทึม ANNS ซึ่งมีการระบุเวกเตอร์ที่ปรับปรุงโมเดลตามความคล้ายคลึงกันระหว่างเวกเตอร์สะสมและเวกเตอร์เป้าหมาย เพื่อให้ RAG มีประสิทธิภาพ จะต้องดึงข้อมูลที่มีความเกี่ยวข้องกับการค้นหามากที่สุดได้อย่างรวดเร็ว โดยทั่วไปแล้ว อัลกอริทึม ANNS จะถูกนำไปใช้งานใน DRAM เพื่อให้ได้ประสิทธิภาพด้านความเร็วที่สูงตามที่จำเป็นสำหรับการค้นหาเหล่านี้
เทคโนโลยี KIOXIA AiSAQ จะมอบโซลูชัน ANNS ที่สามารถปรับขนาดได้และมีประสิทธิภาพสำหรับชุดข้อมูลขนาดพันล้านชุดด้วยการใช้หน่วยความจำขนาดเล็กและมีความสามารถในการสลับดัชนีอย่างรวดเร็ว
ประโยชน์หลักของเทคโนโลยี KIOXIA AiSAQ:
- ช่วยให้ฐานข้อมูลขนาดใหญ่สามารถทำงานได้โดยไม่ต้องพึ่งพาทรัพยากร DRAM ที่จำกัด ซึ่งช่วยเพิ่มประสิทธิภาพของระบบ RAG
- ขจัดความจำเป็นในการโหลดข้อมูลดัชนีลงใน DRAM และช่วยให้สามารถเปิดใช้งานฐานข้อมูลเวกเตอร์ได้ทันที สิ่งนี้รองรับการสลับระหว่างฐานข้อมูลเฉพาะผู้ใช้หรือเฉพาะแอปพลิเคชันบนเซิร์ฟเวอร์เดียวกันได้อย่างราบรื่นเพื่อการส่งมอบบริการ RAG อย่างมีประสิทธิภาพ
- ปรับให้เหมาะสมสำหรับระบบคลาวด์ด้วยการจัดเก็บดัชนีในพื้นที่จัดเก็บแบบแยกส่วนเพื่อการแบ่งปันระหว่างเซิร์ฟเวอร์หลายเครื่อง แนวทางนี้จะปรับประสิทธิภาพการค้นหาฐานข้อมูลเวกเตอร์แบบไดนามิกสำหรับผู้ใช้หรือแอปพลิเคชันเฉพาะ และอำนวยความสะดวกในการโยกย้ายอินสแตนซ์การค้นหาระหว่างเซิร์ฟเวอร์จริงได้อย่างรวดเร็ว
Kioxia แสดงให้เห็นถึงความมุ่งมั่นในการพัฒนา AI ด้วยการนำเสนอนวัตกรรมเทคโนโลยี KIOXIA AiSAQ สู่ชุมชนในรูปแบบของซอฟต์แวร์โอเพ่นซอร์ส
หมายเหตุ
(1) โปรดไปที่ลิงก์สำหรับโอเพนซอร์สของ KIOXIA AiSAQ ที่เปิดตัว
https://github.com/kioxiaamerica/aisaq-diskann
*ชื่อบริษัท ชื่อผลิตภัณฑ์ และชื่อบริการ อาจเป็นเครื่องหมายการค้าของบริษัทบุคคลที่สาม
เกี่ยวกับ Kioxia
Kioxia เป็นผู้นำระดับโลกด้านโซลูชันหน่วยความจำที่มุ่งมั่นในการพัฒนา การผลิต และการจำหน่ายหน่วยความจำแฟลชและโซลิดสเตทไดรฟ์ (SSD) ในเดือนเมษายน 2017 บริษัท Toshiba Memory ซึ่งเป็นบริษัทก่อนหน้าได้แยกตัวออกมาจาก Toshiba Corporation ซึ่งเป็นบริษัทที่คิดค้นหน่วยความจำแฟลช NAND ในปี 1987 Kioxia มุ่งมั่นที่จะยกระดับโลกด้วย “หน่วยความจำ” ด้วยการนำเสนอผลิตภัณฑ์ บริการ และระบบที่สร้างทางเลือกให้กับลูกค้าและคุณค่าตามหน่วยความจำสำหรับสังคมต่างๆ โดยเทคโนโลยีหน่วยความจำแฟลช 3D ที่เป็นนวัตกรรมของ Kioxia อย่าง BiCS FLASH™ นั้นกำลังสร้างอนาคตของการจัดเก็บข้อมูลในแอปพลิเคชั่นที่มีความหนาแน่นสูง รวมถึงสมาร์ทโฟนขั้นสูง พีซี ระบบยานยนต์ ศูนย์ข้อมูล และระบบ Generative AI
*ข้อมูลในเอกสารนี้ รวมถึงราคาและข้อมูลจำเพาะของผลิตภัณฑ์ เนื้อหาบริการ และข้อมูลการติดต่อ มีความถูกต้อง ณ วันที่ประกาศ แต่อาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เนื้อหาใจความในภาษาต้นฉบับของข่าวประชาสัมพันธ์ฉบับนี้เป็นฉบับที่เชื่อถือได้และเป็นทางการ การแปลต้นฉบับนี้จึงมีจุดประสงค์เพื่ออำนวยความสะดวกเท่านั้น และควรนำไปเทียบเคียงอ้างอิงกับเนื้อหาในภาษาต้นฉบับ ซึ่งเป็นฉบับเดียวที่มีผลทางกฎหมาย
Contacts
การสอบถามสำหรับสื่อ:
Kioxia Corporation
ฝ่ายวางแผนกลยุทธ์การขาย
Satoshi Shindo / Koji Takahata
โทร: +81-3-6478-2404
การสอบถามสำหรับลูกค้า:
Kioxia Group
สำนักงานขายทั่วโลก
https://www.kioxia.com/en-jp/business/buy/global-sales.html
ที่มา: Kioxia Corporation
