ประเด็นร้อนแรงของวงการเทคตอนนี้คงไม่พ้น DeepSeek บริษัทปัญญาประดิษฐ์จากจีนที่ออกโมเดล R1 มีความสามารถคิดเป็นขั้นตอน และมีผลทดสอบหลายด้านชนะ o1 ของ OpenAI พร้อมจุดเด่นคือต้นทุนการฝึกที่ต่ำกว่ามาก แถมยังโอเพนซอร์ส เรื่องนี้จึงอาจนำมาสู่การเปลี่ยนแปลงหลายอย่างในการพัฒนา AI ซึ่งไม่ใช่แค่จากจีนแต่อาจส่งผลทั้งวงการได้
DeepSeek ก่อตั้งเมื่อเดือนกรกฎาคม 2023 โดย Liang Wenfeng ศิษย์เก่ามหาวิทยาลัย Zhejiang บริษัทตั้งอยู่ในเมืองหางโจว ได้รับเงินสนับสนุนจากกองทุน High-Flyer ซึ่ง Liang ก่อตั้งขึ้นตั้งแต่ปี 2015 เป้าหมายของ DeepSeek นั้นคล้ายกับ OpenAI คือต้องการพัฒนาปัญญาประดิษฐ์ที่มีความสามารถรอบด้านแบบมนุษย์หรือ AGI (Artificial General Intelligence)
กองทุน High-Flyer ของ Liang เป็นหนึ่งในบริษัทที่กว้านซื้อจีพียู NVIDIA A100 ไว้จำนวนมาก ก่อนที่สหรัฐอเมริกาจะออกคำสั่งแบนห้าม NVIDIA ส่งออกชิปรุ่นบนสุดไปจีน แม้ไม่มีจำนวนที่ยืนยันชัดเจน แต่คาดว่า High-Flyer มีจีพียู A100 ประมาณ 10,000 ตัว ทำให้ DeepSeek มีทรัพยากรประมวลผลขั้นสูงอยู่จำนวนหนึ่ง แต่ไม่เยอะเมื่อเทียบกับบริษัทเทคฝั่งอเมริกา จากนั้นบริษัทซื้อจีพียูรุ่นรองคือ H800 เวอร์ชันจีนมาเสริมกำลังประมวลผลแทน
Liang เคยให้สัมภาษณ์เมื่อกลางปี 2024 ว่าการถูกจำกัดทรัพยากรชิปขั้นสูง ทำให้การทำวิศวกรรมปัญญาประดิษฐ์มีต้นทุนสูงมาก กำลังประมวลผลต้องใช้ 2-4 เท่าเพื่อให้ได้ผลลัพธ์ที่เท่ากัน บริษัทจึงต้องพยายามหาทางลดช่องว่างนี้ให้ได้ จนเกิดการร่วมมือวิจัยหาแนวทางเพิ่มประสิทธิภาพการฝึกโมเดลให้ดีขึ้น บนฮาร์ดแวร์ที่มีจำกัด เช่น การลดความซ้ำซ้อนข้อมูล ลดการทำ Supervised Fine-Tuning ไปเพิ่ม Reinforce เรื่องนี้ยังอธิบายได้ว่าทำไมบริษัทเทคในจีนจึงมักทำโมเดล AI แบบโอเพนซอร์ส ก็เพื่อให้เกิดการแชร์ข้อมูลและพัฒนาร่วมกันมากที่สุด เพราะทุกคนทำงานบนฮาร์ดแวร์ที่มีข้อจำกัด
DeepSeek บอกว่าต้นทุนที่ใช้ในการฝึกโมเดล R1 คือ 5.6 ล้านดอลลาร์ ตัวเลขนี้น้อยกว่าต้นทุนของบริษัทปัญญาประดิษฐ์ในอเมริกา ซึ่งตัวเลขขั้นต่ำคือ 100 ล้านดอลลาร์ หรือบางกรณีอาจแตะระดับพันล้านดอลลาร์ ตรงนี้จึงเป็นประเด็นที่พูดถึงมากเพราะหากการพัฒนาโมเดลแบบ LLM ทำได้ด้วยต้นทุนที่น้อยลงขนาดนี้ย่อมส่งผลในหลายด้าน ไม่ว่าจะเป็นผู้ผลิตฮาร์ดแวร์ หรือบริษัทพัฒนา AI ที่ลงทุนไปแล้วหรือกำลังวางแผนลงทุนในอนาคต
อย่างไรก็ตาม The Wall Street Journal อ้างข้อมูลว่า Liang เพิ่งเข้าพบ Li Qiang นายกรัฐมนตรีของจีนเมื่อสัปดาห์ที่แล้ว และบอกว่าคำสั่งแบนการส่งออกชิปมาจีนนั้น ยังคงเป็นปัญหาที่สร้างข้อจำกัดในการพัฒนาด้านปัญญาประดิษฐ์อยู่
มีความเห็นที่น่าสนใจของ Jim Fan นักวิจัยที่ NVIDIA เขาบอกว่า DeepSeek ใช้วิธีพัฒนาโมเดลที่แตกต่างออกไปหลายอย่าง เช่น เรียนรู้จากศูนย์แบบ AlphaZero, ลดระดับ Reward, ฝึกให้ได้ผลลัพธ์ที่แม่นยำแล้วเลือกไปเลย ทำให้ลดทางเลือกแบบต้นไม้ที่เพิ่มความซับซ้อนตอนประมวลผล ส่วนความกังวลว่าจะกระทบกับการลงทุนหลายส่วน เขามองว่าเมื่อต้นทุนฝึกฝนลดลง 10 เท่า ก็แปลว่าทรัพยากรที่มีปัจจุบันจะทำงานได้มากขึ้น 10 เท่าด้วย ปลายทางของปัญญาประดิษฐ์ความสามารถรอบด้านจึงเข้ามาถึงทุกคนเร็วขึ้นเช่นกัน
ที่มา: MIT Technology Review, The Wall Street Journal
Topics:
DeepSeek
Artificial Intelligence
China
Continue reading...
DeepSeek ก่อตั้งเมื่อเดือนกรกฎาคม 2023 โดย Liang Wenfeng ศิษย์เก่ามหาวิทยาลัย Zhejiang บริษัทตั้งอยู่ในเมืองหางโจว ได้รับเงินสนับสนุนจากกองทุน High-Flyer ซึ่ง Liang ก่อตั้งขึ้นตั้งแต่ปี 2015 เป้าหมายของ DeepSeek นั้นคล้ายกับ OpenAI คือต้องการพัฒนาปัญญาประดิษฐ์ที่มีความสามารถรอบด้านแบบมนุษย์หรือ AGI (Artificial General Intelligence)
กองทุน High-Flyer ของ Liang เป็นหนึ่งในบริษัทที่กว้านซื้อจีพียู NVIDIA A100 ไว้จำนวนมาก ก่อนที่สหรัฐอเมริกาจะออกคำสั่งแบนห้าม NVIDIA ส่งออกชิปรุ่นบนสุดไปจีน แม้ไม่มีจำนวนที่ยืนยันชัดเจน แต่คาดว่า High-Flyer มีจีพียู A100 ประมาณ 10,000 ตัว ทำให้ DeepSeek มีทรัพยากรประมวลผลขั้นสูงอยู่จำนวนหนึ่ง แต่ไม่เยอะเมื่อเทียบกับบริษัทเทคฝั่งอเมริกา จากนั้นบริษัทซื้อจีพียูรุ่นรองคือ H800 เวอร์ชันจีนมาเสริมกำลังประมวลผลแทน
Liang เคยให้สัมภาษณ์เมื่อกลางปี 2024 ว่าการถูกจำกัดทรัพยากรชิปขั้นสูง ทำให้การทำวิศวกรรมปัญญาประดิษฐ์มีต้นทุนสูงมาก กำลังประมวลผลต้องใช้ 2-4 เท่าเพื่อให้ได้ผลลัพธ์ที่เท่ากัน บริษัทจึงต้องพยายามหาทางลดช่องว่างนี้ให้ได้ จนเกิดการร่วมมือวิจัยหาแนวทางเพิ่มประสิทธิภาพการฝึกโมเดลให้ดีขึ้น บนฮาร์ดแวร์ที่มีจำกัด เช่น การลดความซ้ำซ้อนข้อมูล ลดการทำ Supervised Fine-Tuning ไปเพิ่ม Reinforce เรื่องนี้ยังอธิบายได้ว่าทำไมบริษัทเทคในจีนจึงมักทำโมเดล AI แบบโอเพนซอร์ส ก็เพื่อให้เกิดการแชร์ข้อมูลและพัฒนาร่วมกันมากที่สุด เพราะทุกคนทำงานบนฮาร์ดแวร์ที่มีข้อจำกัด
DeepSeek บอกว่าต้นทุนที่ใช้ในการฝึกโมเดล R1 คือ 5.6 ล้านดอลลาร์ ตัวเลขนี้น้อยกว่าต้นทุนของบริษัทปัญญาประดิษฐ์ในอเมริกา ซึ่งตัวเลขขั้นต่ำคือ 100 ล้านดอลลาร์ หรือบางกรณีอาจแตะระดับพันล้านดอลลาร์ ตรงนี้จึงเป็นประเด็นที่พูดถึงมากเพราะหากการพัฒนาโมเดลแบบ LLM ทำได้ด้วยต้นทุนที่น้อยลงขนาดนี้ย่อมส่งผลในหลายด้าน ไม่ว่าจะเป็นผู้ผลิตฮาร์ดแวร์ หรือบริษัทพัฒนา AI ที่ลงทุนไปแล้วหรือกำลังวางแผนลงทุนในอนาคต
อย่างไรก็ตาม The Wall Street Journal อ้างข้อมูลว่า Liang เพิ่งเข้าพบ Li Qiang นายกรัฐมนตรีของจีนเมื่อสัปดาห์ที่แล้ว และบอกว่าคำสั่งแบนการส่งออกชิปมาจีนนั้น ยังคงเป็นปัญหาที่สร้างข้อจำกัดในการพัฒนาด้านปัญญาประดิษฐ์อยู่
มีความเห็นที่น่าสนใจของ Jim Fan นักวิจัยที่ NVIDIA เขาบอกว่า DeepSeek ใช้วิธีพัฒนาโมเดลที่แตกต่างออกไปหลายอย่าง เช่น เรียนรู้จากศูนย์แบบ AlphaZero, ลดระดับ Reward, ฝึกให้ได้ผลลัพธ์ที่แม่นยำแล้วเลือกไปเลย ทำให้ลดทางเลือกแบบต้นไม้ที่เพิ่มความซับซ้อนตอนประมวลผล ส่วนความกังวลว่าจะกระทบกับการลงทุนหลายส่วน เขามองว่าเมื่อต้นทุนฝึกฝนลดลง 10 เท่า ก็แปลว่าทรัพยากรที่มีปัจจุบันจะทำงานได้มากขึ้น 10 เท่าด้วย ปลายทางของปัญญาประดิษฐ์ความสามารถรอบด้านจึงเข้ามาถึงทุกคนเร็วขึ้นเช่นกัน
ที่มา: MIT Technology Review, The Wall Street Journal
Topics:
DeepSeek
Artificial Intelligence
China
Continue reading...