การปรับปรุงโมเดล AI ‘การให้เหตุผล’ อาจชะลอตัวลงในไม่ช้าการวิเคราะห์พบ

หนึ่ง การวิเคราะห์ โดย Epoch AI สถาบันวิจัย AI ที่ไม่แสวงหากำไรแสดงให้เห็นว่าอุตสาหกรรม AI อาจไม่สามารถ Eke Efficiency Large ได้รับจากการให้เหตุผลแบบจำลอง AI นานขึ้น ทันทีที่ภายในหนึ่งปีความคืบหน้าจากแบบจำลองการให้เหตุผลอาจชะลอตัวลงตามการค้นพบของรายงาน

รูปแบบการใช้เหตุผลเช่น Openai’s O3 ได้นำไปสู่การเพิ่มขึ้นอย่างมากในการวัดมาตรฐาน AI ในช่วงไม่กี่เดือนที่ผ่านมาโดยเฉพาะอย่างยิ่งมาตรฐานการวัดคณิตศาสตร์และทักษะการเขียนโปรแกรม แบบจำลองสามารถใช้การคำนวณมากขึ้นกับปัญหาซึ่งสามารถปรับปรุงประสิทธิภาพของพวกเขาโดยข้อเสียคือพวกเขาใช้เวลานานกว่าโมเดลทั่วไปเพื่อทำงานให้เสร็จสมบูรณ์

แบบจำลองการให้เหตุผลได้รับการพัฒนาโดยการฝึกอบรมแบบจำลองแบบทั่วไปเป็นครั้งแรกเกี่ยวกับข้อมูลจำนวนมากจากนั้นใช้เทคนิคที่เรียกว่าการเรียนรู้การเสริมแรงซึ่งให้แบบจำลอง“ ข้อเสนอแนะ” อย่างมีประสิทธิภาพในการแก้ปัญหาที่ยากลำบาก

จนถึงตอนนี้ Frontier AI Labs เช่น OpenAI ยังไม่ได้ใช้พลังการคำนวณจำนวนมหาศาลกับขั้นตอนการเรียนรู้การเสริมแรงของการฝึกอบรมรูปแบบการใช้เหตุผลตามยุค

ที่เปลี่ยนแปลง Openai ได้กล่าวว่ามีการใช้คอมพิวเตอร์ประมาณ 10 เท่าในการฝึกอบรม O3 มากกว่ารุ่นก่อน O1 ​​และ Epoch คาดการณ์ว่าคอมพิวเตอร์ส่วนใหญ่นี้ทุ่มเทให้กับการเรียนรู้เสริมแรง และนักวิจัยของ Openai Dan Roberts เปิดเผยเมื่อเร็ว ๆ นี้ว่าแผนการในอนาคตของ บริษัท เรียกร้องให้ จัดลำดับความสำคัญการเรียนรู้การเสริมแรง เพื่อใช้พลังการคำนวณที่มากขึ้นยิ่งกว่าการฝึกอบรมแบบจำลองเริ่มต้น

แต่ยังคงมีขอบเขตสูงสุดที่จะใช้คอมพิวเตอร์ได้มากเพียงใดในการเรียนรู้การเสริมแรงต่อยุค

Josh You นักวิเคราะห์ของ Epoch และผู้แต่งการวิเคราะห์อธิบายว่าประสิทธิภาพการทำงานที่เพิ่มขึ้นจากการฝึกอบรมแบบจำลอง AI มาตรฐานกำลังเพิ่มขึ้นเป็นสี่เท่าทุกปี ความคืบหน้าของการฝึกอบรมการใช้เหตุผลจะ“ อาจมาบรรจบกับพรมแดนโดยรวมภายในปี 2569” เขากล่าวต่อ

การวิเคราะห์ของ Epoch ทำให้มีข้อสันนิษฐานจำนวนมากและดึงส่วนหนึ่งของความคิดเห็นสาธารณะจากผู้บริหาร บริษัท AI แต่มันยังทำให้กรณีที่การปรับขนาดแบบจำลองการให้เหตุผลอาจพิสูจน์ได้ว่าเป็นเรื่องที่ท้าทายด้วยเหตุผลนอกเหนือจากการคำนวณรวมถึงค่าใช้จ่ายค่าโสหุ้ยสูงสำหรับการวิจัย

“ หากมีค่าใช้จ่ายค่าโสหุ้ยถาวรสำหรับการวิจัยรูปแบบการให้เหตุผลอาจไม่ปรับขนาดเท่าที่คาดไว้” เขียนคุณ “ การปรับขนาดการคำนวณอย่างรวดเร็วอาจเป็นส่วนผสมที่สำคัญมากในความคืบหน้าของรูปแบบการใช้เหตุผลดังนั้นจึงคุ้มค่าที่จะติดตามสิ่งนี้อย่างใกล้ชิด”

ข้อบ่งชี้ใด ๆ ว่ารูปแบบการใช้เหตุผลอาจถึงขีด จำกัด บางอย่างในอนาคตอันใกล้มีแนวโน้มที่จะกังวลอุตสาหกรรม AI ซึ่งลงทุนทรัพยากรขนาดใหญ่ที่พัฒนาแบบจำลองประเภทนี้ การศึกษาได้แสดงให้เห็นว่าแบบจำลองการให้เหตุผลซึ่งสามารถทำได้ ราคาแพงอย่างไม่น่าเชื่อมีข้อบกพร่องร้ายแรงเช่นแนวโน้มที่จะ ภาพหลอนมากขึ้น กว่าแบบจำลองทั่วไปบางอย่าง