มานุษยวิทยาใช้โปเกมอนเพื่อเปรียบเทียบโมเดล AI ใหม่ล่าสุด ใช่จริงๆ
ในบล็อก โพสต์ ตีพิมพ์เมื่อวันจันทร์ที่มานุษยวิทยากล่าวว่ามันทดสอบรุ่นล่าสุด Claude 3.7 Sonnetบนเกม Boy Basic Pokémon Crimson บริษัท ติดตั้งโมเดลด้วยหน่วยความจำพื้นฐานอินพุตพิกเซลหน้าจอและการเรียกใช้ฟังก์ชันเพื่อกดปุ่มและนำทางไปรอบ ๆ หน้าจอทำให้สามารถเล่นโปเกมอนได้อย่างต่อเนื่อง
คุณสมบัติที่เป็นเอกลักษณ์ของ Claude 3.7 Sonnet คือความสามารถในการมีส่วนร่วมใน“ การคิดขยาย” เช่นเดียวกับ O3-Mini และ R1 ของ Openai และ Deepseek, Claude 3.7 Sonnet สามารถ “ให้เหตุผล” ผ่านปัญหาที่ท้าทายโดยการใช้คอมพิวเตอร์มากขึ้น-และใช้เวลามากขึ้น
เห็นได้ชัดว่ามีประโยชน์ในโปเกมอนแดง
เมื่อเปรียบเทียบกับ Claude รุ่นก่อนหน้า, Claude 3.0 Sonnet ซึ่งล้มเหลวในการออกจากบ้านใน Pallet City ที่เรื่องราวเริ่มต้นขึ้น Claude 3.7 Sonnet ประสบความสำเร็จในการต่อสู้กับผู้นำโรงยิมโปเกมอนสามคนและชนะป้าย
ตอนนี้ยังไม่ชัดเจนว่าต้องใช้คอมพิวเตอร์มากแค่ไหนสำหรับ Claude 3.7 Sonnet เพื่อไปถึงเหตุการณ์สำคัญเหล่านั้น – และแต่ละครั้งใช้เวลานานเท่าใด มานุษยวิทยาเพียงกล่าวว่าแบบจำลองดำเนินการ 35,000 การกระทำเพื่อเข้าถึงผู้นำโรงยิมคนสุดท้าย Surge
แน่นอนว่ามันจะไม่นานก่อนที่นักพัฒนาที่กล้าได้กล้าเสียจะค้นพบ
Pokémon Crimson เป็นเกณฑ์มาตรฐานของเล่นมากกว่าสิ่งใด อย่างไรก็ตามมี เป็น ประวัติศาสตร์อันยาวนาน ของเกมที่ใช้เพื่อวัตถุประสงค์ในการเปรียบเทียบ AI ในช่วงไม่กี่เดือนที่ผ่านมาเพียงอย่างเดียวแอพและแพลตฟอร์มใหม่จำนวนหนึ่งได้ตัดความสามารถในการเล่นเกมของรุ่นทดสอบในชื่อตั้งแต่ นักสู้ข้างถนน ถึง คี่–
(tagstotranslate) มานุษยวิทยา (T) เกณฑ์มาตรฐาน
