ยินดีต้อนรับสู่ Tech Discuss คอลัมน์รายสัปดาห์เกี่ยวกับสิ่งที่เราใช้และวิธีการทำงาน เราพยายามทำให้มันเรียบง่ายที่นี่เพื่อให้ทุกคนสามารถเข้าใจได้อย่างไรและทำไมแกดเจ็ตในมือของคุณทำในสิ่งที่มันทำ
สิ่งต่าง ๆ อาจกลายเป็นเทคนิคเล็กน้อยในบางครั้งเนื่องจากเป็นธรรมชาติของเทคโนโลยี – มันอาจซับซ้อนและซับซ้อน เราสามารถแยกมันออกมาได้ทั้งหมดและทำให้สามารถเข้าถึงได้!
การพูดคุยทางเทคนิค
วิธีการทำงานอธิบายในแบบที่ทุกคนสามารถเข้าใจได้ คุณดูว่าอะไรทำให้แกดเจ็ตของคุณเห็บ
คุณอาจไม่สนใจว่าสิ่งนี้จะเกิดขึ้นได้อย่างไรและก็โอเคเช่นกัน อุปกรณ์เทคโนโลยีของคุณเป็นเรื่องส่วนตัวและควรสนุก คุณไม่มีทางรู้ว่าคุณอาจเรียนรู้อะไรบางอย่าง …
AI ต้องการฮาร์ดแวร์พิเศษ
คุณอาจคุ้นเคยกับส่วนประกอบที่จำเป็นในการเรียกใช้โทรศัพท์เช่น CPU และ GPU อย่างไรก็ตามเมื่อพูดถึง AI ต้องใช้ฮาร์ดแวร์เฉพาะเพื่อให้คุณสมบัติสามารถทำงานได้อย่างรวดเร็วและมีประสิทธิภาพ
ฮาร์ดแวร์ที่เร่งความเร็ว การประมวลผล AI บนโทรศัพท์มีศูนย์กลางอยู่ที่ส่วนประกอบพิเศษที่รู้จักกันในชื่อ NPU (หน่วยประมวลผลระบบประสาท) ส่วนประกอบนี้ได้รับการออกแบบมาโดยเฉพาะสำหรับการจัดการคณิตศาสตร์และข้อมูลที่จำเป็นโดยปัญญาประดิษฐ์และโมเดลการเรียนรู้ของเครื่องทำให้แตกต่างจากฮาร์ดแวร์โทรศัพท์มาตรฐานอย่างมากเช่น CPU และ GPU มาตรฐาน
มันทำงานกับฮาร์ดแวร์โทรศัพท์ “ปกติ” เพื่อแปลงบรรทัดของรหัสให้เป็นสิ่งที่คิดหรือฉลาด นอกจากนี้ยัง มาก แตกต่าง.
|
คุณสมบัติ |
NPU |
CPU มาตรฐานหรือ GPU |
|---|---|---|
|
ฟังก์ชั่นหลัก: |
ได้รับการปรับให้เหมาะสมสำหรับการคำนวณเครือข่ายประสาทการเรียนรู้ของเครื่องและงานการเรียนรู้อย่างลึกซึ้งเช่นการคูณเมทริกซ์หรือการโน้มน้าวใจ |
CPU: จัดการอเนกประสงค์ทั่วไปงานตามลำดับ GPU: จัดการการแสดงผลกราฟิกและการคำนวณขนาดใหญ่ แต่เรียบง่าย |
|
สถาปัตยกรรม: |
สร้างขึ้นเพื่อการประมวลผลแบบขนานอย่างหนาแน่นของเลขคณิต 8 บิตหรือ 16 บิตที่มีความแม่นยำต่ำ |
CPU: ปรับให้เหมาะสมสำหรับคำแนะนำที่ซับซ้อนที่นาฬิกาสูงพร้อมเวลาแฝงต่ำ GPU: ปรับให้เหมาะสมสำหรับคณิตศาสตร์ลอย 32 บิตทั่วไปในกราฟิก |
|
ประสิทธิภาพพลังงาน: |
ประหยัดพลังงานอย่างมากสำหรับงาน AI ช่วยให้ AI ที่ซับซ้อน (เช่นการแปลแบบเรียลไทม์หรือการสร้างภาพ) ทำงานบนแบตเตอรี่ได้นานขึ้น |
CPU/GPU: สามารถเรียกใช้งาน AI ได้ แต่มีประสิทธิภาพพลังงานน้อยลงและช้ากว่า NPU อย่างมีนัยสำคัญสำหรับงานเดียวกันทำให้แบตเตอรี่เร็วขึ้นมากในขณะที่ใช้เวลานานกว่าจะทำ |
|
การวัดประสิทธิภาพ: |
ท็อปส์ซู (การดำเนินการ TERA ต่อวินาที) ท็อปส์ซูที่สูงขึ้นหมายถึงการประมวลผล AI ที่เร็วขึ้น |
ความเร็วนาฬิกา ใน Gigahertz สูงกว่าเร็วกว่า แต่ไม่จำเป็นต้องดีกว่า |
|
การรวม: |
โดยปกติจะเป็นแกนกลางที่เป็นตัวเลือกภายใน SOC หลัก (ระบบบนชิป) ข้าง CPU และ GPU |
องค์ประกอบหลักของ SOC ที่จำเป็นสำหรับการคำนวณงาน |
NPU เป็นอุปกรณ์เฉพาะสำหรับ AI ไม่มีการประมวลผล AI บนไฟล์ โทรศัพท์ Android (หรืออุปกรณ์ใด ๆ สำหรับเรื่องนั้น) จะช้าลงอย่างมากกินแบตเตอรี่มากขึ้นและอาจต้องใช้การเชื่อมต่ออินเทอร์เน็ตและเซิร์ฟเวอร์ AI ระยะไกลในการทำงาน ผู้ผลิตชิปมีแบรนด์ NPU ของตัวเอง: Google มี แกนเทนเซอร์– แอปเปิล มี เครื่องยนต์ประสาทQualcomm มี หกเหลี่ยม NPUและอื่น ๆ พวกเขาทั้งหมดทำสิ่งเดียวกันแตกต่างกันเล็กน้อย
อย่างไรก็ตามคุณยังต้องใช้ฮาร์ดแวร์โทรศัพท์มาตรฐานเพื่อนำทุกอย่างเข้าด้วยกันและเปิดใช้งานการประมวลผล AI ที่รวดเร็วและมีประสิทธิภาพมากขึ้น
CPU จัดการและประสานงานระบบทั้งหมด สำหรับ AI มันจัดการการตั้งค่าเริ่มต้นของไปป์ไลน์ข้อมูลและสำหรับรุ่นที่เล็กกว่าและง่ายกว่าบางรุ่นมันอาจดำเนินการงาน AI เองแม้ว่าจะมีประสิทธิภาพน้อยกว่า NPU
GPU สามารถเร่งงาน AI บางอย่างโดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับการประมวลผลภาพและวิดีโอเนื่องจากสถาปัตยกรรมแบบขนานนั้นเหมาะสมสำหรับการคำนวณซ้ำ ๆ ซ้ำ ๆ ใน สถาปัตยกรรมที่แตกต่างกัน (ใช้ส่วนประกอบโปรเซสเซอร์หลายตัวบนชิปเดียว) ระบบสามารถเลือกส่วนประกอบที่เหมาะสมที่สุด (NPU, GPU หรือ CPU) สำหรับเวิร์กโหลด AI เฉพาะ
โมเดล AI โดยเฉพาะ รูปแบบภาษาขนาดใหญ่ (LLMS) ใช้สำหรับ AI Generative ต้องใช้ RAM Quick จำนวนมาก (หน่วยความจำการเข้าถึงแบบสุ่ม) เพื่อจัดเก็บโมเดลทั้งหมดและข้อมูลที่ประมวลผลอย่างแข็งขัน โทรศัพท์เรือธงสมัยใหม่ได้เพิ่ม RAM เพื่อรองรับรุ่น AI ที่มีขนาดใหญ่และมีความสามารถมากขึ้นเหล่านี้
ทำไมเรื่องนี้เรื่องนี้
สำหรับ AI ที่รวดเร็วและมีประสิทธิภาพ (“ดี” AI เป็นเรื่องส่วนตัว) สิ่งที่คุณต้องการคือการเพิ่มประสิทธิภาพ งานแต่ละประเภทที่แตกต่างกันอาจต้องใช้เส้นทางการประมวลผลที่แตกต่างกันเล็กน้อยและด้วยการผสมผสานที่เหมาะสมของฮาร์ดแวร์งานทั้งหมดสามารถทำได้โดยฮาร์ดแวร์ที่เหมาะสมที่สุดสำหรับแต่ละงาน
ต้องบอกว่า NPU มีบทบาทสำคัญและในไม่ช้ามันจะเป็นข้อกำหนดสำหรับโทรศัพท์ระดับไฮเอนด์ทุกเครื่องเพราะสามสิ่ง:
ความเร็ว: NPU สามารถดำเนินการคณิตศาสตร์เมทริกซ์ขนานขนาดใหญ่ที่ต้องการโดยเครือข่ายประสาทเร็วกว่าโปรเซสเซอร์อเนกประสงค์ทั่วไป
ประสิทธิภาพ: ด้วยการมุ่งเน้นไปที่การดำเนินการที่แน่นอนที่จำเป็น NPU จะใช้พลังงานน้อยลงอย่างมากซึ่งเป็นสิ่งสำคัญสำหรับอุปกรณ์มือถือที่ใช้พลังงานจากแบตเตอรี่
การประมวลผลในท้องถิ่น (Edge AI): ความเร็วและประสิทธิภาพของ NPU อนุญาตให้มีคุณสมบัติ AI ที่ซับซ้อนเช่นการแปลด้วยเสียงแบบเรียลไทม์การถ่ายภาพการคำนวณขั้นสูงและรุ่นข้อความ/ภาพกำเนิด-เพื่อทำงานบนโทรศัพท์โดยไม่ส่งข้อมูลของคุณไปยังเซิร์ฟเวอร์คลาวด์ที่ห่างไกลเพิ่มความเป็นส่วนตัวและลดเวลาแฝง (LAG)
ดังนั้นรู้ว่าในครั้งต่อไปที่คุณใช้ ราศีเมถุน โดยไม่ต้องเชื่อมต่อกับ Google Mothership ผ่านทางคลาวด์เพราะโทรศัพท์ของคุณสามารถจัดการทุกอย่างได้ – ฮาร์ดแวร์พิเศษนี้เป็นเหตุผลว่าทำไม