ผู้นำด้านไอทีขององค์กรเริ่มรู้สึกไม่สบายใจว่าเทคโนโลยี Generative AI (Genai) ยังคงเป็นงานที่กำลังดำเนินอยู่และการซื้อมันก็เหมือนกับการใช้จ่ายหลายพันล้านดอลลาร์เพื่อเข้าร่วมการทดสอบอัลฟ่า – ไม่ใช่การทดสอบเบต้า แต่เป็น แต่แรก อัลฟ่าที่ผู้เขียนโค้ดแทบจะไม่สามารถติดตามรายงานข้อผิดพลาดได้
สำหรับคนที่จำสามฤดูกาลแรกของ Saturday Evening DwellGenai เป็นอัลกอริทึมที่ไม่พร้อมสำหรับเวลา
หนึ่งในหลักฐานล่าสุดเกี่ยวกับเรื่องนี้มาจาก Openai ซึ่งต้องดึง CHATGPT เวอร์ชันล่าสุดกลับมาอย่างไม่หยุดยั้ง (GPT-4O) เมื่อมัน – เหนือสิ่งอื่นใด – ส่งการแปลที่ไม่ถูกต้องอย่างดุเดือด
หายไปในการแปล
ทำไม ใน คำพูดของ CTO ผู้ค้นพบปัญหา“ chatgpt ไม่ได้แปลเอกสารจริง ๆ มันเดาได้ว่าสิ่งที่ฉันต้องการจะได้ยินผสมผสานกับการสนทนาที่ผ่านมาเพื่อให้รู้สึกถูกต้องตามกฎหมายมันไม่เพียงแค่ทำนายคำพูดมันทำนายความคาดหวังของฉัน
Openai กล่าวว่า CHATGPT เป็นคนดีเกินไป
“ เราย้อนกลับไปการอัปเดต GPT – 4O ของสัปดาห์ที่แล้วใน CHATGPT เพื่อให้ผู้คนใช้เวอร์ชันก่อนหน้านี้ที่มีพฤติกรรมที่สมดุลมากขึ้นการอัปเดตที่เราลบออกนั้นถูกทำให้ประจบประแจงมากเกินไปหรือน่าพอใจ – มักอธิบายว่าเป็น Sycophantic” Openai อธิบายเสริมว่าใน“ การอัปเดต GPT-4O เราทำการปรับเปลี่ยนที่มุ่งเน้นการปรับปรุงบุคลิกภาพเริ่มต้นของโมเดลเพื่อให้รู้สึกเข้าใจง่ายและมีประสิทธิภาพมากขึ้นในงานที่หลากหลายเรามุ่งเน้นไปที่ข้อเสนอแนะระยะสั้นมากเกินไปและไม่ได้อธิบายถึงการโต้ตอบของผู้ใช้
“ …คุณสมบัติที่พึงประสงค์เหล่านี้แต่ละอย่างเช่นการพยายามเป็นประโยชน์หรือสนับสนุนสามารถมีผลข้างเคียงที่ไม่ได้ตั้งใจและด้วย 500 ล้านคนที่ใช้ CHATGPT ในแต่ละสัปดาห์ในทุกวัฒนธรรมและบริบทการเริ่มต้นเดียวไม่สามารถจับการตั้งค่าได้ทุกการตั้งค่า”
Openai กำลังถูกป้านอย่างจงใจ ปัญหาไม่ใช่ว่าแอพนั้นสุภาพและมีมารยาทดีเกินไป นี่ไม่ใช่ปัญหาของการเลียนแบบ Miss Manners
ฉัน ไม่ เป็นคนดีถ้าคุณขอให้ฉันแปลเอกสารและฉันบอกคุณว่าฉันคิดว่าคุณอยากได้ยินอะไร นี่คือสิ่งที่คล้ายกับการใช้ตัวเลขทางการเงินของคุณและทำให้รายได้สุทธิมีขนาดใหญ่ขึ้นมากเพราะคิดว่าจะทำให้คุณมีความสุข
ในทำนองเดียวกับที่ผู้มีอำนาจตัดสินใจด้านไอทีคาดหวังว่า Excel จะคำนวณตัวเลขได้อย่างถูกต้องโดยไม่คำนึงว่ามันอาจส่งผลกระทบต่ออารมณ์ของเราอย่างไรพวกเขาคาดหวังว่าการแปลเอกสารภาษาจีนไม่ได้เกิดขึ้น
Openai ไม่สามารถทำเอกสารเกี่ยวกับความยุ่งเหยิงนี้ได้โดยบอกว่า“ คุณสมบัติที่พึงประสงค์เช่นการพยายามเป็นประโยชน์หรือสนับสนุนอาจมีผลข้างเคียงที่ไม่ได้ตั้งใจ” ขอให้ชัดเจน: การให้คำตอบของผู้คนผิดจะมีผลกระทบที่คาดหวังอย่างแม่นยำ – การตัดสินใจที่ไม่ดี
Yale: LLMS ต้องการข้อมูลที่ระบุว่าผิด
อนิจจาความพยายามของ Openai ความสุขของ Openai ไม่ใช่ข่าว Genai ที่แปลกประหลาดเพียงอย่างเดียว นักวิจัยที่มหาวิทยาลัยเยลสำรวจทฤษฎีที่น่าสนใจ: หาก LLM ได้รับการฝึกฝนเฉพาะข้อมูลที่ระบุว่าถูกต้อง – ไม่ว่าข้อมูลจะถูกต้องจริงหรือไม่นั้นไม่เป็นสาระสำคัญ – ไม่มีโอกาสระบุข้อมูลที่มีข้อบกพร่องหรือไม่น่าเชื่อถือสูงเพราะมันไม่ทราบว่ามันเป็นอย่างไร
ในระยะสั้นหากไม่เคยได้รับการฝึกฝนเกี่ยวกับข้อมูลที่ระบุว่าเป็นเท็จมันจะจดจำได้อย่างไร? ( การศึกษาเต็มรูปแบบจากเยล อยู่ที่นี่)
แม้แต่รัฐบาลสหรัฐฯก็พบว่า Genai อ้างว่าไปไกลเกินไป และเมื่อเฟดพูดว่าการโกหกนั้นไปไกลเกินไปนั่นเป็นคำพูดที่ค่อนข้าง
FTC: ผู้ขาย Genai ทำข้อเรียกร้องที่ผิดและทำให้เข้าใจผิด
คณะกรรมาธิการการค้าสหรัฐ (FTC) พบว่าหนึ่ง รูปแบบภาษาขนาดใหญ่ (LLM) ผู้ขาย Workado กำลังหลอกลวงผู้ที่มีข้อบกพร่องที่มีข้อบกพร่องเกี่ยวกับความถูกต้องของผลิตภัณฑ์ตรวจจับ LLM– มันต้องการให้ผู้ขาย“ รักษาหลักฐานที่มีความสามารถและเชื่อถือได้แสดงว่าผลิตภัณฑ์เหล่านั้นมีความแม่นยำตามที่อ้างว่า”
ลูกค้า“ เครื่องตรวจจับเนื้อหา AI ของ Workado ที่เชื่อถือได้เพื่อช่วยให้พวกเขาถอดรหัสว่า AI อยู่เบื้องหลังการเขียนชิ้นหนึ่งหรือไม่ แต่ผลิตภัณฑ์ไม่ได้ดีไปกว่าการโยนเหรียญ” Chris Mufarrige ผู้อำนวยการสำนักคุ้มครองผู้บริโภคของ FTC กล่าว “ การเรียกร้องที่ทำให้เข้าใจผิดเกี่ยวกับ AI บ่อนทำลายการแข่งขันโดยทำให้ผู้ให้บริการที่เกี่ยวข้องกับผลิตภัณฑ์ AI ของ AI นั้นยากขึ้นเพื่อเข้าถึงผู้บริโภค
“ …คำสั่งซื้อข้อกล่าวหาว่า Workado ส่งเสริมเครื่องตรวจจับเนื้อหา AI ว่าเป็น ’98 เปอร์เซ็นต์’ ในการตรวจจับว่าข้อความถูกเขียนโดย AI หรือมนุษย์ แต่การทดสอบอิสระแสดงให้เห็นถึงอัตราความแม่นยำของเนื้อหาที่มีวัตถุประสงค์ทั่วไปเพียง 53 เปอร์เซ็นต์” การร้องเรียนการบริหารของ FTC–
“ FTC อ้างว่า Workado ละเมิดพระราชบัญญัติ FTC เนื่องจากการเรียกร้อง ’98 เปอร์เซ็นต์’ นั้นเป็นเท็จทำให้เข้าใจผิดหรือไม่ได้รับการรักษา”
มีบทเรียนสำคัญที่นี่สำหรับองค์กร ผู้ขาย Genai กำลังเรียกร้องหลักสำหรับผลิตภัณฑ์ของพวกเขาโดยไม่มีเอกสารที่มีความหมาย คุณคิดว่า Genai ทำสิ่งต่างๆได้หรือไม่? ลองนึกภาพสิ่งที่ออกมาจากแผนกการตลาดของผู้ขาย
