การปฏิรูปข่าวกรองควรรวมถึงปทัฏฐานความน่าจะเป็นที่ได้รับการปรับปรุง

ความคิดเห็น – ชุมชนข่าวกรองของสหรัฐอเมริกา (IC) กำลังประสบกับความวุ่นวายและเผชิญหน้ากับการวิจารณ์และทุกสิ่งชี้ไปที่การปฏิรูปที่สำคัญสร้างการเปิดตัวสำหรับชุมชนการวิเคราะห์เพื่อทบทวนความน่าจะเป็นที่ชัดเจนในวิธีที่มีประโยชน์สำหรับลูกค้าและใช้งานได้สำหรับนักวิเคราะห์ DNI GABBARD ได้เริ่มขึ้นแล้ว การลดลง งบประมาณและพนักงานของสำนักงานของเธอและเพิ่งประกาศการเพิกถอนการรักษาความปลอดภัยสำหรับเจ้าหน้าที่ข่าวกรองในปัจจุบันและอดีตจำนวนหนึ่ง มูลนิธิมรดกซึ่งริเริ่มโครงการ 2025 มี เรียกร้องให้มีการปฏิรูปการวิเคราะห์– แม้แต่ผู้เชี่ยวชาญด้านข่าวกรองของอังกฤษก็ยังสังเกตเห็น การเปิดใหม่เพื่อพิจารณาการปฏิบัติด้านข่าวกรองของเรา–

• วุฒิสมาชิกฝ้ายในระหว่างการได้ยินการยืนยันของ DCIA Ratcliffe ในเดือนมกราคม เปิดความคิดเห็นของเขา โดยชี้ไปที่สายที่ไม่ได้รับล่าสุด: ในช่วงไม่กี่สัปดาห์ที่ผ่านมาสมาชิกของคณะกรรมการนี้ – และฉันคิดว่าประธานาธิบดี – ไม่ได้ทำการเตือนล่วงหน้าเกี่ยวกับการโจมตีของผู้ก่อการร้ายนิวออร์ลีนส์หรือการล่มสลายของการปกครองแบบเผด็จการอัสซาดในซีเรีย เช่นเดียวกันกับวันที่ 7 ตุลาคมของฮามาสกับอิสราเอลในปี 2566 ฉันสามารถยกตัวอย่างอื่น ๆ ได้ แต่พอเพียงที่จะบอกว่าเรามักจะอยู่ในความมืด
• ผู้เขียนบทสรุปสั้น ๆ ในเดือนมีนาคมเสนอ แผนงาน เพื่อสร้าง IC ใหม่ Robert Greenway ของมูลนิธิมรดกซึ่งทำหน้าที่ในทีม Touchdown เพื่อเตรียม DCIA Ratcliffe สำหรับการยืนยันของเขาเมื่อต้นปีนี้ – ได้เรียกร้องให้มีการปฏิรูปที่ครอบคลุมว่า IC ผลิตและนำเสนอการวิเคราะห์ประธานาธิบดีสหรัฐอเมริกา
• ในขณะที่บางส่วนของเทเนอร์เป็นคนใหม่ผู้เชี่ยวชาญด้านข่าวกรองจะใช้ในการปฏิรูป อันที่จริงมันเป็นค่าคงที่สำหรับพวกเราที่ใช้เวลาอาชีพของเราใน IC ตัวอย่างเช่นตั้งแต่วันที่ 9/11 การเปลี่ยนแปลงบางอย่างเลือกรวมถึงไฟล์ USA Patriot Act (2001)– การสร้างสำนักงานผู้อำนวยการหน่วยข่าวกรองแห่งชาติ (2547), รายงานค่าคอมมิชชั่น WMD (2005)การออก ICD 203 มาตรฐานการวิเคราะห์ (2007), กลยุทธ์ระดับชาติสำหรับการแบ่งปันข้อมูลและการปกป้อง (2012), USA Freedom Act (2015)และโฮสต์ของ Odni ความคิดริเริ่มที่ทันสมัยตั้งแต่ปี 2563–

การเรียกร้องให้มีการเปลี่ยนแปลงในปัจจุบันกำลังมองหากลยุทธ์ที่ยิ่งใหญ่ จุดสนใจของฉันที่นี่มีขนาดเล็กและใช้งานได้จริงมากขึ้น-เราต้องการมาตรวัดที่ใช้งานง่ายและเข้าใจได้ง่ายสำหรับการชั่งน้ำหนักและการสื่อสารความน่าจะเป็น ผู้เชี่ยวชาญด้านข่าวกรองและนักวิเคราะห์โดยเฉพาะ มุ่งเน้นไปที่การสะท้อนตนเองของตนเอง และ อคติเชิงวิเคราะห์– ช่วงเวลาแห่งการเปลี่ยนแปลงนี้นำเสนอโอกาสสำหรับชุมชนการวิเคราะห์ของเราในการปรับแต่งการวัดและภาษารอบ ๆ ความน่าจะเป็น มั่นใจได้ว่า (และตอนนี้ฉันเพิ่งจะคาดเดาการศึกษาในฐานะอดีตนักวิเคราะห์ที่รู้วัฒนธรรมของเราเกี่ยวกับการวิจารณ์ตนเอง) เจ้าหน้าที่ทั่ว IC ได้ตรวจสอบการวิเคราะห์ของพวกเขาเกี่ยวกับการพลาดหลายครั้งที่วุฒิสมาชิกฝ้ายเน้น

ลงทะเบียนสำหรับ กลุ่มโครงการไซเบอร์ จดหมายข่าววันอาทิตย์ที่ส่งมอบข้อมูลเชิงลึกระดับผู้เชี่ยวชาญเกี่ยวกับเรื่องราวไซเบอร์และเทคโนโลยีของวัน-ตรงถึงกล่องจดหมายของคุณโดยตรง ลงทะเบียนสำหรับ จดหมายข่าว CIG วันนี้.

ส่วนหนึ่งของความท้าทายคือสิ่งที่นักวิเคราะห์ได้รับหรือผิดไม่ได้เป็นแบบไบนารี มันขึ้นอยู่กับสเปกตรัมของภาษาที่น่าจะเป็นที่พวกเขาใช้มักจะไม่เข้มงวดดังที่แสดงด้านล่าง แต่ก็ยังค่อนข้างคล้ายกัน Specturm ตามที่ฉันเน้นด้านล่างมีแนวโน้มที่จะเกิดการคำนวณผิดความเข้าใจผิดและนักวิเคราะห์ไม่แยแส ฉันคิดว่าเราทำได้ดีกว่านี้ มาตรฐานเก่าพร้อมสำหรับการรีเฟรชที่นักวิเคราะห์ใช้เพื่อประโยชน์ของความมั่นคงแห่งชาติของสหรัฐอเมริกา

• มาตรฐานปัจจุบัน – จาก ICD 203 ส่วนที่ 2, A, ที่ระบุไว้ข้างต้น:

ผู้เขียนสร้างขึ้นโดยใช้ AI Immediate

ฉันจะไม่เรียกร้องที่นี่ว่าวิธีการที่ฉันเสนอนั้นสมบูรณ์แบบและฉันสามารถได้ยินอดีตเพื่อนร่วมงานของฉันตอนนี้ดึงและเลือกมันออกจากกันตามที่ควร! ฉันจงใจแบ่งปันร่างนี้โดยไม่มีนักวิเคราะห์ปัจจุบันหรืออดีต (ซึ่งตรงกันข้ามกับบรรทัดฐาน) เพราะฉันต้องการนำเสนอจุดเริ่มต้นสำหรับการเปลี่ยนแปลง ฉันยืนยันว่ามาตรฐานใหม่นี้จะใช้งานได้มากขึ้นใช้บ่อยกว่าและใช่แม่นยำยิ่งขึ้น

• ใช้งานได้มากขึ้น – มันอาจจะเป็นไปได้อย่างรวดเร็ว แต่การชั่งน้ำหนักความน่าจะเป็นสี่ประเภทนั้นทำได้มากกว่าการชั่งน้ำหนักเจ็ด การยืนยันนี้กลายเป็นความรู้สึกน้อยลงเมื่อคุณมองอย่างใกล้ชิดและตระหนักว่านักวิเคราะห์กำลังถูกขอให้พิจารณาความน่าจะเป็นภายในการเพิ่มขึ้น 5 เปอร์เซ็นต์ มนุษย์ (หรือ AI LLM ใด ๆ ) สามารถคาดการณ์ความน่าจะเป็นของพฤติกรรมมนุษย์ไปยังเปอร์เซ็นไทล์ที่ 55 ได้หรือไม่? ไม่เราพร้อมที่จะให้ช่วงทั่วไปหรือไม่? ใช่. มาตรวัดปัจจุบันกำลังขอให้นักวิเคราะห์แยกขนเมื่อเราควรรวมขนเหล่านั้นเพื่อให้การประเมินที่สมจริงยิ่งขึ้นว่าเหตุการณ์จะเกิดขึ้นหรือไม่
• ใช้บ่อยขึ้น – ทั้งหมดฉันได้เขียนและแก้ไขการประเมินการวิเคราะห์หลายพันครั้ง โดยรวมแล้วเปอร์เซ็นต์เล็ก ๆ ใช้เฟรมเวิร์ก ICD 203 ความจริงก็คือนักวิเคราะห์มักใช้คำเช่น “น่าจะเป็น” และ “ไม่น่าเป็นไปได้” เพราะนั่นคือมากกว่า มีประสิทธิภาพมากกว่าการวางเปอร์เซ็นต์เฉพาะ ในงานเขียนของพวกเขา ดังนั้นพวกเขาจึงไม่น่าเป็นไปได้ (ใช่น้อยกว่า 30 เปอร์เซ็นต์ของเวลา) เพื่อดึงออกและใช้มาตรฐาน ICD 203 การกำกับดูแลของรัฐสภาอาจบอกว่านี่เป็นปัญหา ฉันจะบอกว่าเราได้ให้เครื่องมือที่ จำกัด และยุ่งยาก บ่อยครั้งที่งานข่าวกรองที่ดีที่สุดคืออีเมลวิเคราะห์หรือโทรศัพท์ไปยังข้อมูลเชิงลึกของลูกค้าที่แบ่งปันข้อมูล ถ้าไม่เคยเอื้อต่อมาตรวัดความน่าจะเป็นเจ็ดจุด และเมื่อคุณมีเวลาเครื่องมือควรทำงาน ฉันได้นั่งอภิปรายสองสามครั้งว่ามีอะไรน่าจะเป็นไปได้หรือมีแนวโน้มมาก หากลูกค้ารู้ว่าเป็นไปได้และน่าจะเป็นไปได้มากกว่านั้นก็จะทำงานได้
• แม่นยำยิ่งขึ้น – การวิเคราะห์เป็นทั้งศิลปะและวิทยาศาสตร์และมันก็กลายเป็นวิทยาศาสตร์ด้วยเทคโนโลยีขั้นสูงที่อนุญาตให้นักวิเคราะห์มุ่งเน้นไปที่ทำไมและ“ แล้วจะทำอะไร” มากกว่าที่พวกเขาทำกับสิ่งที่เมื่อใดและที่ไหน แต่เมื่อคุณต้องการความถูกต้อง (เช่นการขอการวัดความน่าจะเป็นถึงคะแนนร้อยละห้า) ผลลัพธ์ของคุณน่าจะแม่นยำน้อยลง ฉันเคยทำงานให้กับผู้จัดการอาวุโสที่บังคับให้เราโทรออก แต่เพื่อหลีกเลี่ยง “การตัดสินค้อน” เช่น “ผู้นำ X จะชนะการเลือกตั้ง” หรือ “ผู้นำ Y จะไม่ตกจากอำนาจ” การตัดสินดังกล่าวเป็นประเภทของ อคติซึ่งบางครั้งก็มีรากฐานมาจากความแม่นยำมากเกินไป งานของนักวิเคราะห์ข่าวกรองคือการคาดการณ์ไม่ใช่การคาดการณ์ หากคุณให้เครื่องมือแก่นักวิเคราะห์ที่มีช่วงความน่าจะเป็นที่กว้างขึ้นที่พวกเขามีแนวโน้มที่จะใช้มากขึ้นพวกเขาจะมีแนวโน้มที่จะโทรออกและการโทรมีแนวโน้มที่จะได้รับประโยชน์จากความแตกต่างที่ล้อมรอบ

ให้โอกาส AI

นักวิเคราะห์มีโอกาสใช้ AI ในการค้นหาความน่าจะเป็น IC กำลังมวยปล้ำด้วย วิธีการใช้ AI และไม่ว่าจะเป็นการนำไปใช้หรือไม่ มันจะมีประโยชน์โดยไม่ต้องครอบงำ การตรวจสอบความน่าจะเป็นของปัญหาเป็นตัวอย่างที่ดีอย่างหนึ่ง หาก LLM สามารถเข้าถึงการรายงานเดียวกันทั้งหมดในฐานะนักวิเคราะห์การออกกำลังกายที่ง่ายและมีประสิทธิผลคือการถามแพลตฟอร์ม AI ว่าโอกาสของ X เกิดขึ้นจากนั้นวิเคราะห์ผลลัพธ์ที่เปรียบเทียบกับการค้นพบดั้งเดิมของนักวิเคราะห์ ฉันถามแชท GPT ตามมาตรฐานความน่าจะเป็นที่เสนอความเป็นไปได้ของรัสเซียและยูเครนถึงข้อตกลงสันติภาพ การตอบสนองคือมันเป็นไปได้ (30–50%) นั่นเป็นอาหารสัตว์ที่ดีสำหรับการอภิปรายเชิงวิเคราะห์เพื่อฝึกฝนการค้นพบของคุณเอง

บทสรุป Cipher มุ่งมั่นที่จะเผยแพร่มุมมองที่หลากหลายเกี่ยวกับปัญหาความมั่นคงแห่งชาติที่ส่งโดยผู้เชี่ยวชาญด้านความมั่นคงแห่งชาติที่มีประสบการณ์อย่างลึกซึ้ง

ความคิดเห็นที่แสดงเป็นของผู้เขียนและไม่ได้เป็นตัวแทนมุมมองหรือความคิดเห็นของบทสรุปรหัส

มีมุมมองที่จะแบ่งปันตามประสบการณ์ของคุณในสาขาความมั่นคงแห่งชาติหรือไม่? ส่งไปที่ editor@thecipherbrief.com เพื่อพิจารณาการตีพิมพ์

อ่านข้อมูลเชิงลึกด้านความมั่นคงแห่งชาติที่ขับเคลื่อนด้วยผู้เชี่ยวชาญมุมมองและการวิเคราะห์ใน บทสรุปของรหัส