การเดินทางของมานุษยวิทยาเพื่อถอดรหัสผลงานภายในของ AI

แบบจำลองภาษาขนาดใหญ่ (LLMS) เช่น Claude ได้ปฏิวัติวิธีที่เราโต้ตอบกับเทคโนโลยี พวกเขาใช้พลังแชทบอทช่วยในการเขียนเรียงความและแม้แต่บทกวีงานฝีมือ อย่างไรก็ตามแม้จะมีความสามารถที่น่าประทับใจของพวกเขารุ่นเหล่านี้ยังคงค่อนข้างลึกลับ มักจะเรียกว่า "กล่องดำ" เราสามารถสังเกตผลลัพธ์ของพวกเขา แต่ไม่ใช่กระบวนการพื้นฐานที่สร้างพวกเขา ความทึบนี้ก่อให้เกิดความท้าทายที่สำคัญโดยเฉพาะอย่างยิ่งในสาขาที่สำคัญเช่นยาและกฎหมายที่ข้อผิดพลาดหรืออคติที่ซ่อนอยู่อาจมีผลร้ายแรง

การทำความเข้าใจการทำงานภายในของ LLM เป็นสิ่งสำคัญสำหรับการสร้างความไว้วางใจ หากไม่มีความสามารถในการอธิบายว่าทำไมแบบจำลองจึงให้คำตอบที่เฉพาะเจาะจงมันเป็นเรื่องยากที่จะพึ่งพาผลลัพธ์โดยเฉพาะในพื้นที่ที่ละเอียดอ่อน ความสามารถในการตีความยังช่วยในการระบุและแก้ไขอคติหรือข้อผิดพลาดเพื่อให้มั่นใจว่าแบบจำลองนั้นปลอดภัยและมีจริยธรรม ตัวอย่างเช่นหากแบบจำลองสนับสนุนมุมมองบางอย่างการทำความเข้าใจเหตุผลพื้นฐานอย่างต่อเนื่องสามารถช่วยให้นักพัฒนาจัดการกับปัญหาเหล่านี้ได้ การแสวงหาความชัดเจนนี้เป็นสิ่งที่ผลักดันการวิจัยในการทำให้แบบจำลองเหล่านี้โปร่งใสมากขึ้น

มานุษยวิทยา บริษัท ที่อยู่เบื้องหลัง Claude ได้อยู่ในระดับแนวหน้าของความพยายามที่จะ demystify llms พวกเขามีความก้าวหน้าอย่างมีนัยสำคัญในการทำความเข้าใจว่าแบบจำลองเหล่านี้ประมวลผลข้อมูลเหล่านี้อย่างไรและบทความนี้นำเสนอความก้าวหน้าในการเพิ่มความโปร่งใสของการดำเนินงานของ Claude

การทำแผนที่ความคิดของ Claude

ในช่วงกลางปี ​​2567 ทีมของมานุษยวิทยาประสบความสำเร็จในการพัฒนาที่โดดเด่นด้วยการสร้าง "แผนที่" พื้นฐานของวิธีการที่ Claude ประมวลผลข้อมูล ใช้เทคนิคที่เรียกว่าการเรียนรู้พจนานุกรมพวกเขาระบุรูปแบบนับล้านภายในเครือข่ายประสาทของ Claude แต่ละรูปแบบหรือ "คุณสมบัติ" สอดคล้องกับแนวคิดเฉพาะ ตัวอย่างเช่นคุณสมบัติบางอย่างช่วยให้ Claude สามารถรับรู้เมืองบุคคลที่มีชื่อเสียงหรือข้อผิดพลาดในการเขียนโค้ดในขณะที่อื่น ๆ เกี่ยวข้องกับหัวข้อที่ซับซ้อนมากขึ้นเช่นอคติทางเพศหรือความลับ

การวิจัยพบว่าแนวคิดเหล่านี้ไม่ได้ จำกัด อยู่กับเซลล์ประสาทส่วนบุคคล แต่มีการกระจายไปทั่วเซลล์ประสาทหลายเซลล์ภายในเครือข่ายของ Claude โดยแต่ละเซลล์ประสาทมีส่วนร่วมกับแนวคิดที่หลากหลาย การทับซ้อนนี้ครั้งแรกทำให้มันท้าทายที่จะถอดรหัสแนวคิดเหล่านี้ อย่างไรก็ตามด้วยการระบุรูปแบบที่เกิดขึ้นเหล่านี้นักวิจัยของมานุษยวิทยาเริ่มคลี่คลายว่า Claude จัดระเบียบความคิดอย่างไร

ติดตามเหตุผลของ Claude

เป้าหมายต่อไปของมานุษยวิทยาคือการเข้าใจว่า Claude ใช้แนวคิดเหล่านี้เพื่อตัดสินใจอย่างไร พวกเขาพัฒนาเครื่องมือที่เรียกว่ากราฟแหล่งที่มาซึ่งทำหน้าที่เป็นคู่มือทีละขั้นตอนสำหรับกระบวนการคิดของ Claude แต่ละโหนดบนกราฟแสดงถึงความคิดที่เปิดใช้งานในใจของ Claude และลูกศรแสดงให้เห็นว่าแนวคิดหนึ่งนำไปสู่อีกความคิด เครื่องมือนี้ช่วยให้นักวิจัยสามารถติดตามว่า Claude เปลี่ยนคำถามเป็นคำตอบได้อย่างไร

เพื่อแสดงให้เห็นถึงการทำงานของกราฟที่มาให้พิจารณาตัวอย่างนี้: เมื่อถูกถามว่า“ เมืองหลวงของรัฐกับดัลลัสคืออะไร” คลอดด์ต้องจำไว้ก่อนว่าดัลลัสอยู่ในเท็กซัสจากนั้นจำได้ว่าออสตินเป็นเมืองหลวงของเท็กซัส กราฟที่มาแสดงถึงลำดับนี้อย่างแม่นยำ - ส่วนหนึ่งของ Claude ระบุว่า "เท็กซัส" ซึ่งจากนั้นเรียกส่วนอื่นเพื่อเลือก "ออสติน" ทีมยังทำการทดลองโดยการปรับเปลี่ยนองค์ประกอบ "เท็กซัส" ซึ่งเปลี่ยนแปลงการตอบสนองอย่างคาดการณ์ไว้ สิ่งนี้แสดงให้เห็นว่า Claude ไม่ได้คาดเดาเพียง แต่ทำงานผ่านปัญหาอย่างเป็นระบบและตอนนี้เราสามารถสังเกตกระบวนการนี้ได้

ทำไมเรื่องนี้: การเปรียบเทียบจากวิทยาศาสตร์ชีวภาพ

เพื่อชื่นชมความสำคัญของการพัฒนาเหล่านี้ให้พิจารณาความก้าวหน้าที่สำคัญในวิทยาศาสตร์ชีวภาพ เช่นเดียวกับการประดิษฐ์กล้องจุลทรรศน์ทำให้นักวิทยาศาสตร์ค้นพบเซลล์ - หน่วยพื้นฐานของชีวิต - เครื่องมือการตีความเหล่านี้ทำให้นักวิจัย AI สามารถค้นพบหน่วยความคิดพื้นฐานภายในแบบจำลอง ในทำนองเดียวกันการทำแผนที่วงจรประสาทในสมองหรือจัดลำดับจีโนมนำไปสู่การพัฒนาในการแพทย์ การทำแผนที่การทำงานภายในของ Claude อาจนำไปสู่ความฉลาดของเครื่องจักรที่เชื่อถือได้และควบคุมได้มากขึ้น เครื่องมือความสามารถในการตีความเหล่านี้มีความสำคัญอย่างยิ่งนำเสนอแวบหนึ่งในกระบวนการทางปัญญาของโมเดล AI

ความท้าทาย

แม้จะมีความก้าวหน้าเหล่านี้ความเข้าใจอย่างเต็มที่ LLMS เช่น Claude ยังคงเป็นเป้าหมายที่ห่างไกล ปัจจุบันกราฟที่มาสามารถอธิบายได้เพียงประมาณหนึ่งในสี่ของการตัดสินใจของ Claude ในขณะที่แผนที่ของคุณสมบัตินั้นน่าประทับใจ แต่ก็เป็นเพียงส่วนหนึ่งของกิจกรรมภายในเครือข่ายประสาทของ Claude ด้วยพารามิเตอร์หลายพันล้านพารามิเตอร์ LLM เช่น Claude ทำการคำนวณนับไม่ถ้วนสำหรับแต่ละงานทำให้มันคล้ายกับการติดตามทุกเซลล์ประสาทที่ยิงในสมองมนุษย์ในระหว่างความคิดเดียว

ความท้าทายอีกประการหนึ่งคือ "ภาพหลอน" ซึ่งโมเดล AI ให้คำตอบที่น่าเชื่อ แต่ไม่ถูกต้องตามความเป็นจริง สิ่งนี้เกิดขึ้นเนื่องจากแบบจำลองนั้นขึ้นอยู่กับรูปแบบจากข้อมูลการฝึกอบรมของพวกเขามากกว่าความเข้าใจที่แท้จริงของโลก การทำความเข้าใจว่าเหตุใดแบบจำลองเหล่านี้บางครั้งก็สร้างข้อมูลเท็จยังคงเป็นปัญหาที่ซับซ้อนโดยเน้นช่องว่างในความเข้าใจของเราเกี่ยวกับการทำงานภายในของพวกเขา

อคตินำเสนอความท้าทายที่น่าเกรงขามอีกครั้ง โมเดล AI เรียนรู้จากชุดข้อมูลขนาดใหญ่ที่มาจากอินเทอร์เน็ตซึ่งมีอคติของมนุษย์อย่างหลีกเลี่ยงไม่ได้ - สเตอรีไทป์อคติและข้อบกพร่องทางสังคมอื่น ๆ หาก Claude ดูดซับอคติเหล่านี้ในระหว่างการฝึกอบรมพวกเขาอาจปรากฏในการตอบสนองของมัน การคลี่คลายต้นกำเนิดของอคติเหล่านี้และผลกระทบต่อการใช้เหตุผลของโมเดลเป็นความท้าทายที่หลากหลายซึ่งต้องใช้ทั้งโซลูชันทางเทคนิคและการพิจารณาทางจริยธรรมอย่างรอบคอบ

บรรทัดล่าง

ความพยายามของมานุษยวิทยาในการเพิ่มความโปร่งใสของแบบจำลองภาษาขนาดใหญ่เช่น Claude ทำเครื่องหมายความก้าวหน้าที่สำคัญในการตีความ AI โดยการให้ความกระจ่างเกี่ยวกับวิธีการที่ Claude ประมวลผลข้อมูลและการตัดสินใจพวกเขากำลังปูทางไปสู่ความรับผิดชอบที่มากขึ้นใน AI ความคืบหน้านี้ช่วยอำนวยความสะดวกในการบูรณาการ LLMs ที่ปลอดภัยยิ่งขึ้นในภาควิกฤตเช่นการดูแลสุขภาพและกฎหมายซึ่งความไว้วางใจและจริยธรรมเป็นสิ่งสำคัญยิ่ง

ในขณะที่วิธีการตีความยังคงพัฒนาอย่างต่อเนื่องอุตสาหกรรมที่ลังเลที่จะนำ AI มาใช้ในขณะนี้อาจพิจารณาใหม่ โมเดลโปร่งใสเช่น Claude เสนอเส้นทางที่ชัดเจนไปสู่อนาคตของ AI - เครื่องจักรที่ไม่เพียง แต่เลียนแบบความฉลาดของมนุษย์ แต่ยังอธิบายกระบวนการให้เหตุผลของพวกเขาด้วย