Ang paglalakbay ni Anthropic upang matukoy ang panloob na mga gawa ng AI

Ang mga malalaking modelo ng wika (LLMS) tulad ng Claude ay nagbago ng paraan ng pakikipag -ugnay sa teknolohiya. Pinapagana nila ang mga chatbots, tumulong sa pagsulat ng mga sanaysay, at kahit na tula ng bapor. Gayunpaman, sa kabila ng kanilang mga kahanga -hangang kakayahan, ang mga modelong ito ay nananatiling medyo nakakainis. Madalas na tinutukoy bilang isang "itim na kahon," maaari nating obserbahan ang kanilang mga output ngunit hindi ang mga pinagbabatayan na proseso na bumubuo sa kanila. Ang opacity na ito ay nagdudulot ng mga mahahalagang hamon, lalo na sa mga kritikal na larangan tulad ng gamot at batas, kung saan ang mga pagkakamali o nakatagong mga bias ay maaaring magkaroon ng malubhang kahihinatnan.

Ang pag -unawa sa mga panloob na gawa ng LLMS ay mahalaga para sa pagbuo ng tiwala. Kung walang kakayahang ipaliwanag kung bakit ang isang modelo ay nagbibigay ng isang tiyak na sagot, mahirap umasa sa mga resulta nito, lalo na sa mga sensitibong lugar. Ang interpretability ay tumutulong din sa pagkilala at pagwawasto ng mga biases o mga pagkakamali, tinitiyak na ang mga modelo ay kapwa ligtas at etikal. Halimbawa, kung ang isang modelo ay patuloy na pinapaboran ang ilang mga pananaw, ang pag -unawa sa mga pinagbabatayan na dahilan ay makakatulong sa mga developer na matugunan ang mga isyung ito. Ang paghahanap na ito para sa kalinawan ay kung ano ang nagtutulak ng pananaliksik sa paggawa ng mga modelong ito na mas malinaw.

Ang Anthropic, ang kumpanya sa likod ng Claude, ay nanguna sa mga pagsisikap na i -demystify ang mga LLM. Gumawa sila ng mga makabuluhang hakbang sa pag -unawa kung paano pinoproseso ng mga modelong ito ang impormasyon, at ang artikulong ito ay sumasalamin sa kanilang mga tagumpay sa pagpapahusay ng transparency ng mga operasyon ni Claude.

Pagma -map sa mga saloobin ni Claude

Noong kalagitnaan ng 2024, nakamit ng koponan ng Anthropic ang isang kilalang tagumpay sa pamamagitan ng paglikha ng isang masamang "mapa" kung paano pinoproseso ng Claude ang impormasyon. Paggamit ng isang pamamaraan na kilala bilang pag -aaral ng diksyunaryo, nakilala nila ang milyun -milyong mga pattern sa loob ng neural network ng Claude. Ang bawat pattern, o "tampok," ay tumutugma sa isang tiyak na konsepto. Halimbawa, ang ilang mga tampok ay nagbibigay -daan sa Claude na makilala ang mga lungsod, kilalang mga indibidwal, o mga error sa pag -cod, habang ang iba ay nauugnay sa mas kumplikadong mga paksa tulad ng bias ng kasarian o lihim.

Inihayag ng pananaliksik na ang mga konsepto na ito ay hindi nakakulong sa mga indibidwal na neuron ngunit ipinamamahagi sa maraming mga neuron sa loob ng network ni Claude, kasama ang bawat neuron na nag -aambag sa maraming konsepto. Ang overlap na ito sa una ay naging mahirap na matukoy ang mga konsepto na ito. Gayunpaman, sa pamamagitan ng pagkilala sa mga paulit -ulit na pattern na ito, ang mga mananaliksik ng Anthropic ay nagsimulang malutas kung paano inayos ni Claude ang mga saloobin nito.

Pagsusubaybay sa pangangatuwiran ni Claude

Ang susunod na layunin ni Anthropic ay upang maunawaan kung paano ginagamit ni Claude ang mga konsepto na ito upang makagawa ng mga pagpapasya. Bumuo sila ng isang tool na tinatawag na mga graphic graph, na nagsisilbing isang hakbang-hakbang na gabay sa proseso ng pag-iisip ni Claude. Ang bawat node sa graph ay kumakatawan sa isang ideya na nagpapa -aktibo sa isip ni Claude, at ang mga arrow ay naglalarawan kung paano ang isang ideya ay humahantong sa isa pa. Pinapayagan ng tool na ito ang mga mananaliksik na masubaybayan kung paano binabago ni Claude ang isang katanungan sa isang sagot.

Upang mailarawan ang pag -andar ng mga graphic graph, isaalang -alang ang halimbawang ito: Kapag tinanong, "Ano ang kabisera ng estado kasama ang Dallas?" Dapat munang kilalanin ni Claude na ang Dallas ay nasa Texas, pagkatapos ay alalahanin na ang Austin ay ang kabisera ng Texas. Ang graphic graph ay tumpak na inilalarawan ang pagkakasunud -sunod na ito - isang bahagi ng Claude na kinilala ang "Texas," na pagkatapos ay nag -trigger ng isa pang bahagi upang piliin ang "Austin." Ang koponan ay nagsagawa ng mga eksperimento sa pamamagitan ng pagbabago ng sangkap na "Texas", na hinuhulaan na binago ang tugon. Ipinapakita nito na ang Claude ay hindi lamang hulaan ngunit pamamaraan na gumagana sa pamamagitan ng mga problema, at ngayon maaari nating obserbahan ang prosesong ito sa pagkilos.

Bakit mahalaga ito: Isang pagkakatulad mula sa Biological Sciences

Upang pahalagahan ang kahalagahan ng mga pagpapaunlad na ito, isaalang -alang ang mga pangunahing pagsulong sa mga agham na biological. Kung paanong ang pag -imbento ng mikroskopyo ay nagpapagana sa mga siyentipiko na matuklasan ang mga cell - ang pangunahing mga yunit ng buhay - ang mga tool na ito ay nagpapahintulot sa mga mananaliksik ng AI na alisan ng takip ang mga pangunahing yunit ng pag -iisip sa loob ng mga modelo. Katulad nito, ang pagma -map sa mga neural circuit sa utak o pagkakasunud -sunod ng genome ay humantong sa mga breakthrough sa gamot; Ang pagma -map sa panloob na mga gawa ng claude ay maaaring humantong sa mas maaasahan at makokontrol na katalinuhan ng makina. Ang mga tool na interpretability na ito ay mahalaga, na nag -aalok ng isang sulyap sa mga proseso ng cognitive ng mga modelo ng AI.

Ang mga hamon

Sa kabila ng mga pagsulong na ito, ang ganap na pag -unawa sa mga LLM tulad ng Claude ay nananatiling isang malayong layunin. Sa kasalukuyan, ang mga graphic graph ay maaaring ipaliwanag lamang ang tungkol sa isa sa apat na mga desisyon ni Claude. Habang ang mapa ng mga tampok nito ay kahanga -hanga, ito ay kumakatawan lamang sa isang bahagi ng aktibidad sa loob ng neural network ng Claude. Sa bilyun -bilyong mga parameter, ang mga LLM tulad ng Claude ay nagsasagawa ng hindi mabilang na mga kalkulasyon para sa bawat gawain, na ginagawa itong katulad sa pagsubaybay sa bawat neuron na nagpaputok sa isang utak ng tao sa isang pag -iisip.

Ang isa pang hamon ay ang "guni -guni," kung saan ang mga modelo ng AI ay gumagawa ng mga tugon na tunog na nakakumbinsi ngunit hindi totoo. Nangyayari ito dahil ang mga modelo ay umaasa sa mga pattern mula sa kanilang data ng pagsasanay sa halip na isang tunay na pag -unawa sa mundo. Ang pag -unawa kung bakit ang mga modelong ito kung minsan ay bumubuo ng maling impormasyon ay nananatiling isang kumplikadong isyu, na binibigyang diin ang mga gaps sa aming pag -unawa sa kanilang mga panloob na gawa.

Ang Bias ay nagtatanghal ng isa pang kakila -kilabot na hamon. Ang mga modelo ng AI ay natututo mula sa malawak na mga datasets na nagmula sa Internet, na hindi maiiwasang naglalaman ng mga biases ng tao - mga sige, pagkiling, at iba pang mga sosyal na bahid. Kung sinisipsip ni Claude ang mga biases na ito sa panahon ng pagsasanay, maaari silang magpakita sa mga tugon nito. Ang paglutas ng mga pinagmulan ng mga biases na ito at ang epekto nito sa pangangatuwiran ng modelo ay isang hamon na multifaceted na nangangailangan ng parehong mga teknikal na solusyon at maingat na mga pagsasaalang -alang sa etikal.

Ang ilalim na linya

Ang mga pagsisikap ni Anthropic na mapahusay ang transparency ng mga malalaking modelo ng wika tulad ng Claude ay minarkahan ang isang makabuluhang pagsulong sa interpretasyon ng AI. Sa pamamagitan ng pagbawas ng ilaw sa kung paano pinoproseso ng Claude ang impormasyon at gumagawa ng mga pagpapasya, inilalagay nila ang paraan para sa higit na pananagutan sa AI. Ang pag -unlad na ito ay nagpapadali sa mas ligtas na pagsasama ng mga LLM sa mga kritikal na sektor tulad ng pangangalaga sa kalusugan at batas, kung saan pinakamahalaga ang tiwala at etika.

Habang patuloy na nagbabago ang mga pamamaraan ng interpretability, ang mga industriya na nag -aalangan na mag -ampon ng AI ay maaaring muling isaalang -alang. Ang mga transparent na modelo tulad ng Claude ay nag -aalok ng isang malinaw na landas sa hinaharap ng AI - machines na hindi lamang gayahin ang katalinuhan ng tao ngunit pinalalabas din ang kanilang mga proseso ng pangangatuwiran.