ChatGPT, Claude, Gemini, Grok, Copilot yahut öbür lisan modellerini (LLM) temel alan tüm yapay zekalar dünyanın büyük bir kısmı için sihir üzere görünen fonksiyonlara sahip. İşin biraz daha mutfağına hakim olanlar için ise bu araçlar, mükemmel bir yardımcı. İşin şahsen içinde olanlar için ise bunlar aslında bir kara kutu. Zira aslında bilim insanları ve araştırmacılar, bir lisan modelinin tam olarak nasıl çalıştığını bilmiyor. Lakin Claude’un yaratıcısı Anthropic‘teki araştırmacılar, bu hususta önemli bir atılım yaptıklarını söylüyor. Bu keşif, yapay zeka modellerini daha inançlı, şeffaf ve emniyetli hale getirme yolunda kritik bir adım olarak bedellendiriliyor. Yapay zekanın anlaşılamayan dünyası
Günümüzde yapay zekanın temelini oluşturan büyük lisan modelleri, insan lisanını anlamak ve üretmekte fevkalâde bir muvaffakiyet gösterse de, bu modellerin karar verme süreçleri büyük ölçüde gizemini koruyor. Bir modele hangi komutların verildiğini ve ne cins karşılıklar ürettiğini görebiliyoruz; fakat bu karşılıkların nasıl oluşturulduğunu anlamak hala belirsizliğini koruyor.
Bu bilinmezlik, yapay zeka uygulamalarında inanç sıkıntılarına yol açıyor. Modellerin, yanlışlı bilgiler üretme (halüsinasyon) eğilimlerini evvelden kestirim etmek zorlaşıyor. Ayrıyeten, birtakım kullanıcılar tarafından modellerin güvenlik tedbirlerini aşmak için uygulanan “jailbreak” tekniklerinin neden kimi durumlarda işe yaradığı hala tam olarak açıklanamıyor.
Anthropic araştırmacıları, bu karmaşık yapıyı çözümlemek için büyük bir adım attı. İnsan beynini incelemek için kullanılan fMRI teknolojisinden ilham alan takım, büyük lisan modellerinin iç işleyişini anlamaya yönelik yeni bir araç geliştirdi. Bu teknik, yapay zeka modellerinin “beyinlerini” haritalandırarak hangi süreçlerin devreye girdiğini ortaya koyuyor.
Bu yeni aracı Claude 3.5 Haiku modeline uygulayan araştırmacılar, yapay zekanın şuurlu olmasa bile planlama ve mantıksal çıkarım yapabildiğini gösterdi. Örneğin, bir şiir yazma vazifesi verildiğinde modelin, uyumlu sözleri evvelce belirleyip akabinde bu sözlere uygun cümleler kurduğu gözlemlendi.
Araştırmanın bir öbür dikkat cazibeli bulgusu ise lisan modellerinin çok lisanlı çalışmasındaki mantık yapısı oldu. Claude modeli, farklı lisanlarda farklı bileşenler kullanmak yerine, tüm lisanlar için ortak kavramsal bir alan kullanarak çalışıyor. Yani model, evvel soyut kavramlar üzerinden bir akıl yürütme sürecine giriyor ve akabinde bu kanıyı istenilen lisana çeviriyor.
Bu bulgu, çok lisanlı yapay zekaların nasıl daha verimli hale getirilebileceğine dair yeni kapılar aralıyor. Bilhassa global ölçekli yapay zeka tahlilleri geliştiren şirketler için bu yaklaşım, modellerin daha dengeli ve süratli çalışmasını sağlayabilir.
Kara kutunun açılması neden kıymetli?
Anthropic’in geliştirdiği yeni tahlil aracı, yapay zekaların karar verme süreçlerini izleyerek mümkün güvenlik açıklarını daha yeterli tespit etmeye yardımcı olabilir. Bu yeni yol, yapay zekaların “kara kutu” olma sıkıntısına tahlil getirme potansiyeline sahip. LLM’lerin hangi adımları takip ederek makul bir cevap oluşturduğunu anlamak, bu modellerin neden kusur yaptığını tahlil etmeyi kolaylaştırabilir. Ayrıyeten, yapay zeka sistemlerinde güvenlik tedbirlerini güçlendirmek ve kusurlu yahut aldatıcı çıktıları azaltmak için daha tesirli eğitim metotları geliştirmenin önünü açabilir. Öte yandan bazı uzmanlar göre LLM’lerin bu gizemli yapısı çok da büyük bir problem değil.
Beşerler olarak bir oburunun ne düşündüğünü nitekim anlayamayız ve aslında psikologlar bazen kendi fikirlerimizin nasıl çalıştığını bile anlamadığımızı, sezgisel olarak ya da büyük ölçüde şuurunda bile olmadığımız duygusal reaksiyonlar nedeniyle yaptığımız hareketleri haklı çıkarmak için olaydan sonra mantıklı açıklamalar uydurduğumuzu söylüyor. Lakin, genel manada insanların misal formlarda düşünme eğiliminde olduğu ve kusur yaptığımızda bu yanlışların bir biçimde tanıdık kalıplara girdiği de gerçek görünmekte. Aslında psikologların işlerinde güzel olmasının nedeni de bu. Bununla birlikte büyük lisan modelleri (LLM’ler) ile ilgili sorun, çıktılara ulaşma tekniklerinin insanların birebir misyonları yapma biçiminden hayli farklı olması. Bu nedenle, bir insanın yapması pek muhtemel olmayan yanlışlar yapabilirler.
Cross-Layer Transcoder (CLT) yaklaşımı
Daha evvelki LLM tahlil formülleri, tek tek nöronları yahut küçük nöron kümelerini incelemek üzerine konseyiydi. Alternatif olarak, modelin kimi katmanlarını çıkartarak nasıl çalıştığını gözlemlemeye dayalı “ablasyon” tekniği de kullanılıyordu. Lakin bu prosedürler, modelin genel düşünme sürecini anlamak için yetersiz kalıyordu. Anthropic, bu sorunu aşmak için büsbütün yeni bir model geliştirdi: Cross-Layer Transcoder (CLT). CLT, yapay zeka modelini ferdî nöron düzeyinde değil, yorumlanabilir özellik kümeleri düzeyinde tahlil ediyor. Örneğin, makul bir fiilin tüm çekimleri yahut “daha fazla” manasına gelen tüm tabirler tek bir özellik kümesi olarak ele alınabiliyor. Bu sayede, araştırmacılar modelin belli bir vazifesi yerine getirirken hangi nöron kümelerinin birlikte çalıştığını görebiliyor. Ayrıyeten, bu prosedür araştırmacılara hudut ağı katmanları boyunca modelin akıl yürütme sürecini takip etme imkanı sağlıyor.
Fakat Anthropic, prosedürün bazı sınırlamaları olduğuna da dikkat çekti. Bu teknik, karmaşık bir modelin (örneğin Claude) içinde gerçekte neler olup bittiğinin sadece bir iddiasını sunuyor. Ayrıyeten, CLT usulünün tespit ettiği devreler dışında kalan ve modelin çıktılarında kritik bir rol oynayan birtakım nöronlar gözden kaçabilir. Bunun yanında, büyük lisan modellerinin temel çalışma prensiplerinden biri olan “dikkat” düzeneğini da yakalayamıyor. Bu sistem, modelin girdi metnindeki farklı kısımlara farklı derecelerde ehemmiyet vermesini ve bu ehemmiyetin çıktı oluşturuldukça dinamik olarak değişmesini sağlar. CLT metodu, bu dikkat kaymalarını yakalayamıyor ve bu kaymalar, modelin “düşünme” sürecinde değerli bir rol oynayabilir. Anthropic ayrıyeten, ağın devrelerini tahlil etmenin epeyce vakit alıcı olduğunu vurguladı. Sadece “onlarca kelimeden” oluşan kısa girdiler için bile bir insan uzmanının birkaç saatini alabiliyor. Metodun çok daha uzun girdilere nasıl ölçeklenebileceği ise belirsizliğini koruyor. Lakin yeniden de CLT, Pandora’nın kutusunu açmak için atılmış son derece kıymetli bir adım.
