AI ajan belleği, sisteminizin ajanınızın güvenilir mi yoksa işe yaramaz mı olacağına karar veren parçasıdır ve çoğu açıklama onu bir diyagramdaki üçüncü kutu olarak gömer. İşte cevabı baştan söyleyelim: bir dil modeli durumsuzdur, bu yüzden bağlam penceresi dolduğunda her şeyi unutur. Bellek, ajanı durumlu yapan şeydir. İki katmanı vardır, kısa vadeli (canlı bağlam penceresi) ve uzun vadeli (pencerenin dışında saklanan kalıcı bilgi), ve uzun vadeli katmanın üç türü vardır: epizodik, anlamsal ve prosedürel. Ajan güvenilirliğindeki tek en büyük kaldıraç daha akıllı bir model değil, bu bellek katmanıdır. Anthropic'in yayınladığı sayılar bunu açıkça ortaya koyuyor: bağlam düzenlemeyle eşleştirilmiş dosya tabanlı bir bellek aracı görev performansını referans değere göre %39 artırdı ve bağlam düzenleme tek başına 100 turluk bir testte token kullanımını %84 azalttı. Belleği doğru kurarsanız ajan gerçek işte ayakta kalır. Yanlış kurarsanız kimse ona güvenmeyene kadar savrulur.

Bu makale belleği kahraman yapıyor, çünkü veriler öyle olduğunu söylüyor. İki katmanı, üç uzun vadeli türü ve dosya tabanlı kalıcı belleğin her şeyi isteme tıkıştırmaktan neden daha iyi olduğunu inceleyeceğiz. Bunu sizin için yapmamızı tercih ederseniz, üretken yapay zeka mimarisini nasıl işlettiğimize bakın, ama buradaki her şey kendiniz kullanmanız için.

Bir AI ajanının belleğe neden ihtiyacı var?

Çünkü altta yatan modelin hiç belleği yok. IBM temel gerçeği açıkça belirtiyor: büyük dil modelleri durumsuzdur ve doğaları gereği bir şeyi hatırlamazlar. Her tur boş bir sayfadan başlar. Modelin o anda "bildiği" tek şey, bağlam penceresinde önünde duranlardır.

Bu, tek bir soru ve cevap için sorun değildir. Ama bir ajandan birçok adıma, birçok araç çağrısına veya birçok oturuma yayılan gerçek bir iş yapmasını istediğiniz an çöker. Ajanın yaptığı planı, üç adım önceki müşteri ayrıntısını, az önce çağırdığı aracın sonucunu ve bir saat önce kendisine söylenen politikayı hatırlaması gerekir. Bellek, tüm bunları sağlayan katmandır. IBM'in çerçevelediği gibi, bellek, bir ajanın geçmiş etkileşimlerden öğrenmesini, bilgiyi tutmasını ve bağlamı korumasını sağlayan şeydir. Bu olmadan ajan, harika bir kelime dağarcığına sahip bir Japon balığıdır.

İşte bu yüzden bellek döngüye iliştirilmez, içine örülür. Google belleği, durumu, akıl yürütmeyi ve planlamayı, orkestrasyon katmanı dediği şeyin, yani ajanın sinir sisteminin içinde bir araya getirir. Ajan planlar, eyleme geçer, gözlemler ve tekrarlar; her adımda bellekten okur ve belleğe yazar. Belleği elinden alın, döngünün üzerinde duracağı hiçbir şey kalmaz.

Bir AI ajanında kısa vadeli bellek nedir?

Kısa vadeli bellek bağlam penceresidir. Ajanın şu anda önünde duran görevin canlı kaydıdır: şimdiye kadarki konuşma, plan ve ajanın bu oturumda gördüğü her araç sonucu. Hızlıdır, her zaman erişilebilirdir ve model doğrudan onun üzerinde akıl yürütür.

Üretimdeki sorunların çoğuna neden olan iki katı sınırı vardır:

  • Sınırlıdır. Pencere sabit sayıda token tutar. Uzun, çok adımlı bir görevde dolar ve dolduğunda daha önceki içerik dışarı itilir. Ajan, bitirmek için ihtiyaç duyduğu adımları kaybeder.
  • Uçucudur. Pencere oturumlar arasında silinir. Ajanın dünkü konuşmada öğrendiği her şey, kalıcı bir yere yazılmadıysa bugün yok olmuştur.

Saf içgüdü, ilk sınırla isteme daha fazlasını tıkıştırarak savaşmaktır. Bu tam tersine işler. Ne kadar çok şey doldurursanız, taşmaya o kadar hızlı ulaşırsınız ve modelin önemli olanı bulmak için o kadar çok şeyin içinden geçmesi gerekir. Kısa vadeli bellek değerli bir çalışma alanıdır, bir dosya dolabı değil. İş, onu mevcut adımla ilgili olanı tutar halde bırakmak ve geri kalan her şeyi dışarı taşımaktır.

Anthropic, tam olarak bunu yönetmek için bağlam düzenleme adı verilen somut bir mekanizma yayınladı. Model token sınırına yaklaştıkça, eski araç çağrılarını ve sonuçlarını otomatik olarak temizler, böylece pencere önemli olana yer tutar. Sonuç incelikli değil: 100 turluk bir web arama değerlendirmesinde bağlam düzenleme token tüketimini %84 azalttı ve ajanların aksi takdirde bağlam tükenmesinden başarısız olacak iş akışlarını tamamlamasını sağladı. Tekrar okuyun. Aynı model, aynı görevde, ya tamamlar ya da yarı yolda ölür; aralarındaki tek fark, birinin kısa vadeli belleğini aktif olarak yönetip yönetmemesidir.

Uzun vadeli bellek nedir ve üç türü nedir?

Uzun vadeli bellek, bağlam penceresinin dışında yaşayan ve ajan ihtiyaç duyduğunda içeri çekilen kalıcı bilgidir. Gerçekten kullanışlı ajanların demo seviyesindekilerden ayrıldığı yer burasıdır. IBM bunu, işletmenizin zaten sahip olduğu şeylerle düzgün biçimde örtüşen üç türe ayırır.

Uzun vadeli türTuttuğu şeyGünlük örnek
EpizodikBelirli geçmiş olaylarBir müşterinin önceki destek talebinde yaşananlar
AnlamsalYapısal gerçekler, tanımlar ve kurallarÜrün kataloğunuz, fiyatlandırmanız, politikalarınız
ProsedürelÖğrenilmiş beceriler ve davranışlarİade sürecinizin tam adımları

İşte bu ayrımın pratikte neden önemli olduğu, çünkü her tür eksik olduğunda farklı şekilde başarısız olur:

  • Epizodik bellek, bir ajanın "bunu geçen hafta bu müşteriyle zaten denedik" demesini sağlayan şeydir. Bu olmadan ajan her etkileşimi ilkmiş gibi ele alır ve kendini tekrar eder.
  • Anlamsal bellek, ajanın gerçeklerinize dayanmasıdır. Bu olmadan ajan kendi politikalarınızla çelişir veya var olmayan bir ürün özelliği uydurur. Bu, getirmenin (RAG) ve veri depolarının beslediği türdür; Google'ın teknik incelemesinin Veri Depoları dediği şey: ajana, modelin yalnızca eğitim sırasında ezberlediğine güvenmek yerine güncel, temellendirilmiş bilgi veren vektör veritabanları ve getirme.
  • Prosedürel bellek, taklit edilmesi en zor ve en değerli olandır. İade sürecinizin nasıl yürüdüğünü, adım adım, sırayla bilen ajandır. Bu olmadan ajan adımları sıra dışı yapar veya birini atlar ve çıktı ince bir şekilde, tehlikeli biçimde yanlış olur.

Kısa vadeli bellek konuşmadır. Uzun vadeli bellek kurumdur. Güvenilir bir ajanın her ikisine de ihtiyacı vardır ve uzun vadeli katman, şirketinizin gerçek bilgisinin yaşadığı yerdir.

Dosya tabanlı bellek istemi doldurmaktan neden daha iyidir?

Bu, ölçeklenen ajanları çöken ajanlardan sessizce ayıran tasarım kararıdır. Cazip yaklaşım, tüm o uzun vadeli bilgiyi (politikaları, geçmişi, prosedürleri) alıp her çalıştırmanın başında isteme yapıştırmaktır. Bir demoda işe yarar. Üretimde iki nedenden ötürü çöker.

Birincisi, pencereyi taşırır. Kısa vadeli belleğin tüm sorunu sınırlı olmasıdır ve onu ajanın ihtiyaç duyabileceği her şeyle önceden doldurmak, sınıra daha hızlı ulaşmanızı garanti eder. İkincisi, modeli boğar. Yüz politikayla dolu bir pencere, modelin bu adım için önemli olan ikisini bulmasını daha zor hale getirir, daha kolay değil.

Daha iyi yöntem, kalıcı bilgiyi pencerenin dışında tutmak ve ajanın yalnızca ihtiyaç duyduğunu, ihtiyaç duyduğunda getirmesine izin vermektir. Anthropic'in bellek aracı temiz bir örnektir: modelin, konuşmalar arasında kalıcı olan ve bağlam penceresinin dışında yaşayan özel bir bellek dizinindeki dosyaları oluşturabildiği, okuyabildiği, güncelleyebildiği ve silebildiği dosya tabanlı bir sistem. İstemci tarafında araç çağrıları aracılığıyla çalışır, böylece ajan bu bilgi tüm zaman boyunca istemde durmadan bilgiyi saklar ve başvurur. Ajan görev gerektirdiğinde bir dosyayı okur, öğrendiğini geri yazar ve aksi takdirde pencereyi temiz tutar.

Getirisi, tüm bu alandaki manşet sayıdır:

  • Dosya tabanlı bellek aracı artı bağlam düzenleme, Anthropic'in dahili çok adımlı değerlendirmesinde ajan tabanlı arama performansını referans değere göre %39 artırdı.
  • Bağlam düzenleme tek başına, aynı değerlendirmede performansı %29 artırdı.

%39'luk bir artış ince bir ayar ayrıntısı değildir. Gerçek işte güvenebileceğiniz bir ajan ile biri sayıların yanlış olduğunu fark edene kadar savrulan bir ajan arasındaki farktır. Ve neyin bunu ürettiğine dikkat edin: daha büyük bir model değil, daha akıllı bir istem değil, bir bellek mimarisi. Dosya tabanlı yaklaşım ayrıca zaman içinde birikir. Ajan kendi belleğine geri yazabildiği için, oturumlar boyunca bilgi biriktirir; bu da işinizi öğrenen bir asistan ile onu her sabah sıfırdan yeniden öğrenen bir asistan arasındaki farktır.

İki katman döngüde birlikte nasıl çalışır?

Parçalar yalnızca onları bir sistem olarak çalışırken gördüğünüzde önem kazanır. Gerçekçi bir görevi izleyin: bir müşterinin faturalandırma anlaşmazlığını çözen bir ajan.

  1. Ajan bağlamı yükler. Kısa vadeli bellek canlı konuşmayı tutar. Ajan, ilgili dosyaları getirerek anlamsal bellekten (faturalandırma politikanız) ve epizodik bellekten (bu müşterinin geçmiş destek talepleri) okur, hepsini pencerede taşıyarak değil.
  2. Planlar ve eyleme geçer. Prosedürel belleği (anlaşmazlık sürecinizin nasıl yürüdüğü) kullanarak adımları sıralar ve faturayı çekmek için bir aracı çağırır. Sonuç kısa vadeli belleğe iner.
  3. Gözlemler ve uyum sağlar. Ajan araç sonucunu okur, politikayla karşılaştırır ve bir sonraki adıma karar verir. Anthropic, her adımda ortamdan gelen bu gerçek payın, ajanı kendinden emin biçimde uydurmak yerine dürüst tutan şey olduğunu vurguluyor.
  4. Pencereyi yönetir. Görev uzadıkça bağlam düzenleme, pencere taşmasın diye eskimiş araç çağrılarını temizler. Plan ve önemli gerçekler kalır; gürültü gider.
  5. Geri yazar. Anlaşmazlık çözüldüğünde ajan, yaşananlarla epizodik belleği günceller, böylece bir sonraki etkileşim bilen bir konumdan başlar.

İşte tüm makine bu. Kısa vadeli bellek çalışma masasıdır, uzun vadeli bellek arşivdir ve aktif bağlam yönetimi, masayı kullanılabilir tutan disiplindir. Bunlardan herhangi birini çıkarın, başarısızlık tam olarak tahmin edeceğiniz yerde ortaya çıkar: taşan bir masa, boş bir arşiv veya dünden hiçbir şey bilmeyen bir ajan.

Ajan belleğini doğru kurmak ne gerektirir?

Artık işin şekli net, ve neden bir iş olduğu da öyle. Ajan belleğini tasarlamak, hiçbirini modelin sizin için yapmadığı bir dizi gerçek mühendislik kararıdır:

  • Kısa vadeliye karşı uzun vadeliye ne gider. Ajanın pencerede neyi taşıdığına ve neyi talep üzerine getirdiğine karar vermek.
  • Uzun vadeli bellek nasıl yapılandırılır. Doğru türün doğru anda getirilebilmesi için epizodik, anlamsal ve prosedürel bilgiyi ayırmak ve ajanı gerçeklerinize dayandıran getirmeyi (veri depolarını) bağlamak.
  • Bağlam yönetimi stratejisi. Uzun çalıştırmalarda pencerenin sağlıklı kalması için eskimiş içeriğin ne zaman ve nasıl temizleneceğini seçmek.
  • Geri yazma kuralları. Ajanın belleğe neyi geri kaydettiğine karar vermek, böylece zaman içinde savrulan çöp biriktirmeden öğrenir.
  • Değerlendirme döngüsü. Ajanın daha güvenilir hale mi geldiğini yoksa sessizce mi bozulduğunu ölçmek, çünkü bellek sorunları genellikle yavaş ve sessizdir.

Bunların hiçbiri tek seferlik bir kurulum değildir. Verileriniz değişir, politikalarınız değişir, iş yükü büyür ve geçen çeyrek işe yarayan bir bellek mimarisi zorlanmaya başlar. Onu sağlıklı tutmak bir iş, bir dağıtım değil.

İşte tam olarak çoğu şirketin kadrolayamadığı boşluk bu ve bizim yaptığımız iş bu. İşletmenizin içindeki ajanları, bellek mimarisi (kısa vadeli ve uzun vadeli), bağlam yönetimi stratejisi ve onları güvenilir tutan değerlendirme döngüsü dahil, biz planlar, kurar ve işletiriz. Bunun şeklini üretken yapay zeka mimarisi hizmetimizde görebilirsiniz. Öğle yemeğine kadar her şeyi unutan bir pilot yerine, işinizi öğrenen ve üretimde ayakta kalan bir sistem elde edersiniz.

Onu bir demonun savrulması yerine güvenilir kılmak için tasarlanmış belleğe sahip bir ajan istiyorsanız, aşağıdan ücretsiz bir danışma görüşmesi ayırtın, o katmanı sizinle birlikte tasarlayalım.