Agenci dziś: Na dyżurze
0:00 – 24:00 (telefon)
← Wszystkie wpisy Pamięć modeli · Karpathy · 30 października 2026

Jak nauczyć model pamiętać

Model językowy po zakończeniu treningu przestaje się uczyć. Każda rozmowa zaczyna się od zera, a wszystko, czego agent dowiedział się wczoraj, znika, jeśli ktoś tego nie zapisał. Andrej Karpathy nazwał ten brak wprost i zaproponował kierunek, który nazywa „uczeniem przez system prompt”. Opisujemy jego koncepcję, najważniejsze prace naukowe o pamięci modeli i agentów oraz to, czego nauczyliśmy się, budując agentów, którzy rozmawiają przez telefon.

PROBLEM

Model, który codziennie budzi się bez wspomnień

W czerwcu 2025 roku, w wykładzie „Software Is Changing (Again)” na YC AI Startup School, Karpathy powiedział, że modele językowe cierpią na amnezję następczą. To zaburzenie, w którym człowiek pamięta przeszłość, ale nie potrafi zapamiętać niczego nowego. Porównał model do nowego pracownika: człowiek z czasem poznaje firmę, wraca do domu, śpi, utrwala wiedzę i nabiera doświadczenia. Model tego sam nie robi.

Polecił dwa filmy: „Memento” i „50 pierwszych randek”. Ich bohaterowie, jak to ujął, mają „stałe wagi”, a ich okno kontekstu jest czyszczone każdego ranka. Wagi to liczby wewnątrz modelu, ustalone w czasie treningu. Okno kontekstu to tekst, który model widzi w danej chwili: polecenie, rozmowa, dołączone dokumenty.

KONCEPCJA

Brakujący sposób uczenia: notatki zamiast zmiany wag

11 maja 2025 roku Karpathy opublikował na platformie X wpis, który zaczyna się od zdania: „Brakuje nam (co najmniej jednego) ważnego paradygmatu uczenia modeli językowych. Nie wiem, jak go nazwać, może ma już nazwę – uczenie przez system prompt?” (tłumaczenie nasze). System prompt to stała instrukcja, którą model dostaje przed każdą rozmową.

Dalej pisze: pretrening służy wiedzy, a dostrajanie służy nawykom. Oba sposoby zmieniają parametry modelu. Tymczasem człowiek często uczy się inaczej: trafia na problem, znajduje rozwiązanie i zapamiętuje je dość dosłownie na następny raz, w rodzaju „gdy trafiam na taki problem, powinienem spróbować takiego podejścia”. Według Karpathy'ego przypomina to robienie notatek dla siebie. Nie chodzi o przypadkowe fakty o jednym użytkowniku, tylko o ogólne strategie rozwiązywania problemów. Modele są jak bohater „Memento”, „tylko że nie daliśmy im jeszcze notatnika”.

Wpis powstał po lekturze system promptu Claude'a, który według szacunku Karpathy'ego miał wtedy około 17 tysięcy słów. Zawierał nie tylko zasady zachowania, lecz także gotowe strategie, na przykład polecenie, by przy liczeniu liter liczyć je jawnie, krok po kroku. Karpathy uważa, że takiej wiedzy nie powinno się od razu wtapiać w wagi ani pisać ręcznie. Model powinien sam pisać sobie coś w rodzaju książki o tym, jak rozwiązywać problemy. Zostawił też otwarte pytania: jak mają działać poprawki tekstu i jak stopniowo przenosić wiedzę z jawnych notatek do nawyków w wagach, tak jak robią to ludzie.

W komentarzach do wpisu często mówi się o „trzecim paradygmacie” obok pretreningu i dostrajania. Sam Karpathy napisał ostrożniej: że brakuje „co najmniej jednego”. W tym samym wpisie zauważył też, że taka nauka może być skuteczniejsza niż uczenie ze wzmocnieniem, bo przegląd z opisem słownym niesie dużo więcej informacji niż jedna liczba nagrody.

Kontekst jako pamięć operacyjna

W tym samym czerwcowym wykładzie Karpathy porównał model językowy do nowego systemu operacyjnego: model pełni rolę procesora, okno kontekstu jest pamięcią, a model zarządza pamięcią i obliczeniami, żeby rozwiązać zadanie. Dodał, że okna kontekstu przypominają pamięć roboczą, którą trzeba programować bezpośrednio, bo model sam z siebie nie mądrzeje.

W rozmowie z Dwarkeshem Patelem (podcast z 17 października 2025 roku, „AGI is still a decade away”) rozwinął ten obraz. To, co jest w wagach, nazwał „mglistym wspomnieniem” tego, co model czytał w treningu, a to, co jest w kontekście, porównał do pamięci roboczej. U człowieka zachodzi proces „destylacji” przeżyć do mózgu, a modele według niego takiej fazy nie mają. Mówił też o „notatniku, który model może edytować”, i o tym, że modele nie mają odpowiednika kultury i spisanych zapisków przekazywanych dalej.

BADANIA

Pamięć zarządzana jak w komputerze

  • MemGPT (Packer i in., 2023, arXiv:2310.08560). Praca nosi tytuł „Towards LLMs as Operating Systems”. Model sam przenosi informacje między szybkim, małym kontekstem a dużym magazynem zewnętrznym, tak jak system operacyjny przenosi dane między pamięcią a dyskiem. Uczy, że o pamięci może decydować sam model, przez narzędzia do zapisu i odczytu.
  • Generative Agents (Park i in., 2023, arXiv:2304.03442). Symulowane postacie zapisują wszystko, co przeżyją, w strumieniu wspomnień. Do działania wybierają wspomnienia świeże, ważne i pasujące do sytuacji, a co jakiś czas tworzą z nich refleksje, czyli wnioski wyższego rzędu. Uczy, że surowy zapis nie wystarcza: trzeba go streszczać i porządkować.

Uczenie się na błędach słowami

  • Reflexion (Shinn i in., 2023, arXiv:2303.11366). Po nieudanej próbie agent pisze słowny wniosek, co poszło źle, i zachowuje go na kolejną próbę. Autorzy nazywają to „werbalnym uczeniem ze wzmocnieniem”. Uczy, że sygnał porażki można zamienić w zdanie, bez zmiany wag.
  • ExpeL (Zhao i in., 2023, arXiv:2308.10144). Agent zbiera doświadczenia z wielu zadań i wyciąga z nich ogólne wnioski w języku naturalnym, a przy nowym zadaniu przypomina sobie te wnioski i podobne przypadki. To bardzo bliskie temu, co Karpathy opisał dwa lata później.

Biblioteki umiejętności i ściągawki

  • Voyager (Wang i in., 2023, arXiv:2305.16291). Agent w grze Minecraft zapisuje każdą opanowaną czynność jako fragment kodu w bibliotece umiejętności i składa z nich coraz trudniejsze działania. Uczy, że umiejętność można przechowywać jako sprawdzony przepis, a nie tylko jako opis.
  • Dynamic Cheatsheet (Suzgun i in., 2025, arXiv:2504.07952). Model w trakcie pracy prowadzi „ściągawkę” ze strategiami, fragmentami kodu i wnioskami, które wykorzystuje przy kolejnych pytaniach, bez zmiany wag i bez wzorcowych odpowiedzi.
  • ACE, Agentic Context Engineering (Zhang i in., 2025, arXiv:2510.04618). Kontekst traktowany jest jak podręcznik, który rośnie i jest porządkowany w trzech krokach: tworzenie, refleksja i redakcja. Autorzy nazwali dwa zagrożenia: skłonność do skrótów, gdy streszczenie gubi wiedzę dziedzinową, oraz zapadanie się kontekstu, gdy wielokrotne przepisywanie stopniowo zaciera szczegóły. Ich odpowiedź to małe, uporządkowane dopiski zamiast przepisywania całości.

Porządkowanie wspomnień: notatki i grafy

  • A-MEM (Xu i in., 2025, arXiv:2502.12110). Pamięć zorganizowana według metody Zettelkasten, czyli kartoteki notatek połączonych odnośnikami. Nowe wspomnienie dostaje opis, słowa kluczowe i etykiety, a system łączy je z podobnymi i może aktualizować stare notatki.
  • Mem0 (Chhikara i in., 2025, arXiv:2504.19413). Architektura, która z rozmów wyciąga istotne informacje, łączy je z już zapisanymi i przywołuje w kolejnych sesjach. Wariant rozszerzony zapisuje pamięć jako graf, czyli sieć pojęć i relacji między nimi. Praca jest nastawiona na zastosowania produkcyjne, nie tylko na eksperyment.

Pamięć w samym modelu

Druga droga to pamięć wbudowana w sieć, a nie w zewnętrzny tekst.

  • MemoryLLM (Wang i in., 2024, arXiv:2402.04624). Model ma wewnątrz pulę pamięci o stałej wielkości, którą sam aktualizuje nowym tekstem. Uczy, że wiedzę można dopisywać do modelu po wdrożeniu bez pełnego treningu.
  • Titans (Behrouz, Zhong, Mirrokni, Google, arXiv:2501.00663, opublikowane 31 grudnia 2024 roku). Autorzy dodają moduł neuronowej pamięci długotrwałej, który uczy się zapamiętywać w trakcie działania. Uwagę modelu traktują jak pamięć krótką, a nowy moduł jak pamięć długą.
  • Nested Learning (Behrouz i in., arXiv:2512.24695). Ten sam zespół opisuje model jako zbiór zagnieżdżonych procesów uczenia, z których każdy działa we własnym rytmie. Celem jest model, który uczy się w sposób ciągły.

To odpowiedź na drugie pytanie Karpathy'ego: jak przenosić wiedzę z notatek do nawyków. Na razie są to prace badawcze, a nie gotowe narzędzie dla firmy.

NASZ MODEL

Cztery poziomy pamięci, jak u człowieka

Budując agentów, przyjęliśmy podział na cztery poziomy:

  • Pamięć krótka – bieżąca rozmowa i ostatnie dni. To kontekst modelu.
  • Pamięć długa – teczki spraw i historia klienta. To zewnętrzne zapisy, które agent czyta przed rozmową.
  • Wiedza – procedury i lekcje w grafie wiedzy, czyli to, co Karpathy nazywa notatkami ze strategiami.
  • Umiejętność – wytrenowane małe modele, czyli wiedza przeniesiona do wag.

Ważne zastrzeżenie: twarde fakty nie należą do żadnej z tych warstw jako kopia. Kalendarz, faktury, płatności i umowy mają własne źródła prawdy, a agent czyta je narzędziem. Wiki działu daje kontekst pracy, wiki firmy jej charakter, a teczki historię rozmów. Jedyne poważne ryzyko widzimy w tym, że ktoś przepisze fakt ze źródła prawdy do wiki zamiast go odczytać.

Co wynieśliśmy z praktyki

Agent „na plikach”. W agencie do rozmów windykacyjnych przyjęliśmy wprost architekturę inspirowaną Karpathym. Rozmowę prowadzi model według plików: wytyczne, scenariusze, wiedza i lekcje. Kod pilnuje twardych granic: kwot i dat ze sprawy, zakazu obietnic, informacji, że rozmawia sztuczna inteligencja. Pliki wiedzy można zmienić bez przebudowy agenta.

Lekcje w formacie wpadek. Po rozmowie model proponuje lekcję. Każda ma klucz, wniosek, licznik wystąpień, datę ostatniego wystąpienia, przykład i znacznik zatwierdzenia. Do polecenia trafiają tylko najczęstsze zatwierdzone. Na początku lekcje zatwierdzał człowiek. Później uznaliśmy, że w systemie złożonym z agentów kontrola musi być w kodzie, więc lekcja wchodzi po próbie, a nie po zatwierdzeniu: w nocy agent powtarza dawne scenariusze z lekcją i bez niej. Ta próba ma słabość, którą znamy: zdanie „nic się nie pogorszyło” przepuszcza też lekcje bez sensu, jeśli żaden scenariusz ich nie dotyka. Jedną taką lekcję cofnęliśmy do ponownej próby.

Teczka i sędzia. Po każdym kontakcie model przepisuje teczkę sprawy: stan, oś zdarzeń z cytatami, sprzeczności, plan i pytanie otwierające kolejną rozmowę. Cytaty sprawdza kod. Próbowaliśmy też dać modelowi rolę sędziego, który wycina fakty bez pokrycia. Sędzia oznaczył jako niepotwierdzone fakty prawdziwe, a wycinanie zniszczyło teczkę. Dziś sędzia decyduje tylko o pytaniu otwierającym. To nasza wersja „zapadania się kontekstu” z pracy o ACE.

Nie wszystko dla wszystkich. Agenci jednej rozmowy dzielą teczkę połączenia, ale osobne ustawienia określają, co z niej widzi każdy dział. Przed potwierdzeniem tożsamości rozmówcy agent nie dostaje ustaleń z historii. Dane zewnętrzne, na których ćwiczymy, trzymamy osobno i nie mieszamy z wiedzą firmy.

Uczeń. Tam, gdzie model tylko rozpoznaje zamiar klienta, a decyzję podejmuje kod, obok pracuje mały model HerBERT, który uczy się tego samego rozpoznawania w cieniu. To nasz czwarty poziom: umiejętność przeniesiona z dużego modelu do małego.

OTWARTE PROBLEMY

Czego nikt jeszcze nie rozwiązał

  • Zapominanie. Notatki rosną, a kontekst jest ograniczony. Trzeba wybierać, co trafia do polecenia, i nie zgubić przy tym rzadkich, ale ważnych wniosków.
  • Sprzeczne wspomnienia. Klient mówi dziś co innego niż tydzień temu. Teczka powinna pokazać sprzeczność, a nie po cichu wybrać jedną wersję.
  • Co zapisać. Lekcja z jednej rozmowy bywa przypadkiem. Licznik wystąpień i próba na dawnych rozmowach pomagają, ale nie rozstrzygają, czy lekcja ma sens.
  • Kto zatwierdza. Człowiek jest wąskim gardłem, a model oceniający sam siebie potrafi się mylić, co widzieliśmy przy sędzim teczki. Potrzebne są sprawdziany w kodzie.
  • Zatruwanie pamięci. Prace AgentPoison (Chen i in., 2024, arXiv:2407.12784) i MINJA (Dong i in., 2025, arXiv:2503.03704) pokazują, że złośliwe zapisy w pamięci agenta potrafią sterować jego zachowaniem. W MINJA atakujący nie ma dostępu do pamięci: wystarczy mu zwykła rozmowa z agentem. Dla agenta, który uczy się z rozmów telefonicznych z obcymi osobami, to zagrożenie realne, nie teoretyczne.

Podsumowanie

Karpathy nazwał to, co wielu budujących agentów robiło intuicyjnie: model może się uczyć, pisząc sobie notatki, zamiast zmieniać wagi. Badania od MemGPT i Reflexion po ACE i Titans pokazują dwie drogi: jawne zapiski, które można przeczytać i poprawić, oraz pamięć w samej sieci, która wciąż jest na etapie badań. My łączymy obie w czterech poziomach: rozmowa, teczki, wiedza z lekcjami i małe wytrenowane modele. Najtrudniejsze nie jest samo zapisywanie, tylko decyzja, co zapisać, jak to sprawdzić i jak nie dać się oszukać.