Agenci dziś: Na dyżurze
0:00 – 24:00 (telefon)
← Wszystkie wpisy Modele · LoRA · 27 października 2026

LoRA w praktyce: czego model można nauczyć, a czego nie

LoRA to sposób na tanie dostosowanie gotowego modelu do potrzeb firmy bez trenowania go od nowa. Pokazujemy, w jakich zadaniach ta metoda naprawdę działa: w tekście, obrazie, mowie i odczycie dokumentów. Piszemy też uczciwie o tym, gdzie jej możliwości się kończą.

Czym jest LoRA

LoRA (ang. Low-Rank Adaptation) opisali Edward Hu i współautorzy w 2021 roku. Zamiast zmieniać wszystkie wagi modelu, czyli miliardy liczb zapisanych podczas jego pierwotnego treningu, metoda zamraża model i dokłada do wybranych warstw dwie małe macierze. Uczy się tylko tych dodatków. Autorzy podają, że w porównaniu z pełnym dotrenowaniem modelu GPT-3 o 175 miliardach parametrów LoRA zmniejsza liczbę trenowanych parametrów 10 000 razy, a zapotrzebowanie na pamięć karty graficznej 3 razy, i nie spowalnia działania gotowego modelu.

Wynik treningu to adapter, czyli niewielki plik, który nakłada się na model bazowy. Dokumentacja biblioteki Hugging Face PEFT opisuje dwie praktyczne zalety: na jednym modelu bazowym można trzymać wiele adapterów do różnych zadań i przełączać je, a adapter można też trwale scalić z modelem.

QLoRA i DoRA: dwa ważne warianty

QLoRA (Tim Dettmers i współautorzy, 2023) łączy LoRA z kwantyzacją, czyli zapisem wag modelu bazowego w mniejszej precyzji, tu czterobitowej. Autorzy pokazali, że w ten sposób da się dotrenować model o 65 miliardach parametrów na jednej karcie graficznej z 48 GB pamięci. Ich najlepszy model, Guanaco, osiągnął w teście Vicuna 99,3% wyniku ChatGPT. To otworzyło trening dużych modeli firmom, które nie mają centrum obliczeniowego.

DoRA (Shih-Yang Liu i współautorzy, 2024) rozkłada każdą wagę na „długość” i „kierunek” i stosuje LoRA tylko do kierunku. Według autorów DoRA w ich testach stale wypadała lepiej niż zwykła LoRA, również w modelach łączących obraz i tekst, i podobnie jak LoRA nie spowalnia działania modelu.

MIT

„Wgramy modelowi naszą wiedzę przez LoRA”

To najczęstsze nieporozumienie. Badania pokazują, że dotrenowanie słabo dodaje modelowi nowe fakty. Zespół Gekhmana (2024) sprawdził to w kontrolowanym doświadczeniu: przykłady z nową wiedzą model przyswajał znacznie wolniej niż przykłady zgodne z tym, co już wiedział, a gdy w końcu je przyswoił, rosła skłonność do zmyślania. Wniosek autorów: wiedzę o świecie model zdobywa głównie w pierwotnym treningu, a dotrenowanie uczy go przede wszystkim, jak z tej wiedzy korzystać.

Podobny wynik dało porównanie Ovadii i współautorów (2023): w zadaniach wymagających wiedzy wyszukiwanie w dokumentach (RAG) stale wypadało lepiej niż dotrenowanie, zarówno dla wiedzy znanej modelowi, jak i zupełnie nowej. Z kolei praca „LoRA Learns Less and Forgets Less” (Biderman i współautorzy, 2024) pokazała, że w programowaniu i matematyce LoRA wyraźnie ustępuje pełnemu dotrenowaniu, ale lepiej zachowuje dotychczasowe umiejętności modelu. LoRA jest więc narzędziem do zmiany zachowania, a nie do budowy bazy wiedzy.

FAKT

Modele językowe: styl, format i decyzje

W modelach tekstowych LoRA sprawdza się tam, gdzie chodzi o powtarzalny sposób odpowiadania. Przykłady z pracy kancelarii i firmy:

  • Styl pism: układ, sformułowania i ton właściwe dla danego typu pisma, na przykład wezwania do zapłaty.
  • Stały format odpowiedzi: model zawsze zwraca dane w formacie JSON, czyli w uporządkowanej strukturze, którą program może odczytać bez poprawek.
  • Ton działu: inaczej pisze dział obsługi klienta, inaczej dział windykacji.
  • Klasyfikacja zamiarów: rozpoznanie, czy klient chce umówić wizytę, zapytać o fakturę, czy zgłosić szkodę.
  • Wywołania narzędzi: nauka, kiedy i z jakimi danymi model ma uruchomić funkcję, na przykład sprawdzenie terminu w kalendarzu.
  • Język i słownictwo: lepsze posługiwanie się polszczyzną, gwarą regionu albo żargonem branży.

Granice: adapter nie zastąpi aktualnych danych. Kwoty, terminy, przepisy i treść akt muszą przychodzić z systemu w chwili odpowiedzi, a kod powinien sprawdzać wynik. Dobrze nauczony format nie gwarantuje poprawnej treści.

Modele obrazu: postać, produkt, styl marki

W generatorach obrazu, takich jak Stable Diffusion, FLUX czy Qwen-Image, LoRA uczy model nowego pojęcia wizualnego. Pomysł spopularyzowała metoda DreamBooth (Ruiz i współautorzy, 2022), w której model uczy się konkretnego obiektu z zaledwie kilku zdjęć i przypisuje mu własną nazwę. Dokumentacja biblioteki diffusers wskazuje, że trening z LoRA jest szybszy, oszczędniejszy w pamięci i daje małe pliki wag, łatwe do przechowania i przekazania.

  • Produkt: ten sam plecak lub ta sama butelka w różnych scenach i ujęciach.
  • Postać: powtarzalny bohater kampanii albo maskotka firmy.
  • Styl marki: kolorystyka, oświetlenie i kadrowanie zgodne z identyfikacją wizualną.

Granice: drobne szczegóły, napisy na produkcie i dokładne wymiary bywają odtwarzane niewiernie, więc obraz trzeba sprawdzić przed publikacją. Adapter przejmuje też błędy ze zdjęć treningowych. Trenowanie na wizerunku osoby wymaga jej zgody.

Mowa: Whisper i słownictwo branży

Model rozpoznawania mowy Whisper można dostosować przez LoRA do konkretnego języka, akcentu albo słownictwa. Poradnik PEFT pokazuje dotrenowanie modelu whisper-large-v2 z adapterem LoRA i kwantyzacją ośmiobitową. W tym przykładzie trenowany jest około 1% parametrów modelu. Dla firmy oznacza to lepsze rozpoznawanie nazw procedur medycznych, terminów prawniczych czy nazw produktów.

Granice: do treningu potrzebne są nagrania z dokładnym zapisem tekstu, a ich przygotowanie zajmuje więcej czasu niż sam trening. Adapter nie poprawi nagrania złej jakości. Pojedyncze nazwy własne często łatwiej podsunąć modelowi w podpowiedzi albo poprawić słownikiem po rozpoznaniu.

Modele wizyjne: odczyt dokumentów jednego typu

Modele łączące obraz i tekst, na przykład Qwen2-VL, można dotrenować przez LoRA lub QLoRA do odczytu konkretnego rodzaju dokumentu: faktury jednego dostawcy, druku urzędowego czy wyniku badania. Przepis w Hugging Face Cookbook pokazuje taki trening z użyciem bibliotek TRL i PEFT. Model uczy się, gdzie leżą pola i w jakiej postaci je zwracać.

Granice: dokument o innym układzie może zostać odczytany gorzej. Każdy odczyt liczb, dat i numerów warto sprawdzić kodem, na przykład sumę kontrolną numeru NIP albo zgodność sumy pozycji z kwotą faktury. W dokumentach z danymi osobowymi trening i odczyt powinny odbywać się na własnym sprzęcie.

Kiedy LoRA, a kiedy coś innego

  • Podpowiedź (prompt): zawsze na początek. Jeśli dobra instrukcja i kilka przykładów dają wynik, trening nie jest potrzebny.
  • RAG: gdy model ma znać fakty, które się zmieniają: akta, cenniki, przepisy, orzeczenia. Źródło można wtedy wskazać i sprawdzić.
  • LoRA: gdy instrukcja nie wystarcza, a chodzi o styl, format, ton, rozpoznawanie kategorii albo nowe pojęcie wizualne. Potrzebny jest zbiór dobrych przykładów i test, który sprawdzi efekt.
  • Pełne dotrenowanie: gdy model jest mały i zadanie wąskie albo gdy trzeba głęboko zmienić umiejętności, na przykład w programowaniu czy matematyce, gdzie według badań LoRA ustępuje pełnemu treningowi.

Jak to wygląda u nas

W naszym agencie głosowym działa mały klasyfikator oparty na polskim modelu HerBERT. Odpowiada od razu, a większy model językowy pracuje równolegle. Gdy ich rozstrzygnięcia się różnią, w tej rozmowie decyduje większy model, a różnica zostaje zapisana jako przykład treningowy. Mały model, który nazywamy uczniem, uczy się na takich przykładach w tle, na przykład rozpoznawania, jaką formę konsultacji wybiera klient. To nie jest LoRA, tylko pełne dotrenowanie małego modelu: przy niewielkim modelu i wąskim zadaniu jest to proste i tanie.

Przygotowaliśmy też narzędzie do uruchamiania treningów LoRA na własnych serwerach z kartami graficznymi. Dane klientów nie opuszczają wtedy naszej infrastruktury.

Podsumowanie

LoRA to tani i skuteczny sposób, by gotowy model pisał w stylu firmy, odpowiadał w stałym formacie, trafnie rozpoznawał sprawy, lepiej rozumiał branżowe słownictwo albo rysował produkt marki. Nie jest to sposób na przekazanie modelowi wiedzy: fakty powinny pochodzić z dokumentów w chwili odpowiedzi, a wynik powinien sprawdzać kod. Najlepiej zacząć od dobrej podpowiedzi, wiedzę dostarczać przez RAG, a LoRA stosować tam, gdzie trzeba zmienić zachowanie modelu.