LoRA w praktyce: czego model można nauczyć, a czego nie
LoRA to sposób na tanie dostosowanie gotowego modelu do potrzeb firmy bez trenowania go od nowa. Pokazujemy, w jakich zadaniach ta metoda naprawdę działa: w tekście, obrazie, mowie i odczycie dokumentów. Piszemy też uczciwie o tym, gdzie jej możliwości się kończą.
Czym jest LoRA
LoRA (ang. Low-Rank Adaptation) opisali Edward Hu i współautorzy w 2021 roku. Zamiast zmieniać wszystkie wagi modelu, czyli miliardy liczb zapisanych podczas jego pierwotnego treningu, metoda zamraża model i dokłada do wybranych warstw dwie małe macierze. Uczy się tylko tych dodatków. Autorzy podają, że w porównaniu z pełnym dotrenowaniem modelu GPT-3 o 175 miliardach parametrów LoRA zmniejsza liczbę trenowanych parametrów 10 000 razy, a zapotrzebowanie na pamięć karty graficznej 3 razy, i nie spowalnia działania gotowego modelu.
Wynik treningu to adapter, czyli niewielki plik, który nakłada się na model bazowy. Dokumentacja biblioteki Hugging Face PEFT opisuje dwie praktyczne zalety: na jednym modelu bazowym można trzymać wiele adapterów do różnych zadań i przełączać je, a adapter można też trwale scalić z modelem.
QLoRA i DoRA: dwa ważne warianty
QLoRA (Tim Dettmers i współautorzy, 2023) łączy LoRA z kwantyzacją, czyli zapisem wag modelu bazowego w mniejszej precyzji, tu czterobitowej. Autorzy pokazali, że w ten sposób da się dotrenować model o 65 miliardach parametrów na jednej karcie graficznej z 48 GB pamięci. Ich najlepszy model, Guanaco, osiągnął w teście Vicuna 99,3% wyniku ChatGPT. To otworzyło trening dużych modeli firmom, które nie mają centrum obliczeniowego.
DoRA (Shih-Yang Liu i współautorzy, 2024) rozkłada każdą wagę na „długość” i „kierunek” i stosuje LoRA tylko do kierunku. Według autorów DoRA w ich testach stale wypadała lepiej niż zwykła LoRA, również w modelach łączących obraz i tekst, i podobnie jak LoRA nie spowalnia działania modelu.
„Wgramy modelowi naszą wiedzę przez LoRA”
To najczęstsze nieporozumienie. Badania pokazują, że dotrenowanie słabo dodaje modelowi nowe fakty. Zespół Gekhmana (2024) sprawdził to w kontrolowanym doświadczeniu: przykłady z nową wiedzą model przyswajał znacznie wolniej niż przykłady zgodne z tym, co już wiedział, a gdy w końcu je przyswoił, rosła skłonność do zmyślania. Wniosek autorów: wiedzę o świecie model zdobywa głównie w pierwotnym treningu, a dotrenowanie uczy go przede wszystkim, jak z tej wiedzy korzystać.
Podobny wynik dało porównanie Ovadii i współautorów (2023): w zadaniach wymagających wiedzy wyszukiwanie w dokumentach (RAG) stale wypadało lepiej niż dotrenowanie, zarówno dla wiedzy znanej modelowi, jak i zupełnie nowej. Z kolei praca „LoRA Learns Less and Forgets Less” (Biderman i współautorzy, 2024) pokazała, że w programowaniu i matematyce LoRA wyraźnie ustępuje pełnemu dotrenowaniu, ale lepiej zachowuje dotychczasowe umiejętności modelu. LoRA jest więc narzędziem do zmiany zachowania, a nie do budowy bazy wiedzy.
Modele językowe: styl, format i decyzje
W modelach tekstowych LoRA sprawdza się tam, gdzie chodzi o powtarzalny sposób odpowiadania. Przykłady z pracy kancelarii i firmy:
- Styl pism: układ, sformułowania i ton właściwe dla danego typu pisma, na przykład wezwania do zapłaty.
- Stały format odpowiedzi: model zawsze zwraca dane w formacie JSON, czyli w uporządkowanej strukturze, którą program może odczytać bez poprawek.
- Ton działu: inaczej pisze dział obsługi klienta, inaczej dział windykacji.
- Klasyfikacja zamiarów: rozpoznanie, czy klient chce umówić wizytę, zapytać o fakturę, czy zgłosić szkodę.
- Wywołania narzędzi: nauka, kiedy i z jakimi danymi model ma uruchomić funkcję, na przykład sprawdzenie terminu w kalendarzu.
- Język i słownictwo: lepsze posługiwanie się polszczyzną, gwarą regionu albo żargonem branży.
Granice: adapter nie zastąpi aktualnych danych. Kwoty, terminy, przepisy i treść akt muszą przychodzić z systemu w chwili odpowiedzi, a kod powinien sprawdzać wynik. Dobrze nauczony format nie gwarantuje poprawnej treści.
Modele obrazu: postać, produkt, styl marki
W generatorach obrazu, takich jak Stable Diffusion, FLUX czy Qwen-Image, LoRA uczy model nowego pojęcia wizualnego. Pomysł spopularyzowała metoda DreamBooth (Ruiz i współautorzy, 2022), w której model uczy się konkretnego obiektu z zaledwie kilku zdjęć i przypisuje mu własną nazwę. Dokumentacja biblioteki diffusers wskazuje, że trening z LoRA jest szybszy, oszczędniejszy w pamięci i daje małe pliki wag, łatwe do przechowania i przekazania.
- Produkt: ten sam plecak lub ta sama butelka w różnych scenach i ujęciach.
- Postać: powtarzalny bohater kampanii albo maskotka firmy.
- Styl marki: kolorystyka, oświetlenie i kadrowanie zgodne z identyfikacją wizualną.
Granice: drobne szczegóły, napisy na produkcie i dokładne wymiary bywają odtwarzane niewiernie, więc obraz trzeba sprawdzić przed publikacją. Adapter przejmuje też błędy ze zdjęć treningowych. Trenowanie na wizerunku osoby wymaga jej zgody.
Mowa: Whisper i słownictwo branży
Model rozpoznawania mowy Whisper można dostosować przez LoRA do konkretnego języka, akcentu albo słownictwa. Poradnik PEFT pokazuje dotrenowanie modelu whisper-large-v2 z adapterem LoRA i kwantyzacją ośmiobitową. W tym przykładzie trenowany jest około 1% parametrów modelu. Dla firmy oznacza to lepsze rozpoznawanie nazw procedur medycznych, terminów prawniczych czy nazw produktów.
Granice: do treningu potrzebne są nagrania z dokładnym zapisem tekstu, a ich przygotowanie zajmuje więcej czasu niż sam trening. Adapter nie poprawi nagrania złej jakości. Pojedyncze nazwy własne często łatwiej podsunąć modelowi w podpowiedzi albo poprawić słownikiem po rozpoznaniu.
Modele wizyjne: odczyt dokumentów jednego typu
Modele łączące obraz i tekst, na przykład Qwen2-VL, można dotrenować przez LoRA lub QLoRA do odczytu konkretnego rodzaju dokumentu: faktury jednego dostawcy, druku urzędowego czy wyniku badania. Przepis w Hugging Face Cookbook pokazuje taki trening z użyciem bibliotek TRL i PEFT. Model uczy się, gdzie leżą pola i w jakiej postaci je zwracać.
Granice: dokument o innym układzie może zostać odczytany gorzej. Każdy odczyt liczb, dat i numerów warto sprawdzić kodem, na przykład sumę kontrolną numeru NIP albo zgodność sumy pozycji z kwotą faktury. W dokumentach z danymi osobowymi trening i odczyt powinny odbywać się na własnym sprzęcie.
Kiedy LoRA, a kiedy coś innego
- Podpowiedź (prompt): zawsze na początek. Jeśli dobra instrukcja i kilka przykładów dają wynik, trening nie jest potrzebny.
- RAG: gdy model ma znać fakty, które się zmieniają: akta, cenniki, przepisy, orzeczenia. Źródło można wtedy wskazać i sprawdzić.
- LoRA: gdy instrukcja nie wystarcza, a chodzi o styl, format, ton, rozpoznawanie kategorii albo nowe pojęcie wizualne. Potrzebny jest zbiór dobrych przykładów i test, który sprawdzi efekt.
- Pełne dotrenowanie: gdy model jest mały i zadanie wąskie albo gdy trzeba głęboko zmienić umiejętności, na przykład w programowaniu czy matematyce, gdzie według badań LoRA ustępuje pełnemu treningowi.
Jak to wygląda u nas
W naszym agencie głosowym działa mały klasyfikator oparty na polskim modelu HerBERT. Odpowiada od razu, a większy model językowy pracuje równolegle. Gdy ich rozstrzygnięcia się różnią, w tej rozmowie decyduje większy model, a różnica zostaje zapisana jako przykład treningowy. Mały model, który nazywamy uczniem, uczy się na takich przykładach w tle, na przykład rozpoznawania, jaką formę konsultacji wybiera klient. To nie jest LoRA, tylko pełne dotrenowanie małego modelu: przy niewielkim modelu i wąskim zadaniu jest to proste i tanie.
Przygotowaliśmy też narzędzie do uruchamiania treningów LoRA na własnych serwerach z kartami graficznymi. Dane klientów nie opuszczają wtedy naszej infrastruktury.
Podsumowanie
LoRA to tani i skuteczny sposób, by gotowy model pisał w stylu firmy, odpowiadał w stałym formacie, trafnie rozpoznawał sprawy, lepiej rozumiał branżowe słownictwo albo rysował produkt marki. Nie jest to sposób na przekazanie modelowi wiedzy: fakty powinny pochodzić z dokumentów w chwili odpowiedzi, a wynik powinien sprawdzać kod. Najlepiej zacząć od dobrej podpowiedzi, wiedzę dostarczać przez RAG, a LoRA stosować tam, gdzie trzeba zmienić zachowanie modelu.
Źródła
- Hu i in. (2021), LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685
- Dettmers i in. (2023), QLoRA: Efficient Finetuning of Quantized LLMs, arXiv:2305.14314
- Liu i in. (2024), DoRA: Weight-Decomposed Low-Rank Adaptation, arXiv:2402.09353
- Gekhman i in. (2024), Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, arXiv:2405.05904
- Ovadia i in. (2023), Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs, arXiv:2312.05934
- Biderman i in. (2024), LoRA Learns Less and Forgets Less, arXiv:2405.09673
- Ruiz i in. (2022), DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation, arXiv:2208.12242
- Hugging Face PEFT: przewodnik po LoRA
- Hugging Face diffusers: trening LoRA dla modeli obrazu
- Hugging Face PEFT: Whisper z LoRA i kwantyzacją int8
- Hugging Face Cookbook: dotrenowanie modelu wizyjno-językowego (Qwen2-VL) z TRL