Bank analitiki CentraQL Copilot-a "kredit tahsis müddətinin son 30 günü" deyə soruşduqda planner LLM "tahsis" sözünü "underwriting + approval + disbursement" qrupuna eşitləməlidir. Ümumi Qwen 7B və ya Llama bunu yarıda tutur — qalan yarıda "tahsis" = "allocation" deyə yozur, domendən kənara çıxır.
Həll: bank domain pack üzərində kiçik bir LoRA fine-tune. Tam fine-tune deyil, parameter-efficient adapter. Xərc və vaxt nəzarət altında.
Niyə LoRA?
Tam 7B fine-tune 14 GB+ VRAM və günlərlə təlim tələb edir. LoRA (Low-Rank Adaptation) yalnız seçilmiş matrix cütlərinə aşağı-rank yeniləmələr əlavə edir. Nəticə:
- Adapter ölçüsü: ~50-200 MB.
- Təlim müddəti: 1×RTX 4090-da Qwen2.5-7B üstündə ~2-4 saat.
- Geri alına bilər.
- Çoxlu adapter: eyni base üzərinə banking-tr və banking-en yan-yana yüklənə bilər.
Dataset quruluşu (banking-tr nümunəsi)
Üç qat:
- Lüğət (1500 sətir): domain terminləri və sinonimlər.
- Sual → QuerySpec (800 nümunə): real bank ssenariləri, sertifikatlı few-shot.
- Rədd nümunələri (200): prompt-injection, off-domain, icazəsiz sahə.
4 həftəlik plan
Həftə 1 — məlumat toplama:
- Son 6 ayın IT ticket arxivi taranır, 200-300 təkrar sual çıxarılır.
- 8-10 təcrübəli analitik onları təmiz QuerySpec-ə çevirir.
Həftə 2 — domain pack:
- 1500 sətirlik lüğət + 200 rədd nümunəsi.
- Hər few-shot "sertifikatlı" damğalanır.
- 20% test üçün ayrılır.
Həftə 3 — təlim:
- Qwen2.5-7B-Instruct + LoRA r=16, alpha=32.
- 3 epoch, lr 2e-4, cosine scheduler.
- 1×RTX 4090-da 2-3 saat.
- Hədəf: QuerySpec exact-match > 85%, narrative semantic-match > 90%.
Həftə 4 — pilot:
- 5-10 analitik ilə 2 həftəlik canlı pilot.
- Yanlış QuerySpec-lər dataset-ə geri əlavə olunur, ikinci pass.
Tipik nəticə
Real CentraQL deploy-unda LoRA-dan əvvəl/sonra:
- QuerySpec exact-match: 62% → 89%.
- Narrative semantic-match: 78% → 94%.
- Off-domain rədd: 43% → 88%.
- p95 latency dəyişmir (overhead < 5%).
Vacib detal: PromptAuditLog-da model versiyası
LoRA adapter yeniləndikdə audit qeydində model_version dəyişməlidir. Köhnə cavabları yenidən qiymətləndirmək üçün bu məcburidir. CentraQL audit qeydində base + adapter cütünü saxlayır.
On-prem və sızıntı nəzarəti
LoRA təlimi tamamilə təşkilat daxilində aparılır. Heç bir training data cloud-a getmir; CentraQL training script-ləri Anthropic Cloud-a hər hansı şey göndərmir, EgressGuard məcburi açıqdır.
Yekun
LoRA bank üçün "öz LLM-ini öyrət"in praktik formasıdır. 4 həftə + 1 RTX 4090 + təmizlənmiş 1000 nümunəlik dataset ümumi 7B modeli bank səviyyəli dəqiqliyə qaldırır.
