Когда банковский аналитик спрашивает CentraQL Copilot про "цикл одобрения кредита за 30 дней", planner-LLM должен сопоставить турецкое *tahsis* с кластером *underwriting + approval + disbursement*. Общий Qwen 7B или Llama примерно в половине случаев попадает; в другой половине трактует *tahsis* как *allocation* и уходит из домена.
Решение — небольшой LoRA fine-tune на банковском domain pack. Не полный fine-tune, а parameter-efficient адаптер. Цена и сроки под контролем.
Почему LoRA?
Полный fine-tune 7B требует 14 GB+ VRAM и дней обучения. LoRA добавляет низкоранговые поправки только к выбранным парам матриц. Итог:
- Размер адаптера: ~50-200 МБ.
- Время обучения: ~2-4 ч на одной RTX 4090 для Qwen2.5-7B.
- Обратимо: убираешь адаптер — возвращается базовая модель.
- Несколько адаптеров: banking-tr и banking-en над одним base.
Структура датасета (banking-tr)
Три слоя:
- Лексикон (1500 строк): термины домена и синонимы.
- Вопрос → QuerySpec (800 примеров): реальные банковские сценарии, сертифицированные few-shots.
- Примеры отказа (200): prompt-injection, off-domain, запросы запрещённых полей.
План на 4 недели
Неделя 1 — сбор:
- Прочёсываем 6 месяцев IT-тикетов, выделяем 200-300 повторяющихся вопросов аналитиков.
- 8-10 старших аналитиков превращают их в чистый QuerySpec.
Неделя 2 — domain pack:
- 1500-строчный лексикон + 200 примеров отказа.
- Все few-shots помечаются как «certified».
- 20% — eval-набор.
Неделя 3 — обучение:
- Qwen2.5-7B-Instruct + LoRA r=16, alpha=32.
- 3 эпохи, lr 2e-4, cosine.
- 2-3 часа на одной RTX 4090.
- Цель: QuerySpec exact-match > 85%, narrative semantic-match > 90%.
Неделя 4 — пилот:
- 2 недели на 5-10 аналитиках.
- Неправильные QuerySpecs возвращаются в датасет; второй проход.
Типичный результат
В реальном внедрении CentraQL до/после LoRA:
- QuerySpec exact-match: 62% → 89%.
- Narrative semantic-match: 78% → 94%.
- Off-domain rejection: 43% → 88%.
- p95 latency не меняется (overhead < 5%).
Важная деталь: версия модели в PromptAuditLog
При обновлении адаптера model_version в audit-записи обязан меняться. Это нужно для переоценки старых ответов. CentraQL пишет в audit и base, и adapter.
On-prem и контроль утечек
Обучение LoRA — внутри организации. Никакие training-данные не уходят в облако; скрипты CentraQL не обращаются в Anthropic Cloud, EgressGuard принудительно включён.
Заключение
LoRA — практический вариант «своего LLM» для банка. 4 недели + 1 RTX 4090 + аккуратный датасет на 1000 примеров поднимают общую 7B-модель до банковского уровня точности.
