ИИ в техподдержке без облака: время экспертов и приватность

Дорогой эксперт половину дня отвечает на вопросы, ответы на которые лежат в его же регламентах. Забрать у него эту часть — и есть задача локального ассистента первой линии: типовые вопросы, статусы, инструкции, со ссылкой на источник и без отправки переписки в чужое облако. Собирается такое на одном мини-ПК, модели выбираются по карточке за две минуты, а эффект видно по четырём метрикам.

Почему эксперты выгорают

Вопросов не слишком много — они слишком одинаковые. В большинстве поддержек 60–70% обращений повторяются: как настроить, где найти, почему не работает, когда будет готово. Каждый такой вопрос всё равно требует человека, потому что искать в собственных документах быстрее через эксперта, чем через поиск.

Дальше три следствия, знакомые любому тимлиду поддержки. Эксперт превращается в справочную и теряет форму на сложных задачах, где он действительно нужен. Время первого ответа растёт ровно в часы пик. И люди уходят — не от сложности, а от бессмысленности.

Ассистент не сокращает штат. Он возвращает экспертам сложное и забирает то, что и так лежит в документах.

Что забирает первая линия

типовые вопросы по документации — с цитатой на пункт инструкции;
статусы и справка: где заказ, какой тариф, что входит;
первичный сбор контекста: продукт, версия, что уже пробовали. Эксперт получает обращение не с нуля;
эскалация с историей, чтобы человеку не приходилось просить «опишите проблему ещё раз».

Чего ассистент не делает: не принимает решения в спорных случаях, не обещает сроки, которых нет в системе, и не отвечает на вопросы, которых нет в базе. Честное «уточню у коллеги» всегда лучше уверенной выдумки — и клиенты это чувствуют довольно быстро.

RAG без облака

RAG — это поиск по документам перед генерацией. Именно он превращает модель из болтуна в справочник, и собирается он целиком на своём железе.

Нарезка. Регламенты и статьи базы режутся на смысловые блоки, а не по 500 символов. Каждый блок помнит, из какого документа он взят.
Эмбеддинги локально. bge-m3, e5 или русскоязычная модель на процессоре считают векторы. Наружу не уходит ничего.
Хранение. sqlite-vec хватает на десятки тысяч фрагментов, дальше — pgvector или Qdrant.
Гибридный поиск. Вектор плюс обычный текстовый: вектор ловит смысл, текст — артикулы, номера версий и прочие точные строки. По отдельности каждый ошибается.
Ответ с цитатой. Модель отвечает только по найденным блокам и ссылается на документ. Нет блока — нет ответа.
Обновление. Изменился регламент — переиндексируется один документ, а не вся база.

Пятый пункт важнее остальных. Клиент, которому показали пункт инструкции, спорит заметно реже, чем клиент, которому выдали гладкий текст.

Как выбрать модель, не читая сорок страниц

Это, по опыту, самая недооценённая часть. Скачали красивую модель с Hugging Face, поставили в коммерческий продукт — а у неё лицензия cc-by-nc, и теперь это ваша проблема. Две минуты по карточке экономят месяцы.

Кто выложил. Qwen, Meta, Mistral, известный квантователь вроде bartowski — один уровень доверия. Случайный аккаунт с тремя скачиваниями — другой.

Название. Base — сырая модель для дообучения, Instruct/Chat — умеет разговаривать, GGUF — формат для llama.cpp и Ollama, AWQ/GPTQ — сжатие под видеокарту, abliterated — из модели убрали отказы. Куча приставок означает чью-то переделку, и хорошо бы понимать, чью.

Базовая модель. В карточке должно быть написано: «fine-tune of Qwen2.5-7B-Instruct». Нет этой строки — непонятно, что внутри.

Лицензия. apache-2.0 и mit — можно почти всё, включая коммерцию. llama3, gemma — свои условия, читать. cc-by-nc — только некоммерческое использование. other — открывать LICENSE руками.

Формат весов. safetensors и GGUF — данные, без исполняемого кода. pytorch_model.bin — это pickle, который умеет выполнять код при загрузке: только если доверяете источнику. Увидели pickle на незнакомом аккаунте — закрыли страницу.

Имя кванта. Q4_K_M — золотая середина: качество близко к оригиналу, размер терпимый. Q5–Q8 лучше, но тяжелее. Q2–Q3 — экономия, после которой модель заметно тупеет.

И арифметика, которая нужна чаще всего: 0,5–0,6 ГБ на миллиард параметров в Q4 плюс запас под контекст. Семь миллиардов — около 5 ГБ, значит карта на 8 ГБ подойдёт. Четырнадцать в Q4 — 10–12 ГБ.

Железо

эмбеддинги и поиск — процессор, справляется даже ноутбук;
генерация — GPU: 7–8B в Q4 укладывается в 6–8 ГБ VRAM, 14B — в 10–12 ГБ;
один мини-ПК с 16–32 ГБ памяти и одной видеокартой закрывает поддержку небольшой компании целиком, включая хранение и поиск;
сервер в офисе лучше облака ровно потому, что переписка и документы физически не покидают контур.

Ориентир по скорости тот же, что и в продажах: ответ за 2–5 секунд. Поиск по базе занимает десятки миллисекунд, всё остальное — генерация. Медленно — сначала сокращайте контекст.

Приватность и закон

Локальный контур снимает главный риск: данные клиентов и внутренние регламенты не уходят третьим лицам. Юридическую часть это не отменяет.

политика обработки персональных данных и понятное описание, что и сколько хранится;
уведомление в Роскомнадзор об обработке персональных данных, если вы обрабатываете данные клиентов;
журнал обращений и разграничение доступа: кто из сотрудников видит переписку и какие регламенты;
не все документы должны быть доступны первой линии.

С облачными ассистентами в этом месте добавляется трансграничная передача и отдельные договоры. Локальный вариант проще объяснить и проще защитить.

Что мерить

Эффект нужно замерять до запуска, иначе через месяц нечем доказать, что стало лучше. Две недели базовой линии — минимум.

Время первого ответа — обычно падает с часов до секунд.
Доля обращений, закрытых без человека — именно закрытых, а не «бот что-то ответил».
Доля эскалаций — близко к 100% значит ассистент бесполезен, близко к 0% значит он врёт клиентам.
Часы экспертов на повторяющихся вопросах — по журналу, а не на глаз.
Повторные обращения по той же теме — растут, значит отвечают формально.

Отдельно заведите список «ассистент не знал» с формулировками вопросов. Это готовый план того, что дописать в базу, и обычно он полезнее любого контент-плана.

Чек-лист запуска

Один продукт или один тип обращений для пилота.
Собрать документы и выкинуть устаревшее — иначе ассистент будет отвечать по мёртвым правилам.
Нарезать, проиндексировать, проверить поиск вручную на тридцати реальных вопросах.
Поднять модель, собрать промпт с обязательной ссылкой на источник.
Настроить правило «нет фрагмента — нет ответа» и эскалацию.
Подключить канал и журнал, снять базовую линию метрик.
Две недели читать диалоги и дописывать базу.
Расширять на другие продукты после этого.

Частые вопросы

Придётся ли переписывать базу знаний?

Нет, но почистить придётся. Ассистент не лечит противоречия в документах — он их озвучивает клиенту, причём уверенным тоном.

Модель не начнёт отвечать не по теме?

Поэтому и нужен RAG с правилом «нет источника — нет ответа». Голый чат без поиска по документам для поддержки не годится, какая бы модель внутри ни стояла.

Документов очень много — это проблема?

Объём влияет только на размер индекса. Начинать всё равно стоит с одного продукта: качество вычитки важнее охвата.

Можно поставить на уже имеющийся сервер?

Часто да. Машина с 16–32 ГБ памяти тянет эмбеддинги и хранение на процессоре, для генерации хватит одной видеокарты на 8–12 ГБ.

Что дальше

Про потери на другой стороне — в заявках и продажах — отдельный разбор: как не терять лиды с ИИ-обработкой заявок.

Хотите прикинуть свою схему — напишите боту: три вопроса, дальше я разбираю задачу и присылаю план.