Как читать карточку модели: лицензии, форматы, кванты

Модель скачивают за тридцать секунд и выясняют подробности через месяц: то лицензия запрещает коммерческое использование, то файл весов умеет выполнять код при загрузке, то на карте не хватает памяти. Карточка модели отвечает на все эти вопросы — если знать, куда смотреть. Шесть пунктов, две минуты.

1. Кто выложил

Первый фильтр — автор. Организация (Qwen, Meta, Mistral, Google) — один уровень доверия. Известный квантователь вроде bartowski — другой, тоже нормальный: он пересобирает модели аккуратно и предсказуемо. Случайный аккаунт с тремя скачиваниями — вопрос, на который у вас, скорее всего, нет ответа.

Это не паранойя. Вы ставите эти веса в продукт, который приносит деньги, и живёте с последствиями сами.

2. Читаем название как конструктор

Название модели — это не бренд, а набор флагов. Каждый что-то обещает.

Флаг	Что значит
`Base`	сырая модель, без инструкций; для дообучения, не для чата
`Instruct`, `Chat`	уже обучена отвечать на инструкции — это то, что нужно в 90% случаев
`GGUF`	формат для локального запуска: llama.cpp, Ollama, LM Studio
`AWQ`, `GPTQ`	сжатие под видеокарту, обычно чуть быстрее GGUF на GPU
`abliterated`, `heretic`	из модели убрали отказы; для продукта с клиентами почти всегда мимо
`-ru`, `-russian`	дообучение под русский; качество надо проверять, обещание ничего не гарантирует

Куча приставок в названии — значит это чья-то переделка поверх переделки. Не обязательно плохо, но полезно понимать, чья именно.

3. Базовая модель

В карточке должна быть строка вида «fine-tune of Qwen2.5-7B-Instruct». Если её нет, непонятно, что внутри: на чём обучено, какой контекст, какая лицензия у оригинала.

Отдельно смотрите на размер и контекст. «7B, 32k контекста» и «7B, 4k контекста» — разные инструменты: на 4k вы не вставите инструкцию с регламентом.

4. Лицензия — пункт, из-за которого бывают проблемы

Лицензия	Что можно
`apache-2.0`, `mit`	почти всё, включая коммерческое использование
`llama3`, `gemma`	можно, но со своими условиями: читать, там есть ограничения
`cc-by-nc-*`	только некоммерческое использование
`other`, `custom`	открыть файл LICENSE и читать руками

Классическая история: модель скачали, поставили в коммерческий продукт, а у неё cc-by-nc. Это стало проблемой того, кто поставил, а не того, кто выложил. Проверяется за пять секунд и однажды спасает проект.

5. Формат весов: где начинается безопасность

safetensors — просто данные, без исполняемого кода. Безопасно.
GGUF — тот же принцип, формат для локального запуска. Безопасно.
pytorch_model.bin, любые .bin — это pickle. Он умеет выполнять код при загрузке файла.

Правило простое: увидели pickle на незнакомом аккаунте — закрыли страницу. Если очень нужно, гоняйте в изолированном контейнере без доступа к сети и к вашим данным.

6. Квант и арифметика памяти

Квант — это степень сжатия. Имя кванта говорит, сколько вы потеряли в качестве и сколько сэкономили памяти.

Q4_K_M — золотая середина: качество близко к оригиналу, размер разумный. Начинать надо с него.
Q5_K_M, Q6_K, Q8_0 — лучше качество, больше вес. Имеет смысл, когда памяти хватает.
Q2_K, Q3_K — заметная экономия и заметное поглупение. Для чата с клиентами не надо.

Прикидка, которой я пользуюсь: примерно 0,5–0,6 ГБ на миллиард параметров в Q4, плюс запас под контекст.

Модель в Q4	Вес	Что нужно
7–8B	~5–6 ГБ	карта на 8 ГБ, комфортно
14B	~9–10 ГБ	карта на 12 ГБ, впритык на 12
32B	~20–22 ГБ	карта на 24 ГБ или две поменьше

Запас под контекст — это KV-кэш: длинный контекст съедает ещё гигабайт-два, и именно на нём люди упираются в «модель не влезает», хотя по весам всё считалось красиво. Поэтому первое, что стоит сокращать при нехватке памяти, — длина контекста, а не модель.

Быстрая проверка

Автор — организация или известный квантователь?
В названии Instruct/Chat и формат под ваш рантайм?
Есть строка про базовую модель?
Лицензия разрешает то, что вы собираетесь делать?
Формат весов — safetensors или GGUF, а не .bin?
Квант Q4_K_M и веса влезают в вашу память с запасом на контекст?

Шесть ответов — две минуты. Дешевле, чем переделывать продукт.

Частые вопросы

Q4 сильно хуже оригинала?

Для чата, квалификации заявок и ответов по базе знаний — разница на глаз не видна, а памяти нужно вдвое меньше. Для генерации кода и длинных рассуждений лучше взять Q5–Q6 или модель побольше в том же кванте.

Модель с русским в названии — точно хорошо говорит по-русски?

Нет. «Русская» модель может быть дообучена на переводе и звучать как перевод. Проверять надо на своих десяти-двадцати реальных вопросах, а не на демо из карточки.

Что делать, если нужной модели нет в GGUF?

Конвертировать самому через llama.cpp — стандартная операция, но результат зависит от рук. Если модель важна для продукта, проще взять ту, для которой GGUF уже собран известным квантователем.

Хватит ли 8 ГБ видеопамяти?

Для 7–8B в Q4 — да, с коротким контекстом. Для 14B — нет. На процессоре 7B тоже запустится, но со скоростью 3–8 токенов в секунду: короткий структурированный ответ ещё терпимо, диалог — уже нет.

Что дальше

Как это железо встраивается в работу с заявками — ИИ-обработка лидов на своём железе. Как из модели сделать справочник по вашим документам — ИИ в техподдержке без облака.

Нужна помощь с выбором железа под задачу — напишите боту.