Все повече хора искат да пуснат локален AI модел на собствения си компютър – без абонамент, без интернет и без да пращат текстовете си към чужд сървър. Дали ще стане, зависи почти изцяло от едно число: колко памет има машината ви и колко от нея е бърза видеопамет.
Накратко
- Модел с 4 до 8 милиарда параметъра тежи 3–5 GB и върви на почти всеки компютър с 16 GB RAM.
- Видеопаметта е няколко пъти по-бърза от обикновената RAM, затова модел, който се побира изцяло във видеокартата, отговаря много по-бързо.
- За български език има и местен вариант – BgGPT 3 на INSAIT, който се сваля безплатно в размери 4B, 12B и 27B.
Паметта решава повече от процесора
Езиковият модел е огромен файл с числа, които трябва да се заредят в паметта, преди да напише и дума. Почти всички модели за домашна употреба се разпространяват компресирани до около 4 бита на параметър, което ги смалява приблизително четири пъти. Дори така моделът трябва да се побере целият, а отгоре е нужен резерв за самия разговор и за операционната система.
Скоростта зависи главно от това колко бързо паметта подава данни. Според разбор на Engadget, който цитира Nvidia, генерирането на текст е ограничено именно от паметта, а не от изчислителната мощ. Затова видеокарта с 8 GB върви добре с модели от 7–8 милиарда параметъра, докато същият модел само на процесора и RAM е осезаемо по-бавен. За удобно четене са достатъчни около 5–10 токена в секунда – горе-долу толкова, колкото човек чете.
Колко място заемат популярните модели
Размерите по-долу са от библиотеката на Ollama за стандартните 4-битови версии. Добавете поне няколко гигабайта отгоре, за да прецените колко памет ви трябва.
| Модел | Размер за изтегляне | Реалистичен компютър |
|---|---|---|
| Gemma 3 4B | 3,4 GB | лаптоп с 8–16 GB RAM |
| Llama 3.1 8B | 4,9 GB | 16 GB RAM или видеокарта с 8 GB |
| Gemma 3 12B | 8,2 GB | видеокарта с 12 GB или Mac с 16 GB |
| gpt-oss 20B | 14 GB | 16 GB памет по данни на OpenAI |
| Gemma 3 27B | 17 GB | 32 GB RAM или видеокарта с 24 GB |
| Llama 3.3 70B | 43 GB | работна станция с 64 GB и повече |
Моделът gpt-oss е отвореният модел на OpenAI. В описанието му в Ollama пише, че по-малката версия може да работи „на системи с едва 16 GB памет“, а голямата със 120 милиарда параметъра изисква сървърна видеокарта с 80 GB. Ако следите какво прави компанията, вижте и нашата страница за ChatGPT и OpenAI.
Компютър с Windows, Mac или лаптоп с NPU
Настолен компютър с Windows. Най-важна е видеопаметта. Карта с 8 GB е минимумът за удобна работа с малки модели, а 16 GB отварят вратата към моделите от 12 до 20 милиарда параметъра. LM Studio препоръчва поне 16 GB RAM и 4 GB видеопамет и изисква процесор с поддръжка на инструкциите AVX2.
Mac с Apple Silicon. Тук процесорът и графиката делят една обща памет, така че Mac с 32 GB може да зареди модел, за който на PC би ви трябвала скъпа видеокарта. LM Studio поддържа само чиповете M1 и по-нови, с macOS 14 или по-нова версия. Според тестове с llama.cpp, цитирани от Engadget, базовият M4 дава около 24 токена в секунда при модел със 7 милиарда параметъра – повече от достатъчно за четене.
Лаптоп с NPU. Невронните ускорители в новите Intel и Snapdragon лаптопи пестят батерия, но не всички програми ги използват. Ollama и LM Studio разчитат основно на процесора и видеокартата, а за NPU при Intel е нужен отделен инструментариум като OpenVINO.
А на български?
Малките модели се справят с български по-зле от големите облачни услуги, но разликата се стопява. Семейството Gemma 3 на Google поддържа над 140 езика. Българският институт INSAIT пък пусна през март BgGPT 3 – три отворени модела с 4, 12 и 27 милиарда параметъра, построени върху Gemma 3 и дообучени на български и английски. По собствените тестове на INSAIT версията 27B изпреварва по-големи модели като Qwen 3 235B на български текстове. В колекцията им в Hugging Face има и готови GGUF файлове, които LM Studio и Ollama зареждат директно.
Имайте едно наум: езикът влияе и на изчисленията. Ново изследване на 122 езика показа, че отговорът на български изразходва 2,5 пъти повече енергия от същия на английски – подробности има в статията ни за цената на AI отговорите на кирилица. У дома това означава по-бавни отговори на същия хардуер.
Първи стъпки за 15 минути
- Проверете колко RAM и видеопамет имате – в Windows от „Диспечер на задачите“ → „Производителност“, на Mac от „Относно този Mac“.
- Изтеглете LM Studio, ако искате прозорец с бутони, или Ollama, ако нямате нищо против командния ред.
- Изберете модел, чийто файл е поне с няколко гигабайта по-малък от свободната ви памет. За начало Gemma 3 4B е безопасен избор.
- В Ollama моделът се пуска с команда като
ollama run gemma3:4b; в LM Studio го търсите по име и натискате „Download“. - Ако отговорите идват бавно, минете към по-малък модел, вместо да затваряте всички други програми.
Кога има смисъл да купувате хардуер
За повечето хора – рядко. Engadget изчислява, че комплект от 32 GB DDR5 в САЩ струва колкото около две години абонамент за ChatGPT Plus или Claude Pro, а облачните модели остават по-умни. По индекса на Artificial Analysis най-добрите отворени модели с 27–31 милиарда параметъра стигат 39–42 точки срещу 57 за водещите облачни.
Локалният модел печели в друго: поверителността. Договор, медицински резултати или вътрешна фирмена информация никога не напускат компютъра ви. Ако вече имате геймърски компютър или Mac с поне 16 GB памет, опитайте безплатно, преди да харчите. А ако темата ви интересува, Nvidia също пусна модели Nemotron 3.5 за домашни компютри, а Perplexity вече работи изцяло локално на Mac.
Още практични съвети за изкуствения интелект ще намерите в рубриката AI в ежедневието.
