Ollama — open-source программа, культовая находка

Категория: AI-инструменты · Лицензия: MIT · Платформа: Windows / macOS / Linux (зависит от программы)

Ollama — одна команда, и языковая модель работает у вас на компьютере

Долгое время локальный запуск нейросети выглядел как трёхчасовой квест с питоновскими окружениями, версиями CUDA и чужими скриптами. Ollama сократила это до строчки в терминале. Написали ollama run llama3 — модель скачалась и с вами разговаривает. Всё.

Как устроено

Ollama — это фоновая служба плюс клиент. Служба держит модели, управляет памятью, выгружает неиспользуемое, выставляет локальный HTTP-интерфейс. Клиент даёт консольный чат и команды управления. Под капотом работает llama.cpp, но вам об этом знать не обязательно.

Модели хранятся в собственном реестре и описываются Modelfile — небольшим файлом в духе Dockerfile: базовая модель, системный промпт, параметры температуры и контекста, шаблон диалога. Свою настроенную версию создают одной командой и запускают по имени.

Что можно запустить

Библиотека содержит сотни открытых моделей: Llama, Mistral, Gemma, Qwen, Phi, DeepSeek, Command R, а также специализированные — для кода, для эмбеддингов, мультимодальные с распознаванием изображений. Каждая доступна в нескольких размерах и уровнях квантования, от компактных вариантов на пару гигабайт до тяжёлых на десятки.

API

Служба слушает локальный порт и отвечает по протоколу, совместимому с OpenAI. Это значит, что готовые библиотеки и приложения переключаются на локальную модель сменой одного адреса. Есть официальные клиенты для Python и JavaScript. Отсюда растёт вся экосистема: графические оболочки, плагины к редакторам кода, RAG-системы над своими документами, автоматизация в n8n и подобных.

Железо

Работает на процессоре, но заметно быстрее с видеокартой — NVIDIA через CUDA, AMD через ROCm, Apple Silicon через Metal. Практическое правило: нужен объём памяти чуть больше размера файла модели. Модель на семь миллиардов параметров в четырёхбитном квантовании укладывается примерно в пять гигабайт и бодро идёт на обычной игровой карте.

Зачем это вообще

Данные не покидают машину — важно для медицины, юриспруденции, коммерческой тайны и просто личных заметок. Нет оплаты за токены. Нет лимитов и очередей. Работает без интернета. И нет цензурных фильтров внешнего сервиса, что для некоторых исследовательских задач принципиально.

Чего не будет

Локальные модели уступают лучшим облачным по качеству рассуждений и знаниям. Контекст меньше. Скорость зависит от вашего железа. Это компромисс, и он осознанный.

Платформы и лицензия

Windows, Linux, macOS, официальный Docker-образ. MIT, бесплатно, открытый код.