Jan — без водяных знаков программа, ту-самую находка

Категория: AI-инструменты · Лицензия: AGPL · Платформа: Windows / macOS / Linux (зависит от программы)

Jan — это десктопный клиент для локальных LLM, который пытается выглядеть как ChatGPT, но крутить модели у тебя на машине без интернета и без OpenAI. Электрон, TypeScript, под капотом — собственный движок Cortex (форк llama.cpp с GGUF). Лицензия AGPLv3, разработчик — вьетнамская команда Menlo Research.

Что внутри

• Cortex — рантайм инференса. По умолчанию llama.cpp backend, можно подключить TensorRT-LLM для NVIDIA или ONNX Runtime.
• Model Hub — встроенный браузер моделей с Hugging Face. Кликаешь — качается GGUF в ~/jan/models/.
• OpenAI-совместимый API на localhost:1337/v1. Любая прога, которая умеет в OpenAI, работает с Jan без изменений — просто меняешь base_url.
• Threads — диалоги с историей, system prompt, температурой, top_p, повторными штрафами.
• Extensions — плагины на TS, можно подключать удалённые endpoint'ы (Groq, OpenRouter, Anthropic) рядом с локальными.

Железо

Минимум — 8 GB RAM для 3B моделей в Q4_K_M. Комфорт — 16 GB и видяха с 8+ GB VRAM. GPU offload через CUDA (NVIDIA), Metal (Apple Silicon идёт нативно и очень быстро), Vulkan (AMD/Intel). На M-серии маков Jan работает почти неприлично хорошо — 7B модель в Q4 даёт 30+ tok/s.

Зачем оно тебе

Один сценарий: код, переписки, документы, которые ты не хочешь отдавать в облако. Второй: оффлайн. Третий: бесплатно навсегда после скачивания модели. Четвёртый: эксперименты с моделями без аккаунтов и платежей.

Не жди уровня GPT-4. Локальные модели даже на топовом железе — это уровень GPT-3.5 в лучшем случае. Llama 3.1 8B в Q5 — хорошо для суммаризации, переписки, простого кода. Для сложных рассуждений — мало.

Установка

1. Качай с jan.ai — есть Windows (NSIS), macOS (universal dmg), Linux (AppImage, deb).
2. Запускай, при первом старте предложит скачать стартовую модель (Llama 3.2 3B, около 2 GB).
3. В Settings → Engines включи нужный backend (CUDA/Metal/Vulkan).
4. В Hub выбирай модели по размеру: до 4 GB — для слабого железа, 4-8 GB — для среднего, 8-20 GB — для жирных видях.

Альтернативы

LM Studio — закрытый исходник, но интерфейс приятнее. Ollama — CLI-first, без GUI. GPT4All — похожий по идее. Jan среди них самый «правильный» в смысле AGPL и API-совместимости.

Качай с jan.ai. Облако не нужно.