Совет для постапокалипсиса: как запустить ИИ, когда не будет интернета

Совет для постапокалипсиса, или Как запустить LLM локально, когда не будет интернета? Сделайте это ПРЯМО СЕЙЧАС.

Мы привыкли ежедневно использовать ИИ в работе. А теперь представьте, что интернета нет. ChatGPT, Claude, Gemini и другие сервисы работают в чужих дата-центрах. У нас есть доступ к мощным моделям, пока есть сеть. Что можно сделать на случай отсутствия интернета? Нужно использовать свой "дата-центр" и производить вычисления "локально", то есть на собственных вычислительных мощностях.

Вкратце: разница заключается в том, где работает модель и кому она принадлежит.

Claude (как и GPT, Gemini) — облачная закрытая модель. Сама модель — это файл с миллиардами чисел ("веса"), он хранится на серверах Anthropic. Вы его никогда не видите. Текст отправляется через API → на их серверах вычисляется ответ → вам возвращается результат. Как электричество из розетки: пользуетесь, но электростанция не ваша.

Локальная модель — это тот же файл с весами, но он хранится у вас на Mac. Вы загружаете файл (условно 5–100 ГБ), запускаете программу для его обработки — и все вычисления происходят непосредственно на вашем процессоре или видеокарте. Интернет не нужен, а ваши данные никуда не передаются.

Что такое открытая модель? В этом вопросе часто возникает путаница.

Open weights (открытые веса) — компания предоставляет сам файл модели в свободный доступ. Скачивайте, запускайте, дообучайте, внедряйте в свой продукт. Но как именно ее обучали, на каких данных и с помощью какого кода — не сообщают. Это 95% того, что люди называют "открытыми моделями": Llama (Meta), Qwen (Alibaba), DeepSeek, Mistral, Gemma (Google), gpt-oss (OpenAI).

Open source в истинном смысле слова — когда открыты также данные, код обучения и алгоритм. Таких проектов мало и они менее эффективны.

Закрытая — Claude, GPT, Gemini. Веса не существуют нигде, кроме серверов компании.

Важно Человеческие отношения в цене: к чему приводит повсеместное распространение ИИ

То есть "открытая" ≈ "у вас есть сам движок", а не "вы знаете, как его собрали". И лицензии тоже разные: у Llama есть ограничения на очень большие продукты, у Qwen/Mistral преимущественно Apache 2.0 (делайте, что хотите, даже в коммерческих целях).

Как мне использовать открытые модели локально?

Главное — это легко.

Для этого я использую LM Studio. Программа бесплатная, работает на macOS, Windows и Linux. Загрузите нужную модель на компьютер — и дальше можете работать с ней без интернета.

Я установил три модели на MacBook Pro M4 Pro с 24 ГБ памяти:

• Qwen3.8 9B Heretic Uncensored — 6,3 ГБ;
• Ornith 1.5 9B Uncensored 8bit — 10,5 ГБ;
• google/gemma-4-e4b — 6,9 ГБ.

Мне нравится иметь несколько моделей, потому что они могут по-разному ошибаться и по-разному интерпретировать один и тот же вопрос. Это, кстати, хороший способ проверять ответы. Если несколько разных моделей дают одинаковый результат, я доверяю им больше. Если ответы сильно отличаются — стоит проверить информацию отдельно.

Сколько требуется памяти?

Для локальных моделей важна именно оперативная память.

Примерно:

• 16 ГБ — позволяет комфортно работать с моделями объемом около 9B в 4-битном формате;
• 24 ГБ — можно использовать модели размером 9B в 8-битном формате или более крупные модели;
• 32 ГБ и более — появляется возможность работать с моделями размером около 27B.

Зачем это устанавливать?

Ведь если наступит конец света, станет чуть спокойнее: вы будете знать, как перевязать рану, починить двигатель или что-то ещё. Ну а может, не конец света, а конец интернета — тоже пригодится.

Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные материалы в рубрике "Мнения" несет автор.

Источник

Важно ИИ идет в политику: как новая модель поможет создать народное государство