# Локальный AI-ассистент на двух GPU: как собрать дома
Каноническая страница: https://plainews.ru/posts/kak-ya-sozdaval-personalnogo-assistenta-na-domashnem-zheleze
Опубликовано: 2026-09-18T14:00:28.252Z

Как собрать приватного AI-ассистента на двух RTX 4070 по 12 ГБ: какие модели 9B–27B тянет связка, anythingLLM, RAG с графовой памятью, голос и MCP.
Многие хотят помощника, который разбирается в личных документах, почте и календаре, но не отправляет данные в облако. Облачные сервисы стоят денег и бывают недоступны — локальная сборка на домашнем железе закрывает оба вопроса.

Главный вывод из опыта такой сборки: гнаться за самыми большими моделями не нужно. Для персонального ассистента хватает моделей на 9B–27B параметров. Полезной локальную модель делает не «чистый интеллект», а долговременная память, инструменты и доступ к реальному окружению пользователя.

## Что должен уметь ассистент

Требования к системе в описанной сборке:

- работать с документами разных форматов, находить связи между ними и показывать их графически;
- взаимодействовать с внешним миром: Google (календарь, Gmail, Drive), Telegram — и как бот, и от имени владельца, внешние базы данных;
- накапливать знания и подстраиваться под пользователя;
- работать голосом на родном языке владельца: транскрибировать, обрабатывать текст моделью и переводить;
- быть автономным 24/7 и самому инициировать действия — например, считывать данные умного дома и датчиков.

Фокус — на агентских способностях, а не на замене облачного чат-бота. Модели крупнее 35B не нужны, а большую часть времени видеокарты простаивают. Это снижает требования к железу и энергопотреблению.

## Железо: почему две карты, а не одна топовая

Десктопные платформы от рабочих станций отличает число линий PCIe: 24–28 против 64–128, при разнице в цене в 3–5 раз. Поэтому в домашнем ПК реалистичны одна или две видеокарты.

У связки из двух карт есть цена:

- обе работают в режиме x8/x8, и пропускная способность шины на карту падает вдвое: для PCIe 5.0 это 31,5 ГБ/с вместо 63 ГБ/с, для PCIe 4.0 x8 — около 15,75 ГБ/с;
- модель режется на две части (pipeline parallelism): сначала считается первая часть на одной GPU, данные уходят по шине, затем вторая часть — на другой, и на этом теряется ещё часть скорости;
- Windows использует один драйвер для обеих GPU, поэтому карты лучше брать одного поколения.

Топовые карты при этом невыгодны: RTX 5090 стоит примерно в 4 раза дороже 5080, а по производительности и объёму VRAM выигрывает меньше чем вдвое. Интереснее Ti/Super-версии 5060, 5070 и 5080: пара таких карт даёт до 48 ГБ VRAM.

### Тестовая конфигурация

| Компонент | Что использовалось |
| --- | --- |
| ПК | два компьютера на i7 под Windows, 64 и 32 ГБ RAM, объединены в кластер |
| GPU | RTX 4070 Super и RTX 4070 Ti по 12 ГБ, всего 24 ГБ VRAM; плюс RTX 3080 на 10 ГБ |
| Блок питания | 850 Вт — оказалось достаточно |
| Варианты | обе 4070 в одном ПК и 3080 во втором; либо 4070 в разных ПК без 3080 |

### Энергопотребление и охлаждение

Каждая 4070 в работе потребляла 110–120 Вт и не нагревалась выше 50–60 °C. Но при вертикальном корпусе тепло от нижней карты дополнительно греет верхнюю. Корпус лучше положить горизонтально и обеспечить интенсивный воздухообмен.

Ориентиры для более мощных пар при полной нагрузке:

| Конфигурация | Ожидаемое потребление |
| --- | --- |
| 2× RTX 5070 Ti | около 800 Вт |
| 2 карты уровня RTX 5080 | около 1 кВт |
| 2× RTX 5090 | около 1,5 кВт, нужно жидкостное охлаждение |

Без вычислений вся система потребляет 50–70 Вт.

## Софт: anythingLLM как база

Для агентской части тестировались три фреймворка с разной философией: anythingLLM, crewAI и openClaw. Итог: одному пользователю нужен один агент, который меняет роли и выполняет цепочки глубиной 3–4 шага. Выбор пал на anythingLLM — работа с документами и RAG там уже реализована.

Модели запускались через Ollama и LM Studio: anythingLLM подключает оба как LLM-провайдеров. Скорость генерации у них заметно различается даже на одной и той же модели.

## Какие модели запускать

Модели распределены по ролям:

| Роль | Размер модели |
| --- | --- |
| Микроагент для вызова функций | 0,4B–2B |
| Младший агент | 8B–9B |
| Средний агент | 12B–14B |
| Старший агент | 26B–32B |

Тестировались Qwen, Gemma, Ministral и другие. Контекст для работы с документами — 30–40 тыс. токенов. Результаты на паре 4070 Super + 4070 Ti (модель, как правило, делится между картами поровну):

| Модель, квантование | VRAM | Контекст | Скорость, ток/с |
| --- | --- | --- | --- |
| DeepSeek-R1-Distill-Qwen-32B, Q4_K_S | 18,8 ГБ | 4k | 23,4 (LM Studio) |
| Qwen 27B, Q4_0 | 17–19 ГБ | 32k–50k | 27,3 (Ollama), 58,4 (LM Studio) |
| Qwen 27B, Q4_K_L | — | 32k | 54,3 (LM Studio) |
| Qwen 27B, UD-Q5_K_M | 19–22 ГБ | 4k–32k | 17,3–23,2 (Ollama) |
| Gemma-4-26B, Q4_K_M | 18 ГБ | 8k | 93,26 (Ollama) |
| Qwen3-14B, Q4_K_M | 15 ГБ | 32k | 48,8 (Ollama) |
| Qwen3.5-9B, Q5_K_M | 8,2 ГБ | 32k | 64,52 (Ollama) |

У 27B в Q5 при контексте 8k и 32k 5–7% модели уже уходит на CPU; целиком в видеопамять она влезает только с контекстом 4k. Для 27B-моделей в целом скорость комфортная — больше 25 ток/с.

> **Важно.** Граница выгрузки в оперативную память — 19–20 ГБ. nvidia-smi показывает 22 ГБ свободной VRAM, но проверка в Ollama и LM Studio показала: под модель и контекст реально доступно около 19,5 ГБ. Подбирайте квантование и длину контекста с этим запасом.

Младшего агента вроде Qwen3.5-9B полностью хватает на управление инструментами, включая перевод. Он отвечает мгновенно, держит цепочки действий и помещается на одну 4070. Старшие модели на двух GPU дают более глубокий анализ: при построении дорожной карты по документу 9B предложила линейную структуру, а 27B — нелинейности, больше критических точек и замечаний.

## Память: RAG плюс граф

Простого RAG мало — ассистент должен помнить связи между фактами. Поэтому памяти две:

- **векторная** — LanceDB, встроенная в anythingLLM;
- **графовая** — официальный MCP Memory server.

Агентский flow в anythingLLM записывает данные в обе памяти одновременно. Какие сущности, наблюдения и связи между ними сохранять, модель решает сама.

MCP-серверы в anythingLLM регистрируются в файле plugins/anythingllm_mcp_servers.json внутри каталога хранилища. Официальный сервер памяти подключается так (для npx нужен установленный Node.js):

```json
{
  "mcpServers": {
    "memory": {
      "command": "npx",
      "args": ["-y", "@modelcontextprotocol/server-memory"]
    }
  }
}
```

## Инструменты и интеграции

- **Google Workspace** (почта, календарь, Drive) — через google-workspace-mcp с авторизацией OAuth 2.0. OAuth-клиент для него создаётся в Google Cloud Console.
- **Telegram** — как бот и от имени пользователя. Бот пишет только о нештатных ситуациях, подробный отчёт присылает по запросу.
- **Умный дом и датчики** — через небольшой самописный MCP-сервер на Python для данных реального времени.
- **Графика** — Mermaid MCP вместо встроенного в anythingLLM генератора графиков на Recharts; для картинок — SD-Turbo-GGUF через Lemonade и Stable Diffusion Forge в Stability Matrix.

Свободно ходить по интернету агенту запрещено: к внешним сервисам он обращается только через прослойку MCP-серверов.

> **Важно.** Самыми трудоёмкими частями оказались google-workspace-mcp с OAuth 2.0 и локальный синтез речи. Здесь выручили облачные ассистенты — Gemini, ChatGPT и Claude: они итеративно переписывали MCP-сервер, перенастраивали Windows и ставили недостающие пакеты.

## Голос и работа 24/7

- **Распознавание речи** — whisper-large-v3 через Lemonade: транскрибирует в реальном времени почти без задержки.
- **Синтез речи** — Piper через Speaches в Docker.
- **Диктовка в сторонних программах** — typeWhisper на тех же моделях Lemonade.

Весь AI-стек запускается одним BAT-файлом и работает в фоне, не мешая обычной работе за ПК.

Связка «транскрибер + LLM» оказалась самой востребованной: текст надиктовывается, модель убирает ошибки и переводит. Набор текста, по ощущениям владельца, ускоряется примерно в 10 раз. Голосовое управление календарём и брифинги по почте экономят по 10–15 минут на каждой такой задаче.

## Подводные камни

- **Ложные отчёты.** Ассистент иногда сообщает, что задача выполнена, хотя инструменты даже не вызывал. Сверяйтесь со списком вызовов в системном чате. Возможное решение — дообученный микроагент для запуска инструментов под контролем младшего агента.
- **Нет процедурной памяти.** Агенты не запоминают удачные последовательности действий. Частично спасают workflow и skills для повторяющихся цепочек и журнал работы каждого агента в .md, но нужен более формальный механизм.
- **Переполнение инструментов.** Лишние инструменты забивают контекстное окно. Встроенный селектор может отключить нужный инструмент в неподходящий момент, поэтому его не используют: у агента только уникальные инструменты, часть объединена в skills.
- **Промпт-инъекции.** Защита от них — острая проблема. Неконтролируемые обновления всех инструментов исключены.
- **Простой второй GPU.** Если модель помещается на одну карту, вторая почти всё время простаивает.

## Итоговая конфигурация

Для моделей до 27B достаточно одной карты с 24 ГБ VRAM или двух по 16 ГБ. При текущих ценах пара 16-гигабайтных карт выходит примерно вдвое дешевле одной топовой на 24 ГБ, а скорость 25–30 ток/с для диалога приемлема.

Установка заняла около недели, железо обошлось в ноль — использовалось то, что уже было. Похожие коммерческие сервисы стоят $20–40 в месяц. Заметного роста энергопотребления по сравнению с обычным использованием ПК не было.

Система на вырост — две карты 5070–5080 Ti/Super с суммарными 48 ГБ под 70B-модели, которые в отдельных задачах сопоставимы с ранними версиями GPT-4. Дальше цена прыгает ещё в 4–5 раз.

## FAQ

### Какая минимальная конфигурация видеокарт подойдёт?

Для моделей до 27B — одна карта на 24 ГБ или две по 16 ГБ. Описанная сборка работает на двух RTX 4070 по 12 ГБ, а младшей модели на 9B хватает и одной такой карты.

### Нужно ли использовать именно anythingLLM?

Нет, но в нём уже есть работа с документами, RAG и агенты. crewAI и openClaw тоже тестировались, однако для одного пользователя хватило одного агента с цепочками в 3–4 шага.

### Какие модели брать?

Модель на 9B вроде Qwen3.5-9B — для управления инструментами и перевода, 14B — для среднего уровня, 26–32B — для анализа документов. В квантовании Q4 старшие модели целиком помещаются в 24 ГБ двух карт; Q5 с длинным контекстом частично уходит на CPU.

### Сколько энергии потребляет система?

Без нагрузки — 50–70 Вт на всю систему, в работе — 110–120 Вт на каждую 4070. Заметного роста потребления по сравнению с обычным использованием ПК не было.

### Можно ли подключить умный дом?

Да. Для этого написан небольшой MCP-сервер на Python, который отдаёт агенту данные датчиков в реальном времени. О нештатных ситуациях ассистент сообщает через Telegram-бота.

## Источники

- Habr AI: Как я создавал персонального ассистента на домашнем железе