18 ноября 2026 г.

RAG на VPS без GPU: Qdrant и эмбеддинги Ollama для вопросов по своим документам

Qdrant и Ollama отвечают по вашим документам на VPS без GPU. Скрипты, замеры на 2 vCPU и три ошибки, которые мы поймали.

RAG — это способ заставить языковую модель отвечать по вашим документам, а не по памяти. Мы собрали его на обычном VPS с 2 vCPU и 4 ГБ памяти, без видеокарты: Qdrant хранит смысловой индекс, Ollama считает эмбеддинги и пишет ответ. Показываем всё как есть: команды, код, замеры и три места, где система ошиблась. Эти ошибки полезнее удачных ответов.

Коротко. Документы режем на куски по ~800 знаков, каждый превращаем в вектор из 768 чисел моделью nomic-embed-text и кладём в Qdrant. На вопрос ищем 4-6 ближайших кусков и отдаём их модели вместе с вопросом. На нашем сервере: 234 куска (141 тыс. знаков) проиндексировались за 322 секунды, поиск занимает 3-6 мс, а ответ модели на 1B-3B параметров — от 17 секунд до двух минут. Поиск быстрый, узкое место — генерация. Для фонового помощника по документам этого хватает, для живого чата нет.

Что такое RAG и зачем он на своём сервере

RAG (retrieval-augmented generation, «генерация с поиском») — схема из двух шагов. Сначала система находит в ваших документах несколько фрагментов, похожих на вопрос по смыслу. Потом отдаёт их языковой модели со словами «отвечай только по этому». Модель ничего не «учит»: свежие документы просто подкладываются ей в запрос.

Зачем это нужно, если есть обычный поиск по тексту? Поиск по словам не найдёт «как не оставить сервис без пароля», если в документе написано «авторизация через обратный прокси». Поиск по смыслу найдёт. А держать всё на своём VPS стоит, когда документы нельзя отдавать внешнему сервису: внутренние инструкции, договоры, переписка с клиентами.

Два термина, которые будут дальше. Эмбеддинг — вектор из сотен чисел, который модель строит для текста так, что близкие по смыслу тексты получают близкие векторы. Векторная база (у нас Qdrant) хранит эти векторы и быстро находит ближайшие к вектору вопроса.

Что понадобится

  • VPS с Ubuntu 24.04. Мы брали 2 vCPU, 4 ГБ ОЗУ, 40 ГБ SSD (линейка Standard). Видеокарта не нужна.
  • Ollama. Если её ещё нет, сначала пройдите нашу статью «Ollama на VPS»: там установка, служба и защита порта.
  • Docker для Qdrant. Qdrant можно запустить и бинарником, но в контейнере проще обновлять и сносить.
  • Python 3. Скрипты ниже используют только стандартную библиотеку, ставить пакеты не придётся.

Про память сразу, чтобы не удивляться. В нашем замере Qdrant с 234 точками занимал 26 МБ, эмбеддинг-модель в памяти — 389 МБ, чат-модель на 3 млрд параметров — 2,2 ГБ. Всё вместе почти съело 4 ГБ: оставалось около 700 МБ запаса. На 8 ГБ жить заметно спокойнее.

Шаг 1. Две модели в Ollama

Нам нужны две разные модели. Первая, nomic-embed-text, не пишет текст, а только превращает его в вектор: она маленькая и быстрая. Вторая — обычная чат-модель, которая сформулирует ответ. Для начала берём совсем лёгкую llama3.2:1b.

Колонка SIZE — размер файла на диске. В памяти модель занимает чуть больше: эмбеддинг-модель у нас показывала 389 МБ при размере файла 274 МБ.

Шаг 2. Qdrant в Docker, только для себя

Запускаем Qdrant и сразу привязываем порт к 127.0.0.1. Это принципиально. Docker публикует порты в обход правил ufw, и без явного адреса база окажется открытой всему интернету, причём без пароля. Любой желающий сможет читать и стирать ваши документы.

Параметр -v выносит данные на диск сервера: если контейнер пересоздать, индекс останется. Ответ с версией означает, что база жива. Пустая, она занимает около 22 МБ.

Шаг 3. Индексация: режем, считаем векторы, кладём в базу

Скрипт ниже читает все .txt из папки, режет их на куски, считает вектор для каждого и отправляет в Qdrant. Что здесь важно понимать:

  • Размер куска — 800 знаков с перехлёстом 120. Слишком мелкие куски теряют смысл, слишком крупные размывают вектор и забивают запрос модели. Режем по абзацам, а не по знакам, чтобы не рвать предложения.
  • Размерность 768 — столько чисел выдаёт nomic-embed-text. Коллекцию нужно создать под ту же размерность.
  • Префикс search_document: — по описанию модели, она обучена различать «документ» и «вопрос» по такому префиксу. У вопроса дальше будет search_query:. Без префиксов, по описанию модели, поиск работает хуже.
  • Косинусная метрика (Cosine) — сравнивает направление векторов, а не длину. Для текстовых эмбеддингов это обычный выбор.
#!/usr/bin/env python3# index.py: индексация папки с .txt в Qdrant через эмбеддинги Ollamaimport json, os, sys, time, urllib.request, globOLLAMA = "http://127.0.0.1:11434"QDRANT = "http://127.0.0.1:6333"COLL = "docs"DOCS = sys.argv[1] if len(sys.argv) > 1 else "/root/ragdemo_docs"SIZE, OVERLAP = 800, 120def post(url, body, method="POST"):    req = urllib.request.Request(url, data=json.dumps(body).encode(), method=method,                                 headers={"Content-Type": "application/json"})    return json.load(urllib.request.urlopen(req, timeout=600))def chunks(text):    parts, cur = [], ""    for p in text.split("\n\n"):        p = p.strip()        if not p:            continue        if len(cur) + len(p) + 2 > SIZE and cur:            parts.append(cur)            cur = cur[-OVERLAP:] + "\n\n" + p        else:            cur = (cur + "\n\n" + p) if cur else p    if cur:        parts.append(cur)    return partsitems = []for path in sorted(glob.glob(os.path.join(DOCS, "*.txt"))):    name = os.path.basename(path)[:-4]    for i, c in enumerate(chunks(open(path, encoding="utf-8").read())):        items.append((name, i, c))print("файлов:", len(set(i[0] for i in items)), "кусков:", len(items))try:    post(f"{QDRANT}/collections/{COLL}", {}, method="DELETE")except Exception:    passpost(f"{QDRANT}/collections/{COLL}", {"vectors": {"size": 768, "distance": "Cosine"}}, method="PUT")t0 = time.time()B = 16for s in range(0, len(items), B):    batch = items[s:s + B]    emb = post(f"{OLLAMA}/api/embed", {"model": "nomic-embed-text",                                        "input": ["search_document: " + b[2] for b in batch]})["embeddings"]    pts = [{"id": s + j, "vector": emb[j], "payload": {"doc": b[0], "n": b[1], "text": b[2]}}           for j, b in enumerate(batch)]    post(f"{QDRANT}/collections/{COLL}/points?wait=true", {"points": pts}, method="PUT")    print(f"  {min(s + B, len(items))}/{len(items)}", flush=True)dt = time.time() - t0print(f"готово за {dt:.1f} с, {len(items) / dt:.1f} кусков/с")

Обратите внимание на payload: вместе с вектором мы храним сам текст куска и имя файла. Qdrant возвращает вектор-близость, а читать модели нужен именно текст. Скрипт каждый раз пересоздаёт коллекцию, поэтому обновить базу значит просто запустить его ещё раз.

В роли документов мы взяли шесть наших же статей блога: про Ollama, OOM killer, деплой без простоя, VPS и VDS, LiteLLM и AnythingLLM.

Вот первая цифра, которую стоит запомнить: 0,7 куска в секунду. Пять минут на 141 тыс. знаков. Для сотни страниц это терпимо, для гигабайта документов — уже нет, считайте заранее. Зато сам индекс компактный: 2,3 МБ на диске.

Язык тоже влияет на скорость. Те же шесть статей в английских версиях (223 куска, 135 тыс. знаков) модель обработала за 121 секунду, 1,8 куска в секунду. Русский текст, по-видимому, разбивается на заметно больше токенов, и та же модель считает его примерно в 2,5 раза медленнее.

Шаг 4. Вопрос: поиск и ответ

Второй скрипт делает три вещи: превращает вопрос в вектор (с префиксом search_query:), просит Qdrant дать ближайшие куски и собирает из них запрос для чат-модели. Ключевая строка — инструкция «отвечай только по фрагментам; если ответа нет, так и скажи». Без неё модель охотно отвечает из памяти.

#!/usr/bin/env python3# ask.py: вопрос -> поиск в Qdrant -> ответ модели по найденным кускамimport json, os, sys, time, urllib.requestOLLAMA = "http://127.0.0.1:11434"QDRANT = "http://127.0.0.1:6333"q = sys.argv[1]MODEL = sys.argv[2] if len(sys.argv) > 2 else "llama3.2:1b"TOP = int(os.environ.get("TOP", "4"))def post(url, body):    req = urllib.request.Request(url, data=json.dumps(body).encode(), headers={"Content-Type": "application/json"})    return json.load(urllib.request.urlopen(req, timeout=900))t = time.time()v = post(f"{OLLAMA}/api/embed", {"model": "nomic-embed-text", "input": ["search_query: " + q]})["embeddings"][0]t_emb = time.time() - tt = time.time()hits = post(f"{QDRANT}/collections/docs/points/search", {"vector": v, "limit": TOP, "with_payload": True})["result"]t_search = time.time() - tprint(f"эмбеддинг вопроса: {t_emb * 1000:.0f} мс, поиск в Qdrant: {t_search * 1000:.0f} мс")for h in hits:    p = h["payload"]    print(f"  {h['score']:.3f}  {p['doc']} #{p['n']}")context = "\n\n---\n\n".join(h["payload"]["text"] for h in hits)prompt = ("Отвечай только по приведённым фрагментам. Если ответа в них нет, так и скажи.\n\n"          f"Фрагменты:\n{context}\n\nВопрос: {q}\nОтвет:")t = time.time()r = post(f"{OLLAMA}/api/generate", {"model": MODEL, "prompt": prompt, "stream": False,                                    "options": {"temperature": 0.2, "num_ctx": 4096}})print(f"\nОТВЕТ ({MODEL}, {time.time() - t:.1f} с, {r['eval_count']} токенов, "      f"{r['eval_count'] / (r['eval_duration'] / 1e9):.1f} ток/с):")print(r["response"].strip())

Параметр temperature 0,2 делает ответы менее «творческими», а num_ctx задаёт, сколько текста модель вообще способна прочитать за раз.

Первый вопрос — про OOM killer, ответ на который в корпусе точно есть:

Поиск отработал отлично: три из четырёх кусков — из статьи про OOM killer, оценки 0,80-0,86. А вот ответ вышел куцым. Ответ на «как понять, что он сработал» модель на 1 млрд параметров не дала. Из 17 секунд на сами 17 токенов ушло около двух, остальное время — загрузка модели и чтение четырёх фрагментов.

Замеры на 2 vCPU

Этап

Что получили

Эмбеддинг одного вопроса

149-177 мс (при холодной модели один раз 513 мс)

Поиск в Qdrant по 234 кускам

3-6 мс

Индексация

0,7 куска/с (322 с на 234 куска)

Ответ llama3.2:1b

17-23 с, 8-11 токенов/с

Ответ qwen2.5:3b

89-131 с, 4,6-5,1 токена/с

Память, 3B + эмбеддинг + Qdrant

около 3,1 из 3,8 ГБ, доступно около 700 МБ

Вывод из таблицы простой: поиск — самая дешёвая часть. Платить приходится за генерацию, причём чем больше модель и чем больше кусков вы ей отдали, тем дольше ждать. Модель на 3 млрд параметров отвечает за полторы-две минуты — это уже режим «задал вопрос и пошёл за чаем», а не чат.

Где RAG ломается: три ошибки, которые мы поймали

Ошибка 1. Нужный кусок не попал в выдачу

Спросили: «Как открыть Ollama наружу и не оставить её без пароля?» Ответ на это есть в статье про Ollama (схема с Caddy и Basic Auth). Но среди четырёх найденных кусков его не оказалось:

Модель «ответила», но не по нашим материалам: про Let's Encrypt, Apache и порт 443, и в конце заявила, что пароль не нужен — ровно наоборот тому, о чём спрашивали. Фрагментов с нужным ответом у неё просто не было, а инструкция «отвечай только по фрагментам» маленькую модель не остановила.

Нужный кусок оказался на 6-м месте. Мы посмотрели выдачу глубже, вот первые 8 позиций:

Оценки с первого по восьмое место лежат в узкой полосе 0,75-0,79: поиск почти не различает «подходит» и «похоже». Что с этим делать:

  • Брать больше кусков. Мы запустили то же с TOP=6 — нужный кусок попал в запрос, и ответ пошёл по делу (про Caddy и Basic Auth). Цена: запрос длиннее, ответ дольше — в этом прогоне 131 секунда.
  • Спрашивать ключевыми словами. Вопрос «Ollama авторизация обратный прокси Caddy пароль» вывел нужный кусок на 2-е место. Для настоящего помощника это делает вторая модель, которая перефразирует вопрос.
  • Делить документы по заголовкам, а не по числу знаков: тогда кусок «Защита» не смешивается с соседними темами.

Ошибка 2. Нашли верно, а ответ выдуман

С TOP=6 модель получила и нужный кусок. И выдала Caddyfile (конфигурацию веб-сервера Caddy), который не запускается. Мы положили конфиг из ответа в файл и проверили самим Caddy версии 2.11.9:

Дело не в одной скобке. В конфиге директивы cache 1m, timeout 10s, proxy / и auth_basic: в актуальном Caddy они устроены иначе или есть только как плагины (у проксирования директива называется reverse_proxy). Команда установки в том же ответе вела на getcaddy.com, и этот адрес с нашего сервера не отвечал. Идея ответа верная (Caddy с Basic Auth), а конкретика собрана «по духу».

Урок: в RAG-ответе проверяйте команды и конфиги по первоисточнику. Верный поиск гарантирует, что нужный текст был в запросе, но не гарантирует, что маленькая модель его не переврёт. Для ответов, которые нельзя ошибиться, показывайте пользователю сами найденные куски рядом с ответом: скрипт для этого уже печатает имена файлов и номера кусков.

Ошибка 3. Ядро убило модель

Когда мы гнали серию вопросов разным моделям подряд, на каком-то запросе соединение с Ollama оборвалось, и скрипт упал с ошибкой Remote end closed connection without response, а запросы сразу после неё получали Connection refused, пока служба поднималась. Причина нашлась в логе ядра:

OOM killer — механизм ядра, который убивает самый «тяжёлый» процесс, когда память кончилась. Он убил llama-server, процесс, в котором крутится модель. Службу Ollama systemd поднял сам через несколько секунд, но запрос погиб. Что произошло: Ollama держит загруженную модель в памяти около 5 минут после последнего запроса. Мы спросили маленькую модель, а затем сразу большую, и обе оказались в 4 ГБ одновременно, вместе с эмбеддингами и Qdrant.

Лечится дисциплиной. Перед сменой модели выгрузите прежнюю командой ollama stop имя_модели (мы так и делали между прогонами) и проверяйте, что загружено, через ollama ps. В запросе /api/generate тоже есть параметр keep_alive: значение 0 выгружает модель сразу после ответа. Подробности про убийцу и про то, как его поймать, разбирает наша статья про OOM killer и load average.

Что со словами «в документах этого нет»

Спросили вопрос вне темы: «Какого цвета логотип у компании?» Лучшие оценки были 0,72 против 0,86 у вопроса про OOM killer, и модель 1B честно написала «Нет ответа на этот вопрос в предоставленном фрагменте». Но опираться только на порог по оценке нельзя: в ошибке 1 нужные и ненужные куски лежали в полосе 0,75-0,79, то есть выше «пустого» уровня. Порог (мы бы поставили около 0,74-0,75 как грубый фильтр) отсекает совсем не по теме, но не заменяет проверку ответа.

Когда этого хватает на VPS без GPU, а когда нет

  • Хватает для личной или командной базы знаний на сотни страниц, для фоновых задач («разобрать входящие письма по документации», «подготовить черновик ответа»), для прототипа перед покупкой мощного сервера.
  • Не хватает для живого чата с несколькими людьми: одна генерация держит оба ядра на минуту-две, и очередь растёт. Также для больших корпусов: при 0,7 куска/с индексация гигабайта идёт днями.
  • Что менять первым: размер модели вниз (1B быстрее, но слабее), число кусков вниз (быстрее, но больше промахов) или тариф вверх — больше ядер и памяти.

Если вам нужен общий шлюз перед несколькими моделями, посмотрите нашу статью про LiteLLM на VPS: RAG-скрипт можно направить на него вместо прямых запросов к Ollama.

Безопасность: что не оставлять открытым

У Qdrant и у Ollama нет паролей по умолчанию. Держите оба на 127.0.0.1, как в шагах выше. Если скрипт должен работать с другого компьютера, пробросьте порт по SSH-туннелю или поставьте обратный прокси с паролем. И не кладите в базу то, что нельзя показывать всем, у кого будет доступ к серверу: индекс хранит тексты целиком.

Частые вопросы

Нужна ли видеокарта для RAG?

Нет, наш замер сделан без неё. Видеокарта ускоряет генерацию, а не поиск, и нужна, если ответ должен приходить за секунды, а не за минуты.

Чем Qdrant лучше, чем просто хранить векторы в файле?

Для нескольких сотен кусков хватит и файла с векторами и сравнения в памяти. Qdrant нужен, когда документов много и они меняются: он держит индекс на диске, быстро ищет и умеет фильтры по полям (например, по имени файла).

Какую модель эмбеддингов брать для русского?

Мы использовали nomic-embed-text. На вопросе про OOM killer она сразу нашла нужную статью, а на вопросе про Ollama нужный кусок оказался только 6-м, и это не бенчмарк. Если у вас много русскоязычных документов, проверьте на своих вопросах: возьмите 20-30 типичных запросов и посмотрите, на каком месте выдачи оказывается правильный кусок.

Как обновить базу, когда документы изменились?

В нашей версии — запустить index.py ещё раз: он пересоздаёт коллекцию с нуля. Для больших баз удобнее обновлять только изменившиеся файлы, храня для каждого хеш.

Коротко

  • RAG на VPS без GPU работает: поиск за 3-6 мс, индексация 0,7 куска в секунду, ответ модели от 17 секунд до двух минут.
  • Qdrant и Ollama привязывайте к 127.0.0.1: Docker публикует порты в обход ufw, а паролей у них нет.
  • Главный риск не скорость, а качество: нужный кусок может оказаться 6-м, а маленькая модель переврёт даже верный текст.
  • Две модели в памяти на 4 ГБ не уживаются: перед сменой модели выгружайте прежнюю через ollama stop.
  • Берите 6-8 кусков вместо 4, проверяйте команды в ответах по первоисточнику и показывайте пользователю найденные фрагменты.
  • Для живого чата и больших корпусов нужны модель побыстрее и тариф покрупнее. Протестировать идею на небольшом VPS можно уже сегодня.
PUBLISHED
18 ноября 2026 г.
AUTHOR
HIP-HOSTING
LANGUAGES
EN · RU