Qdrant и Ollama отвечают по вашим документам на VPS без GPU. Скрипты, замеры на 2 vCPU и три ошибки, которые мы поймали.
RAG — это способ заставить языковую модель отвечать по вашим документам, а не по памяти. Мы собрали его на обычном VPS с 2 vCPU и 4 ГБ памяти, без видеокарты: Qdrant хранит смысловой индекс, Ollama считает эмбеддинги и пишет ответ. Показываем всё как есть: команды, код, замеры и три места, где система ошиблась. Эти ошибки полезнее удачных ответов.
Коротко. Документы режем на куски по ~800 знаков, каждый превращаем в вектор из 768 чисел моделью
nomic-embed-textи кладём в Qdrant. На вопрос ищем 4-6 ближайших кусков и отдаём их модели вместе с вопросом. На нашем сервере: 234 куска (141 тыс. знаков) проиндексировались за 322 секунды, поиск занимает 3-6 мс, а ответ модели на 1B-3B параметров — от 17 секунд до двух минут. Поиск быстрый, узкое место — генерация. Для фонового помощника по документам этого хватает, для живого чата нет.
RAG (retrieval-augmented generation, «генерация с поиском») — схема из двух шагов. Сначала система находит в ваших документах несколько фрагментов, похожих на вопрос по смыслу. Потом отдаёт их языковой модели со словами «отвечай только по этому». Модель ничего не «учит»: свежие документы просто подкладываются ей в запрос.
Зачем это нужно, если есть обычный поиск по тексту? Поиск по словам не найдёт «как не оставить сервис без пароля», если в документе написано «авторизация через обратный прокси». Поиск по смыслу найдёт. А держать всё на своём VPS стоит, когда документы нельзя отдавать внешнему сервису: внутренние инструкции, договоры, переписка с клиентами.
Два термина, которые будут дальше. Эмбеддинг — вектор из сотен чисел, который модель строит для текста так, что близкие по смыслу тексты получают близкие векторы. Векторная база (у нас Qdrant) хранит эти векторы и быстро находит ближайшие к вектору вопроса.
Про память сразу, чтобы не удивляться. В нашем замере Qdrant с 234 точками занимал 26 МБ, эмбеддинг-модель в памяти — 389 МБ, чат-модель на 3 млрд параметров — 2,2 ГБ. Всё вместе почти съело 4 ГБ: оставалось около 700 МБ запаса. На 8 ГБ жить заметно спокойнее.
Нам нужны две разные модели. Первая, nomic-embed-text, не пишет текст, а только превращает его в вектор: она маленькая и быстрая. Вторая — обычная чат-модель, которая сформулирует ответ. Для начала берём совсем лёгкую llama3.2:1b.
Колонка SIZE — размер файла на диске. В памяти модель занимает чуть больше: эмбеддинг-модель у нас показывала 389 МБ при размере файла 274 МБ.
Запускаем Qdrant и сразу привязываем порт к 127.0.0.1. Это принципиально. Docker публикует порты в обход правил ufw, и без явного адреса база окажется открытой всему интернету, причём без пароля. Любой желающий сможет читать и стирать ваши документы.
Параметр -v выносит данные на диск сервера: если контейнер пересоздать, индекс останется. Ответ с версией означает, что база жива. Пустая, она занимает около 22 МБ.
Скрипт ниже читает все .txt из папки, режет их на куски, считает вектор для каждого и отправляет в Qdrant. Что здесь важно понимать:
nomic-embed-text. Коллекцию нужно создать под ту же размерность.search_document: — по описанию модели, она обучена различать «документ» и «вопрос» по такому префиксу. У вопроса дальше будет search_query:. Без префиксов, по описанию модели, поиск работает хуже.Cosine) — сравнивает направление векторов, а не длину. Для текстовых эмбеддингов это обычный выбор.#!/usr/bin/env python3# index.py: индексация папки с .txt в Qdrant через эмбеддинги Ollamaimport json, os, sys, time, urllib.request, globOLLAMA = "http://127.0.0.1:11434"QDRANT = "http://127.0.0.1:6333"COLL = "docs"DOCS = sys.argv[1] if len(sys.argv) > 1 else "/root/ragdemo_docs"SIZE, OVERLAP = 800, 120def post(url, body, method="POST"): req = urllib.request.Request(url, data=json.dumps(body).encode(), method=method, headers={"Content-Type": "application/json"}) return json.load(urllib.request.urlopen(req, timeout=600))def chunks(text): parts, cur = [], "" for p in text.split("\n\n"): p = p.strip() if not p: continue if len(cur) + len(p) + 2 > SIZE and cur: parts.append(cur) cur = cur[-OVERLAP:] + "\n\n" + p else: cur = (cur + "\n\n" + p) if cur else p if cur: parts.append(cur) return partsitems = []for path in sorted(glob.glob(os.path.join(DOCS, "*.txt"))): name = os.path.basename(path)[:-4] for i, c in enumerate(chunks(open(path, encoding="utf-8").read())): items.append((name, i, c))print("файлов:", len(set(i[0] for i in items)), "кусков:", len(items))try: post(f"{QDRANT}/collections/{COLL}", {}, method="DELETE")except Exception: passpost(f"{QDRANT}/collections/{COLL}", {"vectors": {"size": 768, "distance": "Cosine"}}, method="PUT")t0 = time.time()B = 16for s in range(0, len(items), B): batch = items[s:s + B] emb = post(f"{OLLAMA}/api/embed", {"model": "nomic-embed-text", "input": ["search_document: " + b[2] for b in batch]})["embeddings"] pts = [{"id": s + j, "vector": emb[j], "payload": {"doc": b[0], "n": b[1], "text": b[2]}} for j, b in enumerate(batch)] post(f"{QDRANT}/collections/{COLL}/points?wait=true", {"points": pts}, method="PUT") print(f" {min(s + B, len(items))}/{len(items)}", flush=True)dt = time.time() - t0print(f"готово за {dt:.1f} с, {len(items) / dt:.1f} кусков/с")Обратите внимание на payload: вместе с вектором мы храним сам текст куска и имя файла. Qdrant возвращает вектор-близость, а читать модели нужен именно текст. Скрипт каждый раз пересоздаёт коллекцию, поэтому обновить базу значит просто запустить его ещё раз.
В роли документов мы взяли шесть наших же статей блога: про Ollama, OOM killer, деплой без простоя, VPS и VDS, LiteLLM и AnythingLLM.
Вот первая цифра, которую стоит запомнить: 0,7 куска в секунду. Пять минут на 141 тыс. знаков. Для сотни страниц это терпимо, для гигабайта документов — уже нет, считайте заранее. Зато сам индекс компактный: 2,3 МБ на диске.
Язык тоже влияет на скорость. Те же шесть статей в английских версиях (223 куска, 135 тыс. знаков) модель обработала за 121 секунду, 1,8 куска в секунду. Русский текст, по-видимому, разбивается на заметно больше токенов, и та же модель считает его примерно в 2,5 раза медленнее.
Второй скрипт делает три вещи: превращает вопрос в вектор (с префиксом search_query:), просит Qdrant дать ближайшие куски и собирает из них запрос для чат-модели. Ключевая строка — инструкция «отвечай только по фрагментам; если ответа нет, так и скажи». Без неё модель охотно отвечает из памяти.
#!/usr/bin/env python3# ask.py: вопрос -> поиск в Qdrant -> ответ модели по найденным кускамimport json, os, sys, time, urllib.requestOLLAMA = "http://127.0.0.1:11434"QDRANT = "http://127.0.0.1:6333"q = sys.argv[1]MODEL = sys.argv[2] if len(sys.argv) > 2 else "llama3.2:1b"TOP = int(os.environ.get("TOP", "4"))def post(url, body): req = urllib.request.Request(url, data=json.dumps(body).encode(), headers={"Content-Type": "application/json"}) return json.load(urllib.request.urlopen(req, timeout=900))t = time.time()v = post(f"{OLLAMA}/api/embed", {"model": "nomic-embed-text", "input": ["search_query: " + q]})["embeddings"][0]t_emb = time.time() - tt = time.time()hits = post(f"{QDRANT}/collections/docs/points/search", {"vector": v, "limit": TOP, "with_payload": True})["result"]t_search = time.time() - tprint(f"эмбеддинг вопроса: {t_emb * 1000:.0f} мс, поиск в Qdrant: {t_search * 1000:.0f} мс")for h in hits: p = h["payload"] print(f" {h['score']:.3f} {p['doc']} #{p['n']}")context = "\n\n---\n\n".join(h["payload"]["text"] for h in hits)prompt = ("Отвечай только по приведённым фрагментам. Если ответа в них нет, так и скажи.\n\n" f"Фрагменты:\n{context}\n\nВопрос: {q}\nОтвет:")t = time.time()r = post(f"{OLLAMA}/api/generate", {"model": MODEL, "prompt": prompt, "stream": False, "options": {"temperature": 0.2, "num_ctx": 4096}})print(f"\nОТВЕТ ({MODEL}, {time.time() - t:.1f} с, {r['eval_count']} токенов, " f"{r['eval_count'] / (r['eval_duration'] / 1e9):.1f} ток/с):")print(r["response"].strip())Параметр temperature 0,2 делает ответы менее «творческими», а num_ctx задаёт, сколько текста модель вообще способна прочитать за раз.
Первый вопрос — про OOM killer, ответ на который в корпусе точно есть:
Поиск отработал отлично: три из четырёх кусков — из статьи про OOM killer, оценки 0,80-0,86. А вот ответ вышел куцым. Ответ на «как понять, что он сработал» модель на 1 млрд параметров не дала. Из 17 секунд на сами 17 токенов ушло около двух, остальное время — загрузка модели и чтение четырёх фрагментов.
Этап | Что получили |
|---|---|
Эмбеддинг одного вопроса | 149-177 мс (при холодной модели один раз 513 мс) |
Поиск в Qdrant по 234 кускам | 3-6 мс |
Индексация | 0,7 куска/с (322 с на 234 куска) |
Ответ | 17-23 с, 8-11 токенов/с |
Ответ | 89-131 с, 4,6-5,1 токена/с |
Память, 3B + эмбеддинг + Qdrant | около 3,1 из 3,8 ГБ, доступно около 700 МБ |
Вывод из таблицы простой: поиск — самая дешёвая часть. Платить приходится за генерацию, причём чем больше модель и чем больше кусков вы ей отдали, тем дольше ждать. Модель на 3 млрд параметров отвечает за полторы-две минуты — это уже режим «задал вопрос и пошёл за чаем», а не чат.
Спросили: «Как открыть Ollama наружу и не оставить её без пароля?» Ответ на это есть в статье про Ollama (схема с Caddy и Basic Auth). Но среди четырёх найденных кусков его не оказалось:
Модель «ответила», но не по нашим материалам: про Let's Encrypt, Apache и порт 443, и в конце заявила, что пароль не нужен — ровно наоборот тому, о чём спрашивали. Фрагментов с нужным ответом у неё просто не было, а инструкция «отвечай только по фрагментам» маленькую модель не остановила.
Нужный кусок оказался на 6-м месте. Мы посмотрели выдачу глубже, вот первые 8 позиций:
Оценки с первого по восьмое место лежат в узкой полосе 0,75-0,79: поиск почти не различает «подходит» и «похоже». Что с этим делать:
TOP=6 — нужный кусок попал в запрос, и ответ пошёл по делу (про Caddy и Basic Auth). Цена: запрос длиннее, ответ дольше — в этом прогоне 131 секунда.С TOP=6 модель получила и нужный кусок. И выдала Caddyfile (конфигурацию веб-сервера Caddy), который не запускается. Мы положили конфиг из ответа в файл и проверили самим Caddy версии 2.11.9:
Дело не в одной скобке. В конфиге директивы cache 1m, timeout 10s, proxy / и auth_basic: в актуальном Caddy они устроены иначе или есть только как плагины (у проксирования директива называется reverse_proxy). Команда установки в том же ответе вела на getcaddy.com, и этот адрес с нашего сервера не отвечал. Идея ответа верная (Caddy с Basic Auth), а конкретика собрана «по духу».
Урок: в RAG-ответе проверяйте команды и конфиги по первоисточнику. Верный поиск гарантирует, что нужный текст был в запросе, но не гарантирует, что маленькая модель его не переврёт. Для ответов, которые нельзя ошибиться, показывайте пользователю сами найденные куски рядом с ответом: скрипт для этого уже печатает имена файлов и номера кусков.
Когда мы гнали серию вопросов разным моделям подряд, на каком-то запросе соединение с Ollama оборвалось, и скрипт упал с ошибкой Remote end closed connection without response, а запросы сразу после неё получали Connection refused, пока служба поднималась. Причина нашлась в логе ядра:
OOM killer — механизм ядра, который убивает самый «тяжёлый» процесс, когда память кончилась. Он убил llama-server, процесс, в котором крутится модель. Службу Ollama systemd поднял сам через несколько секунд, но запрос погиб. Что произошло: Ollama держит загруженную модель в памяти около 5 минут после последнего запроса. Мы спросили маленькую модель, а затем сразу большую, и обе оказались в 4 ГБ одновременно, вместе с эмбеддингами и Qdrant.
Лечится дисциплиной. Перед сменой модели выгрузите прежнюю командой ollama stop имя_модели (мы так и делали между прогонами) и проверяйте, что загружено, через ollama ps. В запросе /api/generate тоже есть параметр keep_alive: значение 0 выгружает модель сразу после ответа. Подробности про убийцу и про то, как его поймать, разбирает наша статья про OOM killer и load average.
Спросили вопрос вне темы: «Какого цвета логотип у компании?» Лучшие оценки были 0,72 против 0,86 у вопроса про OOM killer, и модель 1B честно написала «Нет ответа на этот вопрос в предоставленном фрагменте». Но опираться только на порог по оценке нельзя: в ошибке 1 нужные и ненужные куски лежали в полосе 0,75-0,79, то есть выше «пустого» уровня. Порог (мы бы поставили около 0,74-0,75 как грубый фильтр) отсекает совсем не по теме, но не заменяет проверку ответа.
Если вам нужен общий шлюз перед несколькими моделями, посмотрите нашу статью про LiteLLM на VPS: RAG-скрипт можно направить на него вместо прямых запросов к Ollama.
У Qdrant и у Ollama нет паролей по умолчанию. Держите оба на 127.0.0.1, как в шагах выше. Если скрипт должен работать с другого компьютера, пробросьте порт по SSH-туннелю или поставьте обратный прокси с паролем. И не кладите в базу то, что нельзя показывать всем, у кого будет доступ к серверу: индекс хранит тексты целиком.
Нет, наш замер сделан без неё. Видеокарта ускоряет генерацию, а не поиск, и нужна, если ответ должен приходить за секунды, а не за минуты.
Для нескольких сотен кусков хватит и файла с векторами и сравнения в памяти. Qdrant нужен, когда документов много и они меняются: он держит индекс на диске, быстро ищет и умеет фильтры по полям (например, по имени файла).
Мы использовали nomic-embed-text. На вопросе про OOM killer она сразу нашла нужную статью, а на вопросе про Ollama нужный кусок оказался только 6-м, и это не бенчмарк. Если у вас много русскоязычных документов, проверьте на своих вопросах: возьмите 20-30 типичных запросов и посмотрите, на каком месте выдачи оказывается правильный кусок.
В нашей версии — запустить index.py ещё раз: он пересоздаёт коллекцию с нуля. Для больших баз удобнее обновлять только изменившиеся файлы, храня для каждого хеш.
127.0.0.1: Docker публикует порты в обход ufw, а паролей у них нет.ollama stop.