Векторная база данных
База данных для поиска по смыслу: хранит тексты и изображения в виде векторов и быстро находит самые похожие.
Векторная база данных хранит данные в виде векторов — длинных наборов чисел, отражающих смысл текста, изображения или звука. Такие векторы называют эмбеддингами. Главная операция векторной базы — найти записи, ближайшие к заданному вектору, то есть самые похожие по смыслу. Обычная база найдет документ со словом «возврат», а векторная — и документ, где написано «как получить деньги обратно», хотя общих слов нет.
Как это работает
- Каждый фрагмент текста пропускают через модель эмбеддингов и получают вектор из нескольких сотен или тысяч чисел.
- Вектор сохраняют в базе вместе с текстом и метаданными: источник, дата, отдел, права доступа.
- Запрос пользователя превращают в вектор той же моделью.
- База находит ближайшие векторы — обычно по косинусной близости — и возвращает соответствующие тексты.
Почему нужна специальная база
Сравнить запрос с каждым из миллионов векторов — долго. Векторные базы строят индексы приближенного поиска ближайших соседей (ANN), чаще всего на основе графов HNSW. Они находят почти лучшие совпадения за миллисекунды, жертвуя крошечной долей точности. Это тот же принцип, что и у обычных индексов: заранее построенная структура вместо полного перебора.
Основные решения
- Специализированные базы — Milvus, Qdrant, Weaviate.
- Расширения обычных СУБД — pgvector для PostgreSQL: векторы хранятся рядом с остальными данными, и запросы могут сочетать смысловой поиск с обычными условиями.
- Поисковые движки — Elasticsearch и OpenSearch добавили векторный поиск к полнотекстовому.
Для умеренных объемов — до нескольких миллионов фрагментов — pgvector часто достаточно и проще в эксплуатации: не нужна отдельная система. Специализированные базы оправданы на больших объемах и при высоких нагрузках.
Где применяется
- RAG — поиск фрагментов документов для ответа языковой модели.
- Смысловой поиск по базе знаний, обращениям, договорам.
- Рекомендации — похожие товары, статьи, клиенты.
- Поиск дубликатов — похожие заявки, повторяющиеся обращения.
- Поиск по изображениям — найти похожие фото или документы того же типа.
На что обратить внимание
Векторы документов и запросов должны строиться одной и той же моделью; при смене модели всю базу пересчитывают. Фильтры по метаданным — например, только документы, доступные пользователю, — нужно применять при поиске, а не после него. А для точных идентификаторов вроде номеров договоров смысловой поиск сочетают с обычным.