turbovec - Vector index Rust siêu nhẹ cho RAG local và AI tìm kiếm

Tóm tắt nhanh:

Turbovec là thư viện vector index mã nguồn mở, viết bằng Rust với Python bindings, triển khai thuật toán TurboQuant để nén embedding xuống 2-4 bit mỗi chiều mà vẫn giữ độ chính xác truy vấn cao.

Một corpus 10 triệu tài liệu vốn cần khoảng 31 GB RAM với float32 có thể được nén còn khoảng 4 GB với turbovec, cho phép xây dựng RAG, semantic search và hệ thống AI tìm kiếm ngay trên laptop hoặc server on-premise.

Cài đặt và sử dụng turbovec rất đơn giản: pip install turbovec cho Python, cargo add turbovec cho Rust, với API gọn nhẹ hỗ trợ online ingest, filtered search và IdMapIndex cho ID bền vững.

Turbovec là gì và giải quyết bài toán nào?

Turbovec được thiết kế để giải quyết bài toán “vector store phình to” khi bạn đưa các ứng dụng RAG và semantic search lên production: chỉ cần vài triệu embedding là bộ nhớ đã nhanh chóng vượt ngưỡng 10-30 GB. Thay vì giữ toàn bộ embedding dưới dạng float32, turbovec dùng TurboQuant để nén vector xuống 2-4 bit mỗi chiều, giúp giảm kích thước index một cách đáng kể mà không phải đánh đổi nhiều về độ chính xác.

Điểm đặc biệt là TurboQuant là một thuật toán “data-oblivious”: bạn không cần step train riêng, không cần codebook dựa trên tập dữ liệu mẫu. Điều này giúp việc ingest dữ liệu mới trở nên đơn giản – bạn có thể add vector liên tục mà không phải rebuild index hay retrain, rất phù hợp cho hệ thống tăng trưởng dữ liệu theo thời gian.

GitHub: https://github.com/RyanCodrai/turbovec
PyPI: https://pypi.org/project/turbovec/

Tổng quan kiến trúc và tính năng chính

Về kiến trúc, turbovec được chia thành hai phần: core Rust crate chịu trách nhiệm xử lý index và một Python crate cung cấp binding native để bạn dùng trực tiếp trong ứng dụng Python. Các tính năng nổi bật:

Online ingest: bạn có thể add vector mới bất kỳ lúc nào, không cần train codebook hoặc rebuild lại toàn bộ index.
Filtered search: hỗ trợ allow-list (danh sách ID được phép) hoặc bitmask slot để filter ngay trong kernel SIMD, giúp truy vấn theo tenant, shard hoặc điều kiện tuỳ biến mà không phải over-fetch.
IdMapIndex: cho phép gán external ID 64-bit bền vững cho mỗi vector, hỗ trợ delete theo ID mà không phá cấu trúc index.
Persistence: có API write() và load() để serialize index ra file, sau đó load lại mà không cần ingest lại từ đầu.
Thuần local, MIT license: data không rời khỏi máy hoặc VPC của bạn; kết hợp với embedding model open-source là bạn có stack RAG air-gapped hoàn chỉnh.

Thuật toán TurboQuant hoạt động thế nào?

Đằng sau turbovec là TurboQuant, một thuật toán quantization được Google Research giới thiệu, hoạt động theo pipeline gồm nhiều bước:

Normalize: tách norm của vector và lưu dưới dạng một float riêng, biến vector thành unit direction trên hypersphere.
Random rotation: áp dụng cùng một ma trận trực giao ngẫu nhiên cho toàn bộ vector, khiến từng toạ độ tuân theo phân phối beta/gaussian đã biết.
Scalar quantization tối ưu: dùng hiểu biết về phân phối sau rotation để xác định sẵn boundaries và centroid cho các bucket 2-bit hoặc 4-bit (4 hoặc 16 bucket/coordinate).
Bit packing: pack các bucket index thành byte, giúp vector 1536 chiều từ 6144 bytes có thể nén xuống khoảng 384 bytes (cỡ 16x nhỏ hơn).

Nhờ pipeline này, TurboQuant đạt distortion gần sát giới hạn Shannon, nghĩa là bạn có compression rất mạnh nhưng vẫn giữ được độ chính xác nội suy inner product và cosine similarity đủ dùng cho hầu hết use-case RAG.

Hiệu năng so với FAISS và các vector store khác

Trong benchmark phổ biến, turbovec ghi điểm ở hai khía cạnh:

Bộ nhớ: vector 10 triệu tài liệu vốn chiếm khoảng 31 GB RAM với float32 có thể nén xuống khoảng 4 GB với TurboQuant 4-bit, giúp bạn dựng vector store trên máy có RAM vừa phải.
Tốc độ: trên ARM (Apple M3 Max), kernel SIMD của turbovec (NEON) vượt FAISS IndexPQFastScan khoảng 12-20% ở cả cấu hình single-threaded và multi-threaded; trên x86 (Intel Xeon Sapphire Rapids với AVX-512BW), hiệu năng ngang hoặc nhỉnh hơn tuỳ config.

Điều này giúp turbovec trở thành lựa chọn hấp dẫn nếu bạn muốn tối ưu cả tốc độ lẫn bộ nhớ mà vẫn giữ hệ thống thuần local, không phụ thuộc managed service.

Cài đặt Turbovec trong Python bằng “pip”

Đối với developer Python làm việc với RAG, search hoặc recommender, cách cài đặt turbovec đơn giản nhất là qua pip:

pip install turbovec

Sau khi cài xong, bạn có thể import và khởi tạo index:

from turbovec import TurboQuantIndex

# dim: số chiều embedding (ví dụ 1536 cho text-embedding-3-large)
# bit_width: 2 hoặc 4 tuỳ trade-off giữa độ nén và độ chính xác
index = TurboQuantIndex(dim=1536, bit_width=4)

Tham số bit_width cho phép bạn chọn mức nén: 2-bit sẽ nén mạnh hơn nhưng đôi chút giảm recall; 4-bit rộng hơn nhưng giữ độ chính xác tốt hơn trong nhiều bài toán production.

Thêm vector vào index và truy vấn trong Python

Sau khi khởi tạo index, bạn có thể add embedding từ bất kỳ model nào (OpenAI, Jina, Cohere, BGE, hay model local qua sentence-transformers):

import numpy as np

# vectors: mảng numpy shape (N, 1536) với dtype float32
vectors = np.random.randn(1000, 1536).astype("float32")

index.add(vectors)

Để tìm k vector gần nhất cho một query embedding:

query = np.random.randn(1536).astype("float32")

scores, indices = index.search(query, k=10)

Biến indices là index nội bộ của turbovec (0..N-1), còn scores là độ tương đồng (inner product hoặc cosine tuỳ cấu hình). Trong ứng dụng thực tế, bạn sẽ map indices sang ID tài liệu, url hoặc payload đã lưu.

Sử dụng IdMapIndex cho ID bền vững

Nếu bạn cần ID bên ngoài bền vững (ví dụ document_id dạng uint64 từ database), turbovec cung cấp IdMapIndex:

from turbovec import IdMapIndex

index = IdMapIndex(dim=1536, bit_width=4)

vectors = np.random.randn(3, 1536).astype("float32")
ids = np.array(, dtype="uint64")

index.add_with_ids(vectors, ids)

scores, found_ids = index.search(query, k=10)

Thay vì index nội bộ, bạn nhận found_ids chính là ID 64-bit đã gán. Việc delete theo ID cũng đơn giản:

index.remove(1002)

Đây là kiểu API lý tưởng nếu bạn tích hợp turbovec vào hệ thống có sẵn ID từ Postgres, Elastic hoặc bất kỳ backend nào khác.

Cài đặt Turbovec cho Rust và tích hợp trong backend

Nếu bạn xây dựng backend bằng Rust, bạn có thể dùng turbovec trực tiếp như một crate:

cargo add turbovec

Sau đó trong code:

use turbovec::TurboQuantIndex;

fn main() {
    let mut index = TurboQuantIndex::new(1536, 4);
    // thêm vector, chạy search như ví dụ Python tương tự
}

API Rust tương tự Python nhưng dùng kiểu dữ liệu native của Rust, phù hợp cho các service high-performance, nơi bạn muốn kiểm soát memory layout và concurrency một cách chi tiết.

Tích hợp Turbovec vào Pipeline RAG và Generative AI

Một lợi thế của turbovec là dễ tích hợp vào các framework RAG phổ biến: nhiều adapter đã và đang xuất hiện cho LangChain, LlamaIndex, Haystack, Agno… giúp bạn thay thế in-memory store hoặc FAISS bằng turbovec mà không phải viết lại toàn bộ logic.

Cách tích hợp điển hình:

Dùng embedding model (local hoặc cloud) để tạo vector cho tài liệu.
Dùng turbovec làm vector store: add toàn bộ embedding vào index.
Khi truy vấn, dùng turbovec để lấy top-k candidate ID, sau đó fetch nội dung từ storage (Postgres, S3, file system…).
Đưa context vào LLM để sinh câu trả lời hoặc tóm tắt.

Nhờ compression mạnh và pure local, bạn có thể chạy cả embedding lẫn vector store trên cùng một machine mà không bị vượt giới hạn RAM.

Best practices khi dùng Turbovec trong production

Để có trải nghiệm tốt và ổn định với turbovec, một số lưu ý hữu ích:

Chọn dim đúng với model embedding của bạn (ví dụ 1536, 1024, 768…).
Bắt đầu với bit_width = 4 khi bạn mới thử nghiệm; sau đó cân nhắc 2-bit nếu chấp nhận trade-off recall thấp hơn để đổi lấy nén mạnh.
Sử dụng IdMapIndex nếu app của bạn xoay quanh ID bên ngoài – việc delete và filter sẽ trở nên tự nhiên hơn.
Kết hợp filtered search với allow-list hoặc bitmask để hỗ trợ multi-tenant, time window hoặc các điều kiện business cụ thể.
Serialize index định kỳ bằng write() và load lại bằng load() để hỗ trợ process restart, scale-out hoặc backup.

Nếu bạn đang xây dựng hệ thống RAG, semantic search hoặc recommender theo hướng self-hosted, air-gapped hoặc tối ưu chi phí cloud, turbovec là một lựa chọn rất đáng để thử nghiệm. Nó mang lại sự kết hợp hiếm thấy giữa: compression mạnh, tốc độ cao, API gọn và khả năng tích hợp tốt với cả Python lẫn Rust.

Chỉ với vài dòng code pip install turbovec, TurboQuantIndex(...), index.add(...), index.search(...), bạn đã có một vector store sản xuất được cho nhiều bài toán AI tìm kiếm hiện đại – và quan trọng là nó chạy hoàn toàn trên máy hoặc VPC của riêng bạn.