Giá trị của tín dụng Qdrant miễn phí là bao nhiêu?
Qdrant cung cấp 2.000 đô la tín dụng miễn phí cho các startup, áp dụng cho Qdrant Cloud, phiên bản được quản lý của cơ sở dữ liệu vector mã nguồn mở.
Con số này khiêm tốn so với các khoản tài trợ sáu con số ở các hạng mục khác, và đáng để đọc kỹ thay vì bỏ qua. Qdrant được cấp phép Apache 2.0 và có thể tự lưu trữ, vì vậy sản phẩm trả phí là dịch vụ lưu trữ được quản lý, không phải công cụ. Tín dụng là ngân sách lưu trữ, không phải khóa truy cập.
Điều kiện đủ tư cách phụ thuộc vào giai đoạn và nguồn vốn, và các điều khoản của chương trình cơ sở hạ tầng thay đổi nhiều hơn các điều khoản của chương trình mô hình. AI Perks theo dõi phiên bản hiện tại cùng với 7,7 triệu đô la tín dụng cho 194 công ty.
Qdrant Thực Sự Làm Gì
Qdrant lưu trữ các embedding cùng với siêu dữ liệu có cấu trúc và trả về các kết quả gần nhất với một vector truy vấn trong mili giây. Nó được viết bằng Rust, hoạt động như một tệp nhị phân duy nhất và hoạt động giống nhau trên máy tính xách tay như trong môi trường sản xuất.
Mọi sản phẩm trả lời câu hỏi về tài liệu riêng tư, tìm kiếm theo ý nghĩa thay vì từ khóa, đề xuất các mục tương tự, loại bỏ bản sao bản ghi hoặc cung cấp cho tác nhân bộ nhớ dài hạn đều cần lớp này. Bạn hoặc là chạy nó hoặc là thuê nó.
Ba đặc điểm phân biệt Qdrant với phần còn lại của hạng mục:
Payload là một công dân hạng nhất. Siêu dữ liệu nằm cùng với vector và có thể lập chỉ mục, vì vậy các bộ lọc là một phần của truy vấn thay vì một lượt thứ hai trên các kết quả. Xem thêm về lý do tại sao điều đó quan trọng bên dưới.
Nó là một tệp nhị phân. Sự tương đương trong phát triển cục bộ là một lợi thế vận hành thực sự. Bạn có thể chạy cùng một công cụ trong một Docker container trên máy của mình và trong một cụm được quản lý, điều này loại bỏ một loại bất ngờ "hoạt động cục bộ".
Giấy phép là linh hoạt. Apache 2.0 có nghĩa là tự lưu trữ luôn khả dụng vĩnh viễn. Đó là đòn bẩy đàm phán chứ không phải là một kế hoạch: biết rằng bạn có thể di chuyển sẽ giữ cho hóa đơn được quản lý trung thực.
Tìm Kiếm Có Bộ Lọc Là Nơi Các Sản Phẩm Truy Xuất Bị Lỗi
Hầu như không có truy vấn nào trong môi trường sản xuất là "tìm kiếm tương tự". Đó là "tìm kiếm tương tự, trong tài liệu của khách hàng này, từ 90 ngày qua, thuộc loại này". Sự kết hợp đó, không phải là sự tương đồng thuần túy, là nơi hầu hết các tìm kiếm vector âm thầm thất bại.
Sự thất bại có một hình dạng cụ thể. Các triển khai ngây thơ sử dụng bộ lọc sau: truy xuất 100 vector gần nhất, sau đó loại bỏ những cái không khớp với bộ lọc. Nếu bộ lọc có tính chọn lọc, bạn sẽ nhận được ba kết quả, hoặc không, và sản phẩm có vẻ bị lỗi ngay cả khi chỉ mục vẫn ổn.
Giải pháp thay thế, lọc trước bằng cách brute force trên tập con khớp, là chính xác nhưng chậm khi tập con lớn. Câu trả lời của Qdrant là áp dụng các điều kiện bộ lọc trong quá trình duyệt đồ thị và giữ cho đồ thị tìm kiếm được kết nối dưới bộ lọc, được hỗ trợ bởi các chỉ mục payload trên các trường bạn lọc. Chi tiết kỹ thuật ít quan trọng hơn hậu quả: các truy vấn có bộ lọc vẫn nhanh và đầy đủ.
Đây là thuộc tính quan trọng nhất đối với bất kỳ ai bán phần mềm B2B, bởi vì mọi truy vấn trong sản phẩm đa người dùng đều được lọc theo người dùng. Nếu khả năng truy xuất của bạn suy giảm dưới bộ lọc, nó sẽ suy giảm cho mọi khách hàng cùng một lúc.
Chi Phí Cơ Sở Dữ Liệu Vector Hoạt Động Như Thế Nào Ở Quy Mô Lớn
Chi phí tìm kiếm vector được thúc đẩy bởi số lượng vector bạn lưu trữ nhân với chiều của chúng, chứ không phải bởi số lượng truy vấn bạn chạy. Một chỉ mục không hoạt động trên một kho lưu trữ lớn rất tốn kém. Một chỉ mục bận rộn trên một kho lưu trữ nhỏ thì rẻ.
Đó là điều ngược lại với cách các API mô hình tính phí bạn, đó là lý do tại sao những người sáng lập thường dự báo sai mục này một cách nhất quán. Đây là phép tính cho một triệu vector, trước chi phí overhead của chỉ mục:
| Chế độ lưu trữ | Bit mỗi chiều | 1 triệu vector ở 768 chiều | 1 triệu vector ở 1.536 chiều |
|---|---|---|---|
| float32 trong bộ nhớ | 32 | ~3,1 GB | ~6,1 GB |
| Lượng tử hóa vô hướng (int8) | 8 | ~0,8 GB | ~1,5 GB |
| Lượng tử hóa nhị phân | 1 | ~0,1 GB | ~0,2 GB |
| Ánh xạ bộ nhớ trên đĩa | 32, phân trang | RAM chứa chỉ mục | RAM chứa chỉ mục |
Hãy coi đó là mức sàn. Overhead của đồ thị và payload nằm trên đó.
Hai đòn bẩy thay đổi bức tranh nhiều hơn bất kỳ điều gì bạn sẽ làm với mã của mình. Lượng tử hóa nén các vector đã lưu trữ, và Qdrant có thể chấm điểm lại danh sách rút gọn so với các vector có độ chính xác đầy đủ để phục hồi phần lớn khả năng thu hồi đã mất, điều này làm cho nó ít bị hạ cấp hơn nhiều so với suy nghĩ ban đầu. Lựa chọn chiều là cái còn lại: nhiều mô hình nhúng hiện hỗ trợ đầu ra rút gọn, và giảm một nửa số chiều sẽ giảm một nửa toàn bộ bảng.
Điểm thực tế rút ra là chiến lược phân đoạn là một quyết định chi phí, không chỉ là quyết định chất lượng. Chia nhỏ tài liệu thành các phần nhỏ hơn sẽ nhân số lượng vector của bạn và hóa đơn bộ nhớ của bạn với nó. AI Perks theo dõi tín dụng trên lớp này để bạn có thể kiểm tra ở quy mô thực trước khi hóa đơn dạy bạn.
Tín Dụng 2.000 Đô La Thực Sự Dùng Để Làm Gì
Khoản tài trợ 2.000 đô la không phải là thời gian hoạt động trong một năm. Nó đủ để chạy kho lưu trữ thực của bạn ở quy mô thực đủ lâu để tìm hiểu chi phí sản xuất sẽ là bao nhiêu, điều này còn đáng giá hơn số tiền.
Các nhóm ước tính hóa đơn vector từ một mẫu 10.000 hàng thường sai đến một bậc độ lớn. Khả năng thu hồi, hiệu suất bộ lọc và tác động chất lượng từ lượng tử hóa đều thay đổi theo quy mô kho lưu trữ, và không có cái nào trong số đó có thể ngoại suy sạch sẽ từ một chỉ mục thử nghiệm.
Vì vậy, hãy sử dụng tín dụng như một phép đo, không phải là một khoản chiết khấu:
Tải tất cả mọi thứ, không phải là một mẫu. Mục đích là để thấy hành vi mà bạn không thể thấy ở quy mô nhỏ.
Truy vấn có bộ lọc. Kiểm tra hình dạng truy vấn mà sản phẩm của bạn thực sự sẽ đưa ra, bao gồm cả bộ lọc người dùng.
Đo lường khả năng thu hồi ở cài đặt lượng tử hóa của bạn. Quyết định sự đánh đổi bộ nhớ bằng một con số thay vì một sở thích.
Sau đó, định giá tự lưu trữ so với dịch vụ được quản lý. Với kích thước chỉ mục thực tế, điều đó sẽ trở thành phép tính chứ không phải là một cuộc tranh luận.
Thời điểm cũng quan trọng như số lượng. Tín dụng có thời hạn, vì vậy việc kích hoạt tài trợ khi bạn vẫn đang chọn kích thước phân đoạn sẽ đốt cháy hầu hết nó trên một chỉ mục trống. Hãy căn chỉnh đồng hồ với khoảnh khắc bạn có cả kho lưu trữ và lưu lượng truy cập. Các chương trình hiện tại và các điều khoản của chúng có tại AI Perks.
Tín Dụng Qdrant Có Thể Kết Hợp Với Cái Gì
Hóa đơn truy xuất tính phí ở ba nơi: tạo embedding, lưu trữ và tìm kiếm chúng, và tạo câu trả lời. Khoản tài trợ cơ sở dữ liệu vector bao gồm một trong ba.
| Lớp | Cách tính phí | Nơi có tín dụng |
|---|---|---|
| Embedding | Một lần cho mỗi tài liệu, lại mỗi lần thay đổi mô hình | OpenAI, Cohere, Voyage, Mistral |
| Lưu trữ và tìm kiếm vector | Liên tục, được thúc đẩy bởi bộ nhớ | Qdrant, Pinecone, Weaviate |
| Tạo câu trả lời | Mỗi câu trả lời, mỗi người dùng | Anthropic, OpenAI, Google, xAI |
| Tính toán và lưu trữ | Liên tục, được thúc đẩy bởi thời gian hoạt động | AWS, Google Cloud, Azure, Modal |
Hàng embedding là hàng mà mọi người gặp phải. Bạn tạo embedding cho kho lưu trữ một lần để lập chỉ mục, sau đó tạo lại tất cả mọi thứ mỗi khi bạn thay đổi mô hình. Nâng cấp embedding là một lần lập chỉ mục lại toàn bộ, và trên một kho lưu trữ lớn đó là một hóa đơn thực tế chứ không phải là một công việc nền.
Giữ tín dụng trên nhiều hàng cho phép một nhóm thay đổi ý định mà không cần cuộc họp ngân sách. Đó là lập luận thực tế cho việc kết hợp.
Những Điều Người Sáng Lập Hiểu Sai Về Cơ Sở Dữ Liệu Vector
Hai sai lầm phổ biến nhất là áp dụng nó trước khi sản phẩm cần, và coi chất lượng truy xuất là vấn đề của mô hình khi nó thường là vấn đề về bộ lọc hoặc phân đoạn.
Năm sai lầm đáng tránh:
Bắt đầu quá sớm. Postgres với pgvector có thể xử lý vài trăm nghìn vector và các truy vấn đơn giản, và nó loại bỏ một dịch vụ khỏi ngăn xếp của bạn. Một cơ sở dữ liệu vector chuyên dụng sẽ chứng tỏ giá trị của nó ở quy mô lớn, với khối lượng truy vấn bền vững, hoặc khi tìm kiếm có bộ lọc bắt đầu trả về quá ít.
Bỏ qua bộ lọc cho đến khi có nhiều người dùng. Đến lúc đó, các mẫu truy vấn đã được định hình và việc sửa chữa là một cuộc di chuyển.
Coi lượng tử hóa như một sự hạ cấp. Đó là sự khác biệt giữa một chỉ mục 6 GB và một chỉ mục 1,5 GB, và với việc chấm điểm lại, chi phí thu hồi thường không đáng kể. Hãy đo lường nó thay vì giả định.
Nhầm lẫn mã nguồn mở với miễn phí. Tự lưu trữ loại bỏ phí cấp phép, chứ không phải hóa đơn bộ nhớ hoặc ca trực đêm.
Quên phía embedding. Tín dụng lưu trữ bao gồm một nửa hóa đơn truy xuất. Những người sáng lập tìm kiếm cả hai cùng một lúc sẽ tài trợ cho một năm. Phần còn lại tài trợ cho một phần tư. Cả hai bên đều được liệt kê tại AI Perks.
Câu Hỏi Thường Gặp
Tín dụng Qdrant có giá trị bao nhiêu?
Qdrant cung cấp 2.000 đô la tín dụng miễn phí cho các startup, áp dụng cho Qdrant Cloud chứ không phải cho công cụ mã nguồn mở, vốn đã miễn phí. Nó đi được bao xa phụ thuộc vào kích thước kho lưu trữ và chiều vector chứ không phải khối lượng truy vấn, vì chi phí được thúc đẩy bởi bộ nhớ. Các điều khoản và điều kiện hiện tại được theo dõi tại getaiperks.com.
Qdrant có miễn phí sử dụng không?
Có, theo nghĩa quan trọng: Qdrant được cấp phép Apache 2.0 và bạn có thể chạy nó trên phần cứng của riêng mình mà không mất phí cấp phép. Thứ tốn tiền là Qdrant Cloud, dịch vụ được quản lý, cộng với bộ nhớ mà chỉ mục của bạn tiêu thụ ở bất cứ đâu. Tự lưu trữ đổi tiền lấy công việc vận hành.
Tôi có cần cơ sở dữ liệu vector không, hay pgvector là đủ?
Đối với vài trăm nghìn vector và các truy vấn đơn giản, Postgres với pgvector thường là đủ và loại bỏ một dịch vụ khỏi ngăn xếp của bạn. Một cơ sở dữ liệu vector chuyên dụng sẽ chứng tỏ giá trị của nó với hàng chục triệu vector, tải truy vấn bền vững, hoặc tìm kiếm phức tạp có bộ lọc và đa người dùng, nơi các triển khai ngây thơ suy giảm nhanh chóng.
Qdrant cần bao nhiêu RAM?
Nhiều hơn hầu hết các nhóm dự trù. Các vector 32-bit không nén cần khoảng 4 byte mỗi chiều mỗi vector, vì vậy một triệu vector 1.536 chiều là khoảng 6 GB trước chi phí overhead của chỉ mục. Lượng tử hóa vô hướng cắt giảm con số đó xuống gần bốn lần và lượng tử hóa nhị phân còn xa hơn nữa, điều này làm cho lượng tử hóa trở thành một quyết định lập kế hoạch chứ không phải là một sự tối ưu hóa.
Tôi có thể kết hợp tín dụng Qdrant với tín dụng OpenAI hoặc Anthropic không?
Có, và chúng bao gồm các hóa đơn khác nhau. Qdrant bao gồm việc lưu trữ và tìm kiếm các vector của bạn, nhà cung cấp embedding bao gồm việc tạo chúng, và nhà cung cấp mô hình bao gồm việc tạo câu trả lời. Các nhóm giữ tín dụng trên cả ba sẽ chi trả cho một năm đầu thực tế của một sản phẩm truy xuất. Xem những sự kết hợp nào tồn tại tại getaiperks.com.
Các lựa chọn thay thế chính cho Qdrant là gì?
Pinecone, Weaviate, Milvus, Chroma và Postgres với pgvector. Các điểm khác biệt của Qdrant là công cụ Rust, mô hình lọc và giấy phép linh hoạt giữ cho việc tự lưu trữ luôn sẵn có như một lối thoát thực sự chứ không phải là một lời khoe khoang. AI Perks theo dõi các chương trình tín dụng trên toàn bộ hạng mục tại getaiperks.com.
Lưu trữ các vector. Hãy để người khác trả tiền cho bộ nhớ.