AI Perks suteikia prieigą prie išskirtinių nuolaidų, kreditų ir pasiūlymų AI įrankiams, debesų paslaugoms ir API, kad padėtų startuoliams ir kūrėjams sutaupyti pinigų.
Kiek verti nemokami „Qdrant“ kreditai?
„Qdrant“ siūlo 2 000 USD nemokamų kreditų startuoliams, taikomų „Qdrant Cloud“ – valdomai jo atviro kodo vektorinės duomenų bazės versijai.
Ši suma yra kukli, palyginti su didesnėmis šios kategorijos dotacijomis, todėl verta ją teisingai suprasti, o ne atmesti. „Qdrant“ turi Apache 2.0 licenciją ir gali būti savarankiškai hostinama, todėl mokamas produktas yra valdomas hostinimas, o ne variklis. Kreditas yra hostinimo biudžetas, o ne prieigos raktas.
Patekimas į programą priklauso nuo etapo ir finansavimo, o infrastruktūros programos sąlygos keičiasi labiau nei modelio programos sąlygos. AI Perks seka dabartinę versiją kartu su 7,7 mln. USD kreditais 194 įmonėse.
Geriausi AI kreditai startuoliams
Taikykite tiesiogiai per šias patvirtintas programas.
Qdrant 20% off Qdrant Cloud for 12 months
Tinka pradinės stadijos startuoliams
Claude (via program) $100,000
Tinka pradinės stadijos startuoliams
OpenAI (via program) $2,500
Tinka pradinės stadijos startuoliams
Anthropic $20,000
Tinka pradinės stadijos startuoliams
AWS $300,000
Tinka pradinės stadijos startuoliams
Google Cloud $350,000
Tinka pradinės stadijos startuoliams
Ką iš tikrųjų daro „Qdrant“
„Qdrant“ saugo įterpinius kartu su struktūrizuotais metaduomenimis ir milisekundžių tikslumu grąžina artimiausius atitikmenis užklausos vektoriui. Jis parašytas „Rust“, platinamas kaip vienas dvejetainis failas ir veikia vienodai nešiojamajame kompiuteryje kaip ir produkcijoje.
Kiekvienas produktas, kuris atsako į klausimus apie privačius dokumentus, ieško pagal reikšmę, o ne raktinį žodį, rekomenduoja panašius elementus, šalina pasikartojančius įrašus arba suteikia agentui ilgalaikę atmintį, reikalingas šis sluoksnis. Jį arba paleidžiate patys, arba nuomojatės.
Trys savybės skiria „Qdrant“ nuo kitų šios kategorijos produktų:
Rezultatai (Payload) yra pirmaeilis pilietis. Metaduomenys saugomi kartu su vektoriumi ir yra indeksuojami, todėl filtrai yra užklausos dalis, o ne antrasis rezultatų apdorojimo žingsnis. Daugiau apie tai, kodėl tai svarbu, skaitykite toliau.
Tai vienas dvejetainis failas. Vietinio vystymo atitikmuo yra reali operacinė nauda. Tą patį variklį galite paleisti „Docker“ konteineryje savo kompiuteryje ir valdomame klasteryje, taip pašalindami „veikia lokaliai“ netikėtumų kategoriją.
Licencija yra leidžianti. Apache 2.0 reiškia, kad savarankiškas hostinimas lieka prieinamas visam laikui. Tai derybų svertas, o ne planas: žinojimas, kad galite persikelti, neleidžia valdomam tarifui pabrangti.
Filtruojama paieška – vieta, kur sugenda paieškos produktai
Beveik nė viena produkcinė užklausa nėra „rasti panašius“. Tai yra „rasti panašius, šio kliento dokumentuose, iš paskutinių 90 dienų, šio tipo“. Būtent ši kombinacija, o ne žalia panašumas, dažnai tyliai sugadina vektorinę paiešką.
Sugedimas turi specifinę formą. Naivios implementacijos naudoja post-filtrą: išgauna 100 artimiausių vektorių, tada atmeta tuos, kurie neatitinka filtro. Jei filtras yra selektyvus, gaunate tris rezultatus arba nulį, o produktas atrodo sugedęs, nors indeksas yra geras.
Alternatyva, išankstinis filtravimas brutalia jėga atitinkančioje podalyje, yra teisinga, bet lėta, kai podalys tampa didelis. „Qdrant“ atsakymas yra taikyti filtro sąlygas grafo apdorojimo metu ir išlaikyti paieškos grafą sujungtą filtruojant, remiantis metaduomenų indeksais filtravimo laukuose. Inžinerinė detalė yra mažiau svarbi nei pasekmė: filtruojamos užklausos išlieka greitos ir išsamios.
Tai yra vienintelė svarbiausia savybė tiems, kurie parduoda B2B programinę įrangą, nes kiekviena daugiapartijos produkto užklausa yra filtruojama pagal tenantą. Jei jūsų paieška blogėja su filtrais, ji blogėja visiems klientams iš karto.
Geriausi AI kreditai startuoliams
Taikykite tiesiogiai per šias patvirtintas programas.
Qdrant 20% off Qdrant Cloud for 12 months
Tinka pradinės stadijos startuoliams
Claude (via program) $100,000
Tinka pradinės stadijos startuoliams
OpenAI (via program) $2,500
Tinka pradinės stadijos startuoliams
Anthropic $20,000
Tinka pradinės stadijos startuoliams
AWS $300,000
Tinka pradinės stadijos startuoliams
Google Cloud $350,000
Tinka pradinės stadijos startuoliams
Kaip elgiasi vektorinės duomenų bazės išlaidos dideliu mastu
Vektorinės paieškos išlaidas lemia jūsų saugomų vektorių skaičius, padaugintas iš jų matmenų, o ne atliekamų užklausų skaičius. Neaktyvus indeksas dideliame korpuse yra brangus. Aktyvus indeksas mažame korpuse yra pigus.
Tai yra atvirkščiai nei tai, kaip apmokestina modelių API, todėl steigėjai nuolat neteisingai prognozuoja šią eilutę. Štai aritmetika vienam milijonui vektorių, prieš indeksų viršutinę ribą:
| Saugojimo režimas | Bitai vienam matmeniui | 1 mln. vektorių, 768 matmenys | 1 mln. vektorių, 1 536 matmenys |
|---|---|---|---|
| float32 atmintyje | 32 | ~3,1 GB | ~6,1 GB |
| Skaliarinė kvantizacija (int8) | 8 | ~0,8 GB | ~1,5 GB |
| Binaminė kvantizacija | 1 | ~0,1 GB | ~0,2 GB |
| Atminties žemėlapiai diske | 32, puslapiais | RAM laiko indeksą | RAM laiko indeksą |
Laikykite šias vertes kaip pagrindą. Viršuje yra grafiko antkainis ir metaduomenys.
Du svirtys pakeičia paveikslą labiau nei bet kas, ką padarysite su savo kodu. Kvantizacija suspaudžia saugomus vektorius, o „Qdrant“ gali perskaičiuoti trumpąjį sąrašą pagal visų tikslumo vektorius, kad atgautų didžiąją dalį prarasto atrankos tikslumo, todėl tai yra daug mažiau pablogėjimas, nei skamba. Matmenų pasirinkimas yra kitas: daugelis įterpinių modelių dabar palaiko sutrumpintus išvestis, o matmenų padvigubinimas perpus sumažina visą lentelę.
Praktinis išvada yra ta, kad suskaidymo strategija yra išlaidų, o ne tik kokybės sprendimas. Dokumentų dalijimas į mažesnes dalis daug kartų padidina jūsų vektorių skaičių ir atitinkamai atminties sąskaitą. AI Perks seka kreditus šiam sluoksniui, kad galėtumėte išbandyti realiu mastu, kol sąskaita jūsų neišmokys.
Kam iš tikrųjų skirti 2 000 USD kreditai
2 000 USD dotacija nėra metams. Jos pakanka jūsų tikrajam korpusui paleisti realiu mastu pakankamai ilgai, kad sužinotumėte, kiek kainuos produkcija, o tai yra vertingiau nei pačių pinigų.
Komandos, kurios vektorinės sąskaitos dydį nustato pagal 10 000 eilučių pavyzdį, paprastai klysta dešimt kartų. Atrankos tikslumas, filtravimo našumas ir kvantizacijos kokybės smukimas – visa tai keičiasi su korpuso dydžiu, ir niekas iš jų švariai nenusitiesia iš žaislinio indekso.
Taigi, naudokite kreditą kaip matavimo priemonę, o ne nuolaidą:
Įkelkite viską, ne pavyzdį. Visas tikslas yra pamatyti elgesį, kurio negalite pamatyti mažame mastelyje.
Užklauskite su filtrais. Išbandykite užklausos formą, kurią jūsų produktas iš tikrųjų naudos, įskaitant tenantų filtrą.
Išmatuokite atrankos tikslumą jūsų kvantizacijos nustatyme. Nuspręskite atminties kompromisą pagal skaičių, o ne pagal pageidavimą.
Tada įvertinkite savarankiško hostinimo kaštus, palyginti su valdomu. Su realaus dydžio indeksu tai tampa aritmetika, o ne ginču.
Laikas yra toks pat svarbus kaip ir suma. Kreditai turi laiko apribojimą, todėl suaktyvinus dotaciją, kai vis dar pasirenkate suskaidymo dydį, didžioji dalis jos bus išnaudota tuščiam indeksui. Sutelkite laikrodį į tą momentą, kai turite tiek korpusą, tiek srautą. Dabartinės programos ir jų sąlygos pateikiamos AI Perks.
Geriausi AI kreditai startuoliams
Taikykite tiesiogiai per šias patvirtintas programas.
Qdrant 20% off Qdrant Cloud for 12 months
Tinka pradinės stadijos startuoliams
Claude (via program) $100,000
Tinka pradinės stadijos startuoliams
OpenAI (via program) $2,500
Tinka pradinės stadijos startuoliams
Anthropic $20,000
Tinka pradinės stadijos startuoliams
AWS $300,000
Tinka pradinės stadijos startuoliams
Google Cloud $350,000
Tinka pradinės stadijos startuoliams
Su kuo „Qdrant“ kreditai gali būti derinami
Paieškos išlaidos apima tris vietas: įterpinių kūrimas, jų saugojimas ir paieška bei atsakymo generavimas. Vektorinės duomenų bazės dotacija padengia vieną iš trijų.
| Sluoksnis | Kaip tai apmokestinama | Kur yra kreditų |
|---|---|---|
| Įterpiniai | Vieną kartą už dokumentą, vėl kiekvieną kartą keičiant modelį | OpenAI, Cohere, Voyage, Mistral |
| Vektorinis saugojimas ir paieška | Nuolat, valdoma atminties | Qdrant, Pinecone, Weaviate |
| Generavimas | Už atsakymą, už vartotoją | Anthropic, OpenAI, Google, xAI |
| Apskaičiavimas ir hostinimas | Nuolat, valdoma veikimo trukme | AWS, Google Cloud, Azure, Modal |
Įterpinių eilutė yra ta, kuri žmones nustebina. Korpusą įterpiate vieną kartą, kad jį indeksuotumėte, tada visą jį pakartotinai įterpiate kiekvieną kartą, kai pakeičiate modelį. Įterpinių atnaujinimas yra pilnas perskirstymas, o dideliame korpuse tai yra reali sąskaita, o ne foninis darbas.
Kreditų turėjimas keliose eilutėse leidžia komandai pakeisti savo nuomonę be biudžeto susitikimo. Tai yra tikras argumentas už derinimo naudą.
Ką steigėjai daro neteisingai apie vektorines duomenų bazes
Du dažniausi klaidų tipai yra jų priėmimas per anksti, kol produktui jų nereikia, ir paieškos kokybės traktavimas kaip modelio problemos, kai tai dažnai yra filtravimo ar suskaidymo problema.
Penkių klaidų, kurių verta vengti:
Pradžia per anksti. „Postgres“ su „pgvector“ tvarko kelis šimtus tūkstančių vektorių ir paprastas užklausas, be to, pašalina paslaugą iš jūsų sistemos. Skirta vektorinė duomenų bazė užsitarnauja savo vietą esant dideliam mastui, nuolatiniam užklausų kiekiui arba kai filtruojama paieška pradeda grąžinti per mažai.
Ignoravimas filtrų iki daugiapartijos atsiradimo. Iki tol užklausų modeliai yra įtvirtinti, o pataisymas yra migracija.
Kvantizacijos traktavimas kaip pablogėjimo. Tai skirtumas tarp 6 GB indekso ir 1,5 GB indekso, o su perskaičiavimu atrankos tikslumo praradimas dažnai yra nereikšmingas. Matuokite jį, o ne priimkite kaip savaime suprantamą dalyką.
Atvirojo kodo painiojimas su nemokamu. Savarankiško hostinimo pašalinimas nereiškia atminties sąskaitos ar budėjimo rotacijos pašalinimo.
Pamiršimas apie įterpinių pusę. Saugojimo kreditai padengia pusę paieškos sąskaitos. Steigėjai, kurie vienu metu ieško abiejų, finansuoja metus. Kiti – ketvirtį. Abi pusės yra kataloguojamos AI Perks.
Geriausi AI kreditai startuoliams
Taikykite tiesiogiai per šias patvirtintas programas.
Qdrant 20% off Qdrant Cloud for 12 months
Tinka pradinės stadijos startuoliams
Claude (via program) $100,000
Tinka pradinės stadijos startuoliams
OpenAI (via program) $2,500
Tinka pradinės stadijos startuoliams
Anthropic $20,000
Tinka pradinės stadijos startuoliams
AWS $300,000
Tinka pradinės stadijos startuoliams
Google Cloud $350,000
Tinka pradinės stadijos startuoliams
Dažnai užduodami klausimai
Kiek verti „Qdrant“ kreditai?
„Qdrant“ siūlo 2 000 USD nemokamų kreditų startuoliams, taikomų „Qdrant Cloud“, o ne atviro kodo varikliui, kuris vis tiek yra nemokamas. Kaip toli jie nueis, priklauso nuo korpuso dydžio ir vektorių matmenų, o ne nuo užklausų tūrio, nes išlaidos yra valdomos atminties. Dabartinės sąlygos ir patekimo kriterijai yra stebimi adresu getaiperks.com.
Ar „Qdrant“ galima naudoti nemokamai?
Taip, ta prasme, kad tai svarbu: „Qdrant“ turi Apache 2.0 licenciją ir galite jį paleisti savo aparatinėje įrangoje be licencijos mokesčio. Kas kainuoja pinigus, tai „Qdrant Cloud“, valdoma paslauga, taip pat atmintis, kurią jūsų indeksas naudoja, kad ir kur jis būtų. Savarankiško hostinimo atveju pinigai keičiami į operacinį darbą.
Ar man reikia vektorinės duomenų bazės, ar „pgvector“ pakanka?
Keletui šimtų tūkstančių vektorių ir paprastoms užklausoms „Postgres“ su „pgvector“ paprastai pakanka ir pašalina paslaugą iš jūsų sistemos. Skirta vektorinė duomenų bazė užsitarnauja savo vietą dešimtimis milijonų vektorių, nuolatiniu užklausų krūviu arba intensyvia filtruojama ir daugiapartija paieška, kur naivios implementacijos smarkiai pablogėja.
Kiek RAM reikia „Qdrant“?
Daugiau, nei dauguma komandų planuoja. Nesuspausti 32 bitų vektoriai reikalauja maždaug 4 baitų vienam matmeniui vienam vektoriui, taigi vienas milijonas 1536 matmenų vektorių yra apie 6 GB prieš indeksų antkainį. Skaliarinė kvantizacija sumažina tai beveik keturis kartus, o binaminė kvantizacija – dar labiau, todėl kvantizacija tampa planavimo, o ne optimizavimo sprendimu.
Ar galiu derinti „Qdrant“ kreditus su „OpenAI“ ar „Anthropic“ kreditais?
Taip, ir jie apima skirtingas sąskaitas. „Qdrant“ padengia jūsų vektorių saugojimą ir paiešką, įterpinių teikėjai – jų kūrimą, o modelių teikėjai – atsakymo generavimą. Komandos, turinčios kreditų visose trijose, padengia realius pirmuosius paieškos produkto metus. Pažiūrėkite, kokie deriniai yra getaiperks.com.
Kokie yra pagrindiniai „Qdrant“ alternatyvos?
Pinecone, Weaviate, Milvus, Chroma ir Postgres su pgvector. „Qdrant“ išskiriančios savybės yra jo „Rust“ variklis, filtravimo modelis ir leidžianti licencija, kuri leidžia savarankiškai hostinti kaip realią išeitį, o ne blefą. „AI Perks“ seka kreditų programas visoje kategorijoje adresu getaiperks.com.
Prenumeruokite adresu getaiperks.com →
Saugokite vektorius. Leiskite kam nors kitam sumokėti už atmintį.
