FAISS
Een bibliotheek voor snel zoeken naar overeenkomsten in enorme verzamelingen vectoren, in 2017 uitgebracht door Meta. De motor onder een groot deel van de huidige vectordatabases.
Exact zoeken tussen miljarden vectoren is in realtime onmogelijk, dus biedt FAISS benaderende indexen die een beetje nauwkeurigheid inruilen voor enorme snelheid. IVF verdeelt de ruimte in clusters en doorzoekt alleen de dichtstbijzijnde; HNSW bouwt een navigeerbare graaf met meerdere lagen; product quantization comprimeert de vectoren zodat ze in het geheugen passen, vaak tot een achtste van hun omvang. Indexen zijn te combineren en draaien op GPU’s. Het is een bibliotheek, geen database: geen persistentie, geen updates ter plekke, geen filtering op metadata en geen serveronderdeel. Wie dat nodig heeft, bouwt eromheen of kiest iets waar het al in zit.