RAGAS
Meer info
- Bedenker
- Exploding Gradients (Shahul Es, Jithin James)
- Verschenen
- Type
- Evaluatieframework voor RAG
- Licentie
- Apache 2.0
- Broncode
- github.com/explodinggradients/ragas
Het populairste opensource-evaluatieframework voor RAG, met metrieken als faithfulness, answer relevancy, context recall en context precision.
Automatiseert evaluatie zonder referentieantwoorden (de meeste metrieken hebben alleen de vraag, de opgehaalde contexten en het gegenereerde antwoord nodig). Gebruikt onderhuids LLM-as-judge. De standaardkeuze voor "we willen onze RAG testen, maar hebben geen annotatieteam". Concurrentie: DeepEval (zelfde idee, meer toepassingen), TruLens (TruEra), LlamaIndex evals, OpenAI Evals.