RAG — Wie man LLMs dazu bringt, die Wahrheit über Ihre Daten zu sagen

LLMs halluzinieren. Das ist Fakt. RAG (Retrieval Augmented Generation) ist ein Architekturmuster, das dieses Problem dramatisch abmildert — und die Tür für Enterprise-KI-Anwendungen öffnet.

Das Problem: LLMs kennen Ihre Daten nicht¶

GPT-4 hat enzyklopädisches Wissen. Aber es kennt nicht Ihre internen Prozesse, Produkte oder Kunden. Und wenn Sie nach etwas fragen, das es nicht kennt? Es erfindet etwas. Selbstbewusst.

Wie RAG funktioniert¶

• Indexierung: Ihre Dokumente → Chunking → Embeddings → Vektordatenbank
• Retrieval: Benutzeranfrage → Embedding → Ähnlichkeitssuche → Top-K-Dokumente
• Generierung: Prompt = Systemanweisungen + abgerufener Kontext + Benutzeranfrage → LLM → Antwort

Chunking — Der Teufel steckt im Detail¶

Zu kleine Chunks verlieren Kontext. Zu große verschwenden das Kontextfenster. Unser Sweet Spot: 500–1.000 Tokens mit 100 Token Overlap. Für strukturierte Dokumente: Chunking nach Abschnitten.

Retrieval-Strategien¶

Hybrid Search (Vektor + BM25) funktioniert besser für technische Abfragen. Re-Ranking-Modelle (Cross-Encoder) verfeinern die Ergebnisse weiter.

Evaluierung¶

Wir messen: Faithfulness (stimmt es mit dem Kontext überein?), Relevance (ist der Kontext relevant?), Answer Correctness. Wir verwenden das RAGAS-Framework.

RAG ist ein Enterprise-KI-Muss¶

Wenn Sie eine KI-Anwendung über Unternehmensdaten bauen, ist RAG das Fundament. Die Qualität hängt von der Chunking-Strategie, der Retrieval-Pipeline und dem Prompt-Design ab.