Datenchaos meistern: Best Practices für RAG-Chatbots mit PDFs, Tabellen, Bildern & Co.

In modernen Unternehmen und Forschungsorganisationen befinden sich schätzungsweise 90 % aller relevanten Daten in unstrukturierten Dokumenten wie PDFs, Scans oder Präsentationsfolien.

Um diese Informationsschätze zugänglich zu machen, bedarf es:

1. einer zuverlässigen Analyse, die freie Texte, Tabellenstrukturen und Visuals erkennt, und

2. eines leistungsfähigen NLP-Modells, das die extrahierten Inhalte versteht, zusammenfasst und weiterverarbeitet.

Das Dokument wird zunächst mittels OCR (z. B. Mistral OCR) in ein Text-Paragraph-Format überführt und anschließend gezielt abgefragt.

Dabei muss vor allem die Verarbeitung von unterschiedlichen Datenformaten berücksichtigt werden.

1. Unstrukturierte Daten im RAG-Workflow

Unstrukturierte Daten wie Social‑Media‑Feeds, E‑Mail‑Archive, Logs oder PDF‑Dokumente ohne klares Schema stellen RAG‑Chatbots vor erhebliche Herausforderungen. Da sie keinem festen Datenmodell folgen, variieren Inhalt, Format und Länge stark. Um solche Daten nutzbar zu machen, werden sie zunächst mit OCR‑Tools wie Tesseract in reinen Text umgewandelt und anschließend von Metadaten, Spezialzeichen und HTML‑Tags bereinigt. Im nächsten Schritt erfolgt die Segmentierung in sinnvolle Chunks – meist Absätze oder Sätze mit Überlappungen – um beim Retrieval ausreichenden Kontext zu gewährleisten.

Für die Indexierung generiert man semantische Embeddings pro Chunk (etwa mit Azure OpenAI ‑Embeddings) und speichert sie in einem Vector Store. Kommt eine Nutzerfrage, führt das System ein On‑the‑Fly‑Retrieval durch: Es wählt die ähnlichsten Textsegmente aus und bettet sie in den Prompt ein.

2. Strukturierter Text (JSON, XML, Markdown) für RAG

Strukturierte Textdaten in Formaten wie JSON, XML oder Markdown sind besonders wertvoll, da sie selbstbeschreibend und hierarchisch organisiert sind. In RAG-Workflows werden solche Daten zunächst mit spezialisierten Bibliotheken geparst und in Objekte umgewandelt. Anschließend folgt das Flattening, bei dem verschachtelte Strukturen in fortlaufende Schlüssel-Wert-Paare oder Textblöcke transformiert werden. Jeder dieser Blöcke kann zusätzlich mit Metadaten versehen werden, etwa mit Pfadangaben oder Schlüsselbezeichnungen, um später gezielt gefiltert zu werden.

Für das Retrieval werden semantische Embeddings auf den geflatteten Text angewendet , während Metadaten-Filter sicherstellen, dass nur relevante Sektionen – beispielsweise API-Endpoints – abgerufen werden. Schließlich steuern dynamische Prompt-Module, welche Keys oder Tags dem Modell als Kontext präsentiert werden, sodass immer der passende Ausschnitt genutzt wird.

3. Tabellarische Daten (CSV, Excel, SQL) im RAG-Kontext

Tabellenformate wie CSV, Excel-Tabellen oder relationale Datenbanken zeichnen sich durch ihre klare Struktur mit festen Spalten und Datentypen aus. In RAG-Chatbots werden diese Daten zunächst durch Schema-Extraktion aufbereitet, indem Spaltennamen und Datentypen ausgelesen werden. Jede Tabellenzeile kann dann als natürlichsprachlicher Satz oder als YAML-/JSON-Block kodiert werden, wobei große Tabellen in handhabbare Chunks (etwa 100 Zeilen pro Chunk) aufgeteilt werden.

Für das Retrieval kommt häufig ein hybrider Ansatz zum Einsatz: Exakte Filterungen und Aggregationen erfolgen über SQL-Abfragen, während semantische Embeddings auf den kodierten Zeilen Deep-Learning-Modelle nutzen, um ähnliche Datensätze zu finden. Beide Repräsentationen – Tabellen-JSON und Embeddings – werden im Vector Store gespeichert. Beim Generieren der Antwort erhält das Modell im Prompt ein Tabellensnippet, um präzise Werte wie Mittelwerte oder Summen zu berechnen, und kann so sowohl numerische als auch semantische Fragestellungen abdecken.

4. Bilddaten (JPEG, PNG) im RAG-Workflow

Visuelle Informationen in Form von JPEG-, PNG- oder TIFF-Dateien werden durch verschiedene Schritte in einen RAG-System integriert. Zunächst werden Metadaten wie EXIF-Informationen (Aufnahmezeit, Kameraeinstellungen, Geokoordinaten) extrahiert und gespeichert.

Anschließend sorgt eine Bild-zu-Text-Konversion für eine textuelle Beschreibung der visuellen Inhalte. Gleichzeitig werden visuelle Embeddings erzeugt und in einem multimodalen Vector Store abgelegt – zusammen mit den Text-Embeddings. So lässt sich über textuelle Queries direkt auf Bildinhalte zugreifen (Cross-Modal Retrieval). In der Generierungsphase werden die abgerufenen Beschreibungen als textuelles Kontext-Overlay in den Prompt eingebettet. In Chat-Oberflächen, die dies unterstützen, können die originalen Bilder sogar inline angezeigt werden, um die Antwort visuell zu untermauern.

5. Weitere relevante Datenformate

Darüber hinaus müssen RAG-Chatbots zahlreiche weitere Datentypen berücksichtigen. Audiodaten wie Podcasts oder Kundenanrufe werden per automatischer Transkription  in Text überführt und gleichzeitig mit Audio-Embeddings in den Vector Store eingespeist, um cross-modale Abfragen zu ermöglichen.

Bei Videodaten – von Schulungsvideos bis zu Webinaren – kommen Keyframe-Extraktion, Untertitel-Generierung und die Erzeugung visueller sowie auditiver Embeddings zum Einsatz, während Szenen-Segmentierung eine feingranulare Kontextgewinnung erlaubt. Zeitreihen- und Sensordaten wie IoT-Messwerte oder Finanzkurse werden durch Resampling, Normalisierung und Anomalie-Erkennung aufbereitet, um sie als Textzusammenfassungen oder numerische Features in Form von Zeitreihen-Embeddings nutzbar zu machen.

Geodaten, etwa GPS-Koordinaten und GIS-Informationen, werden mithilfe von Koordinatentransformationen, Clustering-Algorithmen und Points-of-Interest-Beschreibungen verarbeitet, um standortbezogene Abfragen im Prompt zu unterstützen.

---

Fazit & Best Practices für RAG-Chatbots

• Konsistente Chunk-Größe: Einheitliche Kontextlängen (z. B. 500 Tokens) für zuverlässiges Retrieval

  
  

• Metadaten-Anreicherung: Tags und Labels helfen bei gezielter Filterung vor dem Retrieval

  
  

• Hybrid-Ansatz: Kombination aus regelbasierten Filtern (SQL, Metadaten) und semantischer Suche (Embeddings)

Mit dieser Herangehensweise lassen sich unterschiedliche Datenformate effizient in einen RAG‑Workflow integrieren und die Stärken sowohl von Retrieval-Systemen als auch von generativen Modellen ideal ausspielen.