Daten & Pipelines
Ingestion, pgvector, Data Warehouse, DSGVO, Anonymisierung
Ein Assistent ist nie besser als das, was er lesen darf. Fast die gesamte Arbeit liegt vor dem Modell, in dem undankbaren Teil, den niemand vorführt.
- 5+Unternehmenssysteme als Ingestion-Quellen angebunden
- 4Produkte, deren Daten ich für das Konzern-Warehouse modelliert habe
- MITAnonDocs, Open Source, mit öffentlichem npm-SDK
Dort einlesen, wo das Wissen schon lebt
SharePoint, Google Drive, Jira, Airtable, CMS. Extraktion, Chunking, Embedding und inkrementelle Neuindizierung, damit ein Assistent aus dem Wissen des Unternehmens antwortet und nicht aus einer Kopie, die ab dem Tag ihrer Erstellung auseinanderdriftet.
Modellieren für die, die später Fragen stellen
Bei Redspher Hand in Hand mit den Data Analysts: Schemata, Extraktion und Datenqualität für die Anwendungsdaten, die das BigQuery-Warehouse des Konzerns speisen — über alle vier Produkte, die ich verantwortet habe. Bei AI SmartTalk dieselbe Disziplin nach innen: Schemata für Konversationen, Nutzung und Wissensbasis, von Anfang an für Analytics strukturiert.
Verträge an den Grenzen, keine Hoffnung
Zod- und JSON-Schema-Validierung dort, wo Daten hereinkommen, Redis und RabbitMQ dort, wo sie warten. Eine Pipeline, die eine formveränderte Nutzlast stillschweigend annimmt, belügt Sie eine Woche lang — und der Fehler, den Sie irgendwann finden, sitzt an der falschen Stelle.
Die Bedingung ist die Architektur
EU-Hosting, DSGVO-Konformität, personenbezogene Daten vor der Inferenz entfernt, On-Premise-Installationen für Kunden, deren Dokumente keine fremde API erreichen dürfen. Am Ende drangeschraubt funktioniert nichts davon. Von Anfang an eingeplant kostet nichts davon etwas.
Stack
- PostgreSQL
- pgvector
- BigQuery
- Redis
- RabbitMQ
- SharePoint · Drive · Jira · Airtable
- Zod
- JSON Schema
- GDPR · EU hosting