Daten & Pipelines
Ingestioun, pgvector, Data Warehouse, DSGVO, Anonymiséierung
En Assistent ass ni besser wéi dat, wat en dierf liesen. Bal déi ganz Aarbecht läit virum Modell, an deem ondankbaren Deel, deen keen an enger Demo weist.
- 5+Entreprisesystemer als Ingestioun-Quelle ugebonnen
- 4Produiten, deenen hir Donnéeën ech fir de Konzern-Warehouse modelléiert hunn
- MITAnonDocs, Open Source, mat engem ëffentlechen npm-SDK
Do liesen, wou d’Wëssen scho lieft
SharePoint, Google Drive, Jira, Airtable, CMS. Extraktioun, Chunking, Embedding an inkrementell Nei-Indexéierung, sou datt en Assistent aus dem Wëssen vun der Entreprise äntwert an net aus enger Kopie, déi vum Dag hirer Erstellung un ofdriwwen ass.
Modelléieren fir déi, déi méi spéit Froe stellen
Bei Redspher Hand an Hand mat den Data Analysten: Schemaen, Extraktioun an Datequalitéit fir d’Applikatiounsdonnéeën, déi de BigQuery-Warehouse vum Konzern späisen — iwwer all véier Produiten, déi ech verantwort hunn. Bei AI SmartTalk déi selwecht Disziplin no bannen: Schemaen fir Konversatiounen, Notzung a Wëssensbasis, vun Ufank un fir Analytics strukturéiert.
Kontrakter un de Grenzen, keng Hoffnung
Zod- a JSON-Schema-Validéierung do, wou d’Donnéeën erakommen, Redis a RabbitMQ do, wou se waarden. Eng Pipeline, déi eng Nutzlaascht mat geännerter Form roueg unhëlt, léisst iech eng Woch laang am Glawen — an de Feeler, deen dir iergendwann fannt, sëtzt op der falscher Plaz.
D’Contrainte ass d’Architektur
EU-Hosting, DSGVO-Konformitéit, perséinlech Donnéeë virun der Inferenz ewechgeholl, On-Premise-Installatioune fir Clienten, deenen hir Dokumenter keng friem API dierfen erreechen. Um Enn drugeschrauwt fonctionéiert näischt dovun. Vun Ufank u matgeplangt kascht näischt dovun eppes.
Stack
- PostgreSQL
- pgvector
- BigQuery
- Redis
- RabbitMQ
- SharePoint · Drive · Jira · Airtable
- Zod
- JSON Schema
- GDPR · EU hosting