KI & Machine Learning
RAG, Agenten, MCP, selwer gehost Modeller, klassescht ML
De Proof of Concept hunn ech selwer geschriwwen, an duerno zwee Joer drun geschafft, datt en en Dënschdegmoie ouni mech leeft. D’Demo ass déi einfach Hallschent.
- ~60%vum AI-SmartTalk-Produktcode, vu mir geschriwwen
- 37Sproochen, an deenen Assistente produktiv äntweren
- 2023bauen ech KI-Systemer — no zéng Joer Full-Stack
Retrieval dat richteg Dokumenter iwwerlieft
RAG op PostgreSQL a pgvector: Chunking, Embeddings, Re-Ranking, inkrementell Nei-Indexéierung. D’Vektorsich ass ni de schwéiere Punkt. Schwéier gëtt et, wann d’Quelldokument moies um dräi geännert gëtt a keen dem Index Bescheed seet.
Agenten an Tools, an déi zwou Richtungen
LangChain- a LangGraph-Workflows, a MCP zweemol ëmgesat: als Tool-Server, deen d’Clienten uruffen, an als OAuth-Client vu friemen Serveren. En Assistent, deen op näischt agéiere kann, ass eng Sichbar mat besseren Manéieren.
Modeller déi dir selwer hoste kënnt
Ollama, vLLM, llama.cpp, On-Premise a komplett selwer gehost Installatiounen. Wann d’Donnéeën d’Infrastruktur vum Client net verloosse dierfen, ass en API-Schlëssel keng Architektur. AnonDocs ass aus der selwechter Contrainte entstanen: en MIT-Anonymiséierer, deen Nimm, E-Mailen an Identifianten maskéiert, ier e Prompt d’Netz verléisst — vum Wired Italia zitéiert.
Net nëmme LLMen, an net eréischt zënter gëschter
Bei Redspher: Präis-Prognosemodeller a Python an TensorFlow, kombinéiert mat engem Bin-Packing-Solver, direkt an d’Bestellstreck gestach — 40 % vum Akaf vu Stroossegefierer automatiséiert. Klassescht ML a Produktioun, gemooss un de Bestellungen, déi et produzéiert huet.
Stack
- Python
- pgvector
- embeddings · chunking · re-ranking
- LangChain
- LangGraph
- MCP
- Anthropic API
- OpenAI API
- evals
- Ollama
- vLLM
- llama.cpp
- TensorFlow