Datenpipelines
Open SourceAI Web Scraping Pipeline
Diese Pipeline ist der Motor hinter AIUseCaseHub, veröffentlicht als konfigurierbares Open-Source-Projekt. Drei logische Agenten laufen in einer Azure-Functions-App: Discovery findet Kandidatenseiten, Extraktion macht daraus strukturierte Einträge, und Review validiert Felder, prüft mit Embeddings auf Duplikate und bewertet die Groundedness gegenüber der Quelle, bevor etwas gespeichert wird. Mit angepasstem Schema, Quellen und Prompts lässt sie sich auf andere Recherchefelder übertragen, etwa Kundengeschichten, Bauprojekte oder die Modernisierung der öffentlichen Verwaltung.
- Meine Rolle
- Gründer, Architekt und Entwickler
- Gestartet
- Aktualisiert
- Sichtbarkeit
- Open Source
- Agenten: Discovery, Extraktion, Review
- 3
- Einträge für AIUseCaseHub
- ~4000
- Azure-Deployment mit azd und Bicep
- 1 Klick
Problem
Scraping mit LLMs ist schnell gestartet, aber schwer vertrauenswürdig zu machen. Ohne Deduplizierung, Groundedness-Prüfungen und Review-Schritte entsteht ein grosser Datensatz, auf den sich niemand verlassen kann.
Lösung
Eine produktionsnahe Pipeline mit konfigurierbaren Quellen und Schema, zurückhaltender Kostenkontrolle, Groundedness-Bewertung mit Wiederholungsversuch und einem expliziten Review-Schritt, bevor Einträge gespeichert werden.
Architektur
Discovery-, Extraktions- und Review-Agenten übergeben die Arbeit über Cosmos-DB-Container, die als Warteschlangen dienen. Freigegebene Einträge landen in einem Records-Container mit Vektorsuche zur Duplikaterkennung. Alles wird mit azd und Bicep auf einem Flex-Consumption-Plan bereitgestellt.
Was ich gelernt habe
Die Qualitätsschranken sind das Produkt. Der Modellaufruf ist der einfache Teil. Deduplizierung, Groundedness und das Erfassen der Token-Kosten entscheiden, ob die Daten etwas taugen.
Technologien
- Python
- Azure Functions
- Cosmos DB
- Microsoft Foundry
- Microsoft Agent Framework
- Bicep and azd
#agents #web-scraping #groundedness #open-source
Weitere Screenshots
