Agenten
In ArbeitMilo: Embodied Robot Lab
Milo ist ein visueller Simulator, mit dem ich untersuche, was es braucht, damit ein Agent in einem physischen Raum handeln kann. Ein lokales Modell trifft schnelle operative Entscheidungen, während ein grösseres Modell die Aufgaben überwacht, mit festen Budgets für Anfragen und Tokens. Das Cockpit zeigt eine vollständige 3D-Welt, Kamera- und Kartenvorschau, Live-Telemetrie und eine Konsole für Dialog und Traces. Die Szenarien reichen von Wohnungen und Küchen bis zu Lagerhallen und Parks, und jede Änderung wird gegen eine feste Regressionssuite geprüft.
- Meine Rolle
- Gründer und Entwickler
- Gestartet
- Aktualisiert
- Sichtbarkeit
- Open Source
- reproduzierbare Testszenarien
- 20+
- lokales Modell plus überwachendes Modell
- Zweistufig
- Limits für Anfragen und Tokens pro Aufgabe
- Budgetiert
Problem
Agenten, die in der physischen Welt handeln, scheitern ganz anders als Chat-Agenten: Kollisionen, verlorene Lokalisierung, Timeouts und ausufernde Inferenzkosten. Solche Fehler lassen sich ohne reproduzierbare Umgebung kaum untersuchen.
Lösung
Ein Simulator mit wiederholbaren Szenarien, skriptbasierten Fähigkeitstests, Qualifikationsläufen mit echten Modellen und einem Leistungsprotokoll, das Anforderungen, Belege und datierte Ergebnisse auseinanderhält.
Architektur
Ein Simulations-Backend mit Physik, Sensorik und Kartierung stellt den Roboter einem zweistufigen Agenten-Setup bereit: ein lokales Modell für operative Entscheidungen und ein überwachendes Modell für die Führung auf Aufgabenebene. Ein React-Cockpit und ein Testarchiv erfassen jeden Lauf, mit Energiezuständen und Budgets zur Kontrolle der Inferenzkosten.
Was ich gelernt habe
Verkörperte Agenten machen Disziplin bei der Evaluation unumgänglich. Skriptbasierte Tests von Läufen mit echten Modellen zu trennen und Regressionen ehrlich zu verfolgen, ist wichtiger als jeder einzelne beeindruckende Demo-Lauf.
Technologien
- Python
- React
- 3D simulation
- Local and cloud models
- Mapping and navigation
- Regression evaluation
#embodied-agents #robotics #simulation #evaluation