Agents
En coursMilo: Embodied Robot Lab
Milo est un simulateur visuel pour explorer ce qu’il faut à un agent pour agir dans un espace physique. Un modèle local prend les décisions opérationnelles rapides tandis qu’un modèle plus grand supervise les tâches, avec des budgets explicites de requêtes et de tokens. Le cockpit de l’opérateur affiche un monde 3D complet, des aperçus caméra et carte, la télémétrie en direct et une console pour la conversation et les traces. Les scénarios vont de l’appartement et de la cuisine à l’entrepôt et au parc, et chaque modification est vérifiée par une suite de régression fixe.
- Mon rôle
- Créateur et développeur
- Début
- Mise à jour
- Visibilité
- Open source
- scénarios de test reproductibles
- 20+
- modèle local et modèle superviseur
- 2 niveaux
- limites de requêtes et de tokens par tâche
- Budgété
Problème
Les agents qui agissent dans le monde physique échouent très différemment des agents conversationnels : collisions, perte de localisation, délais dépassés et coûts d’inférence qui s’emballent. Ces échecs sont difficiles à étudier sans environnement reproductible.
Solution
Un simulateur avec des scénarios reproductibles, des tests de capacités scriptés, des essais de qualification avec de vrais modèles et un registre de performance qui distingue exigences, preuves et résultats datés.
Architecture
Un backend de simulation avec physique, capteurs et cartographie expose le robot à un dispositif d’agents à deux niveaux : un modèle local pour les décisions opérationnelles et un modèle superviseur pour le pilotage des tâches. Un cockpit React et une archive de tests suivent chaque exécution, avec des états d’énergie et des budgets pour maîtriser le coût d’inférence.
Ce que j’en retiens
Les agents incarnés rendent la rigueur d’évaluation incontournable. Séparer les tests scriptés des essais avec de vrais modèles et suivre honnêtement les régressions compte plus que n’importe quelle démo spectaculaire.
Technologies
- Python
- React
- 3D simulation
- Local and cloud models
- Mapping and navigation
- Regression evaluation
#embodied-agents #robotics #simulation #evaluation