L'IA assistive est un problème d'edge

La version courte

Certains des produits IA les plus importants ne ressembleront pas à des chatbots.

Ils ressembleront à un fauteuil roulant qui voit un trottoir.

Ou à un bras robotique qui trouve la tasse.

Ou à un appareil d'assistance qui fonctionne quand le réseau est mauvais, la batterie faible, la lumière bizarre et l'utilisateur fatigué.

Le 27 juillet, Meta a publié un article sur l'utilisation de ses modèles de vision ouverts par les Human Engineering Research Laboratories de l'Université de Pittsburgh dans RAMMP, le Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities. Le projet est soutenu par l'ARPA-H, qui liste une subvention de jusqu'à 41 millions de dollars pour créer une plateforme robotique de mobilité et de manipulation assistives, avec un système d'exploitation open source pour technologies d'assistance et un environnement de jumeau numérique.

L'angle Meta, c'est que DINO et Segment Anything aident le système à percevoir le monde : portes, tasses, bordures, sol, objets et environnement autour de la personne qui utilise l'appareil.

C'est utile.

Mais la leçon plus importante n'est pas "un modèle de vision Meta aide un robot".

La leçon plus importante est celle-ci :

L'IA assistive est un problème d'edge.

Elle doit tourner près de la personne. Elle doit être assez rapide pour compter. Elle doit fonctionner sous contraintes physiques. Elle doit réduire la charge cognitive au lieu d'ajouter une nouvelle interface pénible. Et quand elle échoue, l'échec n'est pas un mauvais paragraphe dans une fenêtre de chat.

Cela peut être une chute.

Catégorie produit très clarifiante. Le benchmark, c'est la gravité.

Voilà ce que veut dire "IA du monde réel"

Les entreprises IA adorent dire "monde réel".

Parfois, cela veut dire un workflow enterprise avec des documents, Slack, Salesforce et un dashboard.

C'est réel.

Mais la robotique assistive est réelle d'une manière moins indulgente.

Le monde n'est pas une API. Les trottoirs sont irréguliers. Les boutons d'ouverture des portes sont placés bizarrement. Les cuisines sont encombrées. La lumière change. Les objets bougent. Les batteries se vident. Les moteurs chauffent. Les connexions réseau tombent. Les personnes ont des corps, préférences, maisons, routines, risques et seuils de frustration différents.

Si un assistant IA comprend mal un tableur, quelqu'un peut le corriger.

Si un système de mobilité comprend mal une bordure, les conséquences sont différentes.

C'est pour cela que RAMMP est une meilleure histoire IA qu'elle n'en a l'air. Elle force la discussion à sortir du leaderboard de modèles pour entrer dans la réalité du déploiement. La question pertinente n'est pas seulement :

"Le modèle reconnaît-il l'objet ?"

C'est :

Est-ce que tout le système aide une personne à se déplacer, atteindre, saisir, éviter, récupérer et décider avec moins d'effort et plus de sécurité ?

C'est un test beaucoup plus dur.

Le modèle est la perception, pas le produit

Le billet de Meta dit que RAMMP utilise plusieurs de ses modèles de vision open source, dont DINO et Segment Anything. DINO est utile parce qu'il peut apprendre des représentations visuelles à partir de données non labellisées. Segment Anything est utile parce qu'il peut identifier et délimiter des objets dans des images ou des vidéos avec peu de prompting.

Très bien.

Mais aucun de ces modèles n'est le produit.

Le produit, c'est la boucle :

L'appareil voit.

Le système interprète.

L'utilisateur sélectionne ou commande.

Le robot bouge.

L'environnement change.

Le système vérifie à nouveau.

L'utilisateur garde le contrôle.

C'est dans cette boucle que vit l'IA assistive.

Un masque de segmentation n'aide pas s'il arrive trop tard. Un modèle de détection n'aide pas s'il marche parfaitement en labo et mal dans un couloir. Une commande en langage naturel n'aide pas si l'utilisateur doit expliquer la scène trois fois. Un bras robotique n'aide pas s'il crée un nouveau risque de sécurité en essayant d'en réduire un ancien.

Voilà la vérité inconfortable de l'IA incarnée :

L'intelligence ne suffit pas.

Le timing compte.

Le matériel compte.

Les contrôles comptent.

La confiance compte.

Le modèle doit devenir une partie d'un système physique fiable.

L'edge n'est pas une note technique

Le billet de Meta passe du temps sur le déploiement edge, et c'est le bon réflexe.

Pour la mobilité assistive, l'IA dans le cloud ne suffit pas toujours.

Si un appareil doit identifier une bordure, un bouton de porte, un objet tombé ou une personne qui bouge à proximité, la latence n'est pas une métrique d'optimisation. Elle fait partie de la sécurité. Le système ne peut pas toujours attendre un modèle distant. Il ne peut pas supposer une connexion stable. Il ne peut pas vider la batterie parce que le modèle de démo était meilleur sur serveur.

C'est là que l'IA devient moins glamour et plus utile.

Il faut des modèles plus petits.

Il faut de la quantification.

Il faut du batching efficace.

Il faut de la discipline thermique.

Il faut une dégradation élégante.

Il faut un modèle assez bon au bon moment, sur le vrai appareil, pour la vraie personne.

C'est une frontière différente de "le plus gros modèle a répondu à la question la plus difficile".

C'est la frontière de l'intelligence utilisable.

Si le modèle marche seulement quand le matériel est confortable, le réseau parfait et l'environnement mis en scène, ce n'est pas encore de la technologie assistive.

C'est une démo prometteuse.

Les démos prometteuses, c'est bien.

Les gens ont besoin d'outils.

Ici, les jumeaux numériques ne sont pas du flou marketing

L'ARPA-H dit que RAMMP inclut un environnement de jumeau numérique pour tester et développer de manière sûre et à grande échelle. Cette expression peut sonner comme du brouillard de métavers enterprise.

Ici, elle a du sens.

On ne veut pas découvrir chaque mode d'échec sur une personne.

La robotique assistive a besoin de simulation parce que les tests réels sont chers, lents, risqués et éthiquement sensibles. Un jumeau numérique peut aider les équipes à tester navigation, manipulation, placement des capteurs, dynamique du fauteuil, interactions avec des objets et scénarios utilisateur avant de mettre le matériel face à quelqu'un qui en dépend.

Cela ne rend pas la simulation magique.

La simulation peut mentir. Une cuisine virtuelle n'est pas une vraie cuisine. Un utilisateur modélisé n'est pas une personne avec de la fatigue, de l'anxiété, de la douleur, des habitudes, de l'improvisation et des préférences. L'écart entre simulation et réalité, c'est souvent là que les rêves robotiques deviennent de la prose de rapport de subvention.

Mais la direction est bonne.

Pour les agents IA logiciels, on parle sans arrêt d'evals, de sandboxes, de red teams et d'environnements de tâches longues.

La robotique assistive a besoin de la version incarnée de tout cela :

des endroits sûrs où échouer avant que l'appareil touche la vie quotidienne.

L'accessibilité rend l'interface honnête

La meilleure partie de cette histoire est qu'elle rend la question d'interface impossible à éviter.

Beaucoup de produits IA peuvent encore s'en sortir en demandant à l'utilisateur de s'adapter à l'outil.

Apprends le style de prompt.

Ouvre la bonne app.

Copie le fichier.

Réessaie.

Utilise exactement la formulation que le modèle aime.

La technologie assistive ne devrait pas fonctionner comme ça.

Si une personne a déjà des contraintes de mobilité, le système IA ne doit pas ajouter une nouvelle taxe cognitive. Le billet de Meta dit que RAMMP explore le langage naturel et le contexte image pour que les utilisateurs interagissent plus directement avec l'environnement du robot. Le but n'est pas d'impressionner le modèle. Le but est de réduire les changements de contexte.

C'est le standard auquel plus de produits IA devraient être tenus.

Le système rejoint-il l'utilisateur là où il est ?

Ou oblige-t-il l'utilisateur à devenir prompt engineer pour son propre corps ?

Cette phrase paraît dure parce que les enjeux sont plus élevés ici.

Mais la leçon se généralise.

Les bonnes interfaces IA réduisent la friction au moment où l'utilisateur essaie réellement de faire quelque chose. Les mauvaises interfaces IA déplacent la friction dans une boîte de chat et appellent cela de l'empowerment.

La vie privée est aussi physique

Un robot assistif qui voit le monde voit aussi la vie privée.

Les maisons.

Les corps.

Les routines de soin.

Les médicaments.

Les visiteurs.

Les documents financiers sur la table.

Le fond intime et désordonné de la vie ordinaire.

Cela ne veut pas dire que la technologie ne doit pas exister. Cela veut dire que le modèle de données compte dès le début.

Le traitement sur l'appareil aide, parce que moins de données brutes doivent quitter la personne et son environnement. Les composants open source peuvent aider, parce que chercheurs et déployeurs peuvent inspecter davantage la stack. Mais aucun des deux ne résout automatiquement la vie privée.

Le système a quand même besoin de limites de données claires, de logs, de consentement, de règles de conservation, de contrôles de mise à jour, et d'une manière pour les utilisateurs et aidants de comprendre ce qui est capturé.

C'est une autre raison pour laquelle l'IA assistive est un bon cas test pour toute l'industrie.

Elle expose les parties paresseuses de l'optimisme IA.

"Le modèle peut voir" ne suffit pas.

Que peut-il voir ?

Où ces données sont-elles traitées ?

Qui peut les rejouer ?

Peuvent-elles servir à l'entraînement ?

L'utilisateur peut-il les supprimer ?

Que se passe-t-il quand un technicien support a besoin des logs ?

Ces questions ne sont pas anti-innovation.

Elles sont ce à quoi ressemble l'innovation quand l'utilisateur n'est pas une abstraction.

Ne laissez pas le marketing avaler l'utilisateur

Maintenant, la prudence.

C'est un billet de Meta sur des modèles Meta.

Meta a des intérêts.

Meta veut que l'IA open source ait l'air socialement utile, pratique, américaine, accessible et liée à du travail d'intérêt public. Cela ne rend pas le travail faux. L'Université de Pittsburgh, HERL, l'ARPA-H, ATDev, Kinova, LUCI et le consortium plus large sont réels. Le problème des technologies d'assistance est réel. Les bénéfices potentiels sont réels.

Mais le cadre reste un cadre vendeur.

Les questions difficiles restent là :

• Le système fonctionne-t-il vraiment hors des démonstrations choisies ?
• À quelle fréquence échoue-t-il, et à quel niveau de sécurité ?
• Combien de calibration faut-il pour chaque utilisateur ?
• Qui maintient l'appareil ?
• Combien coûtera le système final ?
• Comment gère-t-il les maisons qui ne ressemblent pas aux environnements de test ?
• Que fait-il quand le modèle voit de l'incertitude ?
• Combien de contrôle l'utilisateur garde-t-il quand l'autonomie augmente ?

Ces questions décideront si cela devient un outil qui change des vies ou une belle vidéo de recherche.

Probablement pas du jour au lendemain.

Probablement pas de manière égale.

Presque jamais aussi proprement que le texte de lancement le suggère.

C'est normal.

Le but n'est pas d'exiger la perfection immédiate. C'est de se souvenir du vrai standard.

L'indépendance n'est pas une métrique de démo.

Ce que cela change

Pour les builders, RAMMP rappelle que la prochaine interface IA ne sera peut-être pas un autre onglet de chat.

Ce sera peut-être un appareil, une pièce, une boucle de capteurs, un fauteuil roulant, une prothèse, un véhicule, un outil industriel, un workflow médical ou un bras robotique.

Cela change les questions de design :

• Le modèle peut-il tourner là où l'action se passe ?
• Peut-il échouer sans danger ?
• L'utilisateur peut-il reprendre la main immédiatement ?
• Peut-il expliquer l'incertitude sans augmenter la charge cognitive ?
• Peut-il apprendre de l'environnement de l'utilisateur sans transformer la vie privée en matière première d'entraînement ?
• Peut-il être testé en simulation avant le déploiement réel ?
• Peut-il être réparé, mis à jour, audité et inspirer confiance dans la durée ?

L'industrie IA a passé ces dernières années à prouver que les modèles pouvaient parler.

La preuve suivante est plus dure : montrer que les modèles peuvent aider dans le monde physique sans faire porter la complexité à l'utilisateur.

La robotique assistive est l'un des endroits les plus clairs pour observer cette preuve.

Parce que le but n'est pas le spectacle.

C'est une personne qui traverse sa journée avec un peu plus d'indépendance, un peu moins d'effort, et un système qui fonctionne quand le trottoir se montre désagréable.

Ce n'est pas un titre de benchmark.

C'est une meilleure définition produit.