Happy Borne, boite à selfie évolutive

Une borne pas comme les autres

Il y a déjà plus d’un an, Yannick Herry avait lancé Happy Borne, une borne à selfie personnalisée et connectée (un petit rappel ici). Un concept simple mais efficace, l’utilisateur prend une photo, la personnalise via des stickers et des emojis puis l’envoie via mail ou l’imprime directement sur place.

En quelques mois, l’engouement envers cette borne fut incroyable. Elle a réussi à se faire une place sur de nombreuses courses à pieds au niveau local (Angers), regional mais aussi national. Voici quelques courses où Happy Borne a été présente : marathon du médoc, marathon de Tours, marathon de Nantes… En plus de ces événements sportifs cette borne est aussi très appréciés durant les événements d’entreprise, mais aussi durant les mariages et où est ainsi laissé à l’utilisateur un souvenir qu’il peut ramener chez lui.

En constante évolution…

On va maintenant parler de la constante évolution de cette borne depuis un peu plus d’un an. Pour rappel, la première version contenait une application iPad qui consistait à :

• Ajouter des cadres personnalisés aux photos prises
• Dessiner, écrire et ajouter des stickers
• Partager sur Twitter, Facebook, par email et télécharger par un QR Code
• Imprimer
• Administrer chaque événement

Suite aux premiers retours des utilisateurs, nous avons commencé à faire “vivre” l’application contenue dans l’iPad. Tout d’abord nous nous sommes rendu compte que le partage via Twitter et Facebook n’était jamais utilisé (sûrement le fait qu’il faille se connecter sur son propre compte pour pouvoir partager la photo), nous avons donc supprimé cette fonctionnalité. Nous avons d’autre part amélioré la stabilité de l’application, mais aussi l’envoi de mail et l’impression de photo. Ces changements / améliorations sont plutôt mineurs. Nous pouvons résumer cette première année de vie de l’application par stabilité.

Avec un an d’ancienneté et fort de ses nombreux événements, Yannick, le fondateur a eu la très bonne idée d’améliorer encore plus la simplicité de prise de photo en la rendant plus ludique. Pour rappel, dans la première version, il fallait appuyer sur l’écran pour lancer un décompte de la prise de photo. Dans la nouvelle mouture de l’application, la prise de photo devait se faire aussi sans avoir à toucher l’écran. Nous avons donc décidé d’utiliser la caméra, et avec un geste de l’utilisateur, lancer la capture de photo.

… avec une pointe d‘intelligence artificielle

Nous nous sommes donc mis en tête de détecter les gestes de l’utilisateur, malheureusement il n’existe pas de solution toute faite pour ce genre de problème. Le fait de détecter les gestes via la caméra allait se résumer à faire du traitement de l’image afin de détecter, dans notre cas, le fait que l’utilisateur possède des bras levés ou non. Mais depuis quelques années, l’intelligence artificielle est devenue de plus en plus accessible pour les développeurs. Que ce soit sur Android ou iOS, des librairies sont accessibles (TensorFlow Lite et CoreML) afin que l’on puisse intégrer de l’intelligence artificielle dans nos applications.

Sur iOS, nous avons utiliser CoreML, la librairie d’Apple. Elle permet d’utiliser des modèles sous le format .mlmodel dans l’application. Il existe de nombreux modèles open source fourni par Apple, cela va d’un modèle permettant de prédire la profondeur d’une image, de prédire certains objets contenu dans une image, de détecter les chiffres écrits à la main, d’extraire du texte contenu dans une image… Nous pouvons aussi créer nos propres modèles en fonction des besoins de l’application (détection de gestes, prédiction sur les types de fleurs, etc.) ou bien convertir des modèles créer sous TensorFlow en CoreML.

Dans notre cas, nous avons converti un modele TensorFlow permettant de detecter la posture d’un humain. Un gif vaut mille mots, nous allons donc vous montrer les résultats des premiers tests que l’on a effectués :

Comme vous pouvez le voir, nous arrivons à tracker, pour chaque personne, chaque membre de notre corps. Nous avons ainsi la base pour détecter si l’utilisateur a les bras en l’air ou non.

Quelques modifications et ajustements ont dû être faits pour intégrer cette detection dans l’application Happy Borne. Grâce à cette détection nous pouvons désormais déclencher la prise de photo sans avoir à toucher l’écran.

La suite ?

Nous recevons actuellement des retours utilisateurs assez positifs, le système peut encore être peaufiné, mais dans l’ensemble la détection des gestes (grâce à l’intelligence artificielle) pour lancer la capture de photo semble très bien fonctionner.

Les possibilités sont infinies grâce à l’intelligence artificielle. La démocratisation de cette technologie auprès des développeurs a été faite grâce au développement des outils fournis par Apple et Google depuis déjà 2–3 ans. Avec quelques connaissances, nous pouvons faire des applications qu’il n’aurait pas été possible auparavant.

Yannick ayant de nombreuses idées dans les cartons, nous pensons que l’application Happy Borne a encore de belles années devant elle.