La conférence d'ouverture d'Adobe MAX 2017 a été l'occasion de voir ce que le futur réserve à Photoshop. Moteur de cette (r)évolution à venir, le système d'intelligence artificielle "Sensei", déjà utilisé pour certaines fonctions des logiciels existants.
Dans le cas de Photoshop, il prend la forme d'un assistant comme peuvent en avoir macOS avec Siri ou Windows avec Cortana, à ceci près qu'il est ici spécifiquement optimisé pour aider les utilisateurs de logiciels de création graphique.
Trois axes de recherches ont été montrés : l'usage de la voix et du langage naturel pour demander un coup de main à Sensei ; sa capacité à anticiper des actions et fournir des outils dont vous pourriez avoir besoin et le "creative graph", véritable journal de bord de vos travaux que l'on peut manipuler pour triturer ses images jusqu'au dernier moment.
David Nuescheler, l'un des chercheurs d'Adobe, démarre avec le croquis sommaire d'un personnage féminin dans un cadre spatial. Il sera utilisé pour créer des contenus destinés à une app sur iPad.
Tout à droite de l'interface, un gros point bleu, le symbole de Sensei peut être cliqué. Il ouvre un tiroir contextuel. Celui-ci contient un champ de requête façon Siri mais on peut utiliser la voix pour poser des questions à l'assistant.
Sans même faire cet effort, Sensei a automatiquement généré, et affiché dans cette colonne, des mots-clefs basés sur les éléments qu'il a réussi à identifier dans le croquis (femme, visage, espace, étoiles, vaisseau spatial, etc). Il montre également, par des vignettes, lesquelles de ces portions de l'image globale ont été extraites et reconnues.
Le moment d'après, Nuescheler demande à Sensei — avec la voix — de lui trouver des images relative à son croquis. Le moteur lui présente alors une photo du cosmos, puisée dans la photothèque Adobe Stock. Chaque élément ajouté au document de travail contient ce petit bouton Sensei, comme par exemple ce visuel. Un clic supplémentaire et Sensei ouvre une nouvelle interface qui offre plus de détails sur cette photographie.
À nouveau, Sensei tâche d'identifier les objets qui la composent (des étoiles, une nébuleuse, une constellation…). Chacun de ces mots clefs est isolé et peut servir de critère si l'on veut pousser plus loin ses recherches.
Ainsi, le terme étoiles est pourvu de trois curseurs (à gauche dans l'image ci-dessous) pour que Sensei trouve d'autres images où les étoiles sont plus grosses ou, au contraire, pour que leur densité soit plus importante et avec des couleurs plus (ou moins) vives. En variant le poids de ces critères, Sensei peut orienter ses recherches dans la base de données d'Adobe et affiner les résultats.
Aller à la pêche dans Adobe Stock c'est bien, mais on peut avoir aussi sa propre photothèque et besoin justement d'utiliser ses visuels pour ce travail. Lorsqu'on glisse l'une de ces photos dans le document, le bouton Sensei vient s'y coller. Un clic et à nouveau l'assistant ouvre l'interface de travail sur cet objet.
Sensei a ici identifié un studio photo, la présence d'une échelle à l'arrière-plan, puis le visage du sujet, qu'il s'agit d'une femme et qu'elle porte ce qui ressemble à une combinaison spatiale. Tout cela forme autant de mots-clefs. Là, explique David Nuescheler, voilà que votre client préfèrerait que le mannequin regarde de l'autre côté, vous obligeant à devoir parcourir une à une les montagnes de photos prises durant la séance de shooting.
Ou pas. Sensei ayant reconnu un visage il va afficher des boutons de contrôle permettant de jouer sur son orientation (droite, gauche) ou sur des parties et caractéristiques (sourire, yeux). Après avoir cliqué sur l'orientation, un curseur permet de faire défiler à haute vitesse toutes les images de votre séance photo où la jeune femme a le visage tourné dans l'autre sens.
Après quoi, lorsqu'on a repéré une photo qui conviendra mieux, on peut l'appliquer sur le fond d'espace que l'on avait précédemment retenu. Là encore, Sensei se propose de donner un coup de main. À droite dans l'interface (le pavé rouge) il propose de créer tout seul un masque autour du sujet pour l'intégrer convenablement dans le fond.
L'assistance de Sensei ne s'arrête pas là. Le moteur peut proposer des polices de caractères parmi celle que vous utilisez souvent et qui iront avec la tonalité graphique du visuel en question.
Si votre client veut subitement décliner aussi sur iPhone ces différentes documents, il suffit de basculer dans XD, l'application de prototypage d'interfaces. On demande à Sensei de « Créer une maquette pour l'iPhone 8 ». Aussitôt dit, aussitôt fait, les 6 écrans précédents pour l'iPad sont recomposés en autant d'écrans pour un iPhone et le chemin de navigation entre eux est préservé.
Dernière étape de cette démonstration spectaculaire, le creative graph. Tout le cheminement qui a conduit du croquis initial au visuel final est présenté sous la forme d'un arbre où l'on va pouvoir à nouveau jouer avec les variables qui sont autant de feuilles.
La branche dépendant de la photographie du mannequin contient par exemple le mot-clef déjà utilisé précédemment, celui du visage. Un clic et on peut encore à ce stade changer son orientation.
En remontant à la racine de cet arbre, au niveau du croquis, où Sensei avait détecté un visage féminin, on peut demander à le remplacer par un visage masculin qui sera pioché dans votre stock d'images. Le visuel final est alors modifié pour montrer un homme plutôt qu'une femme dans la tenue spatiale.
Comme toute démonstration bien huilée, on ne sait quelles sont les limites et les contraintes du système. Si toutes ces fonctions sont envisageables prochainement ou si certaines ont encore besoin de quelques années de développement. Adobe n'a pas dit non plus quand on disposerait de tout ou partie de ces outils. Reste que la présentation était assez étonnante et que l'on avait du mal parfois à croire que l'on était dans Photoshop. La démo de ce prototype débute à 2h13 dans la vidéo.
