Ouvrir le menu principal

MacGeneration

Recherche

MM1 : le modèle d’IA multimodal d’Apple très doué pour l’analyse d’images

Félix Cattafesta

mardi 26 mars 2024 à 11:30 • 34

AAPL

Apple continue de distiller ses efforts dans le domaine de l’IA à travers différents papiers de recherche. Après Ferret ou MGIE, l’entreprise a récemment levé le voile sur MM1, un nouveau modèle multimodal pouvant travailler avec du texte et de l’image.

Résultats obtenus par MM1.

MM1 peut répondre à des demandes naturelles pouvant porter sur des photos. Le papier de recherche donne un exemple où on lui montre un cliché représentant une table sur laquelle sont posées plusieurs bouteilles de bière avant de lui montrer un menu de restaurant. On lui demande ensuite combien il faut s’attendre à payer pour tout cela, ce à quoi le modèle répond correctement. On peut aussi voir MM1 décrire l’ambiance d’une image de manière détaillée, ou effectuer différentes déductions logiques. Le modèle est également sollicité pour aider à utiliser une machine à café, et se débrouille bien pour répondre à plusieurs requêtes à la suite.

Ce type de modèle est similaire sur certains points au Llama de Meta ou au Gemini de Google. Il peut servir à alimenter un chatbot général ou plus spécifique, par exemple en effectuant des actions. On peut imaginer que la nouveauté finira par trouver sa place dans l’écosystème Apple, comme pour décrire des photos ou des documents. Ce type de technologie ouvre notamment de nombreuses portes dans le domaine de l’accessibilité.

Be My AI : quand GPT-4 décrit fidèlement l

Be My AI : quand GPT-4 décrit fidèlement l'environnement des personnes aveugles

Un extrait du document de recherche.

Le modèle est composé d’une famille de différentes tailles, globalement assez petit si l’on se fie à leur nombre des paramètres. Les chercheurs expliquent obtenir tout de même de bons résultats grâce à un gros travail d’optimisation. Le but est sans doute de le faire tourner en local sans passer par le nuage, ce qui est un bon point niveau confidentialité. Cela demande cependant pas mal de puissance sous le capot : il semblerait qu’Apple envisage des déclinaisons mettant le paquet sur l’IA pour ses prochaines puces de smartphone.

Source :

Accroche : Copilot.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Émulation : comment jouer à ses vieux jeux sur iPhone ou iPad ?

10:49

• 9


Pour le producteur de La Maison, « Apple est la pire boîte marketing de l’univers »

00:08

• 75


Upscaling vidéo et restauration photo plus rapides sur Mac/PC : VideoProc AI mis à jour est à - 62 % 📍

25/04/2025 à 17:44

• 0


Derniers jours Apple week à la Fnac : -10 % sur des MacBook Pro, iPhone 15 Pro à 16 Pro Max et iPad Pro M4

25/04/2025 à 16:00

• 7


dav1d, le décodeur AV1 le plus optimisé qu'Apple refuse d'utiliser

25/04/2025 à 14:00

• 5


Microsoft a conçu une publicité par IA et personne n’a rien vu

25/04/2025 à 13:45

• 29


Razer lance sa première souris ergonomique verticale face à Logitech

25/04/2025 à 12:15

• 10


Yahoo! veut acheter Chrome

25/04/2025 à 10:45

• 36


Slate veut repartir de zéro avec un pick-up électrique compact et épuré pour moins de 20 000 $

25/04/2025 à 10:00

• 112


iPadOS 19 verrait apparaître une barre de menus sur iPad

25/04/2025 à 09:24

• 48


Huit ans après DeX, Apple s’ouvrirait peu à peu à un bureau sur écran externe pour iOS 19

25/04/2025 à 09:23

• 52


John Giannandrea aurait aussi perdu l'équipe en charge de la robotique chez Apple

25/04/2025 à 07:39

• 12


Les procès antitrust contre les GAFAM se poursuivent aux USA, malgré les changements de présidence

24/04/2025 à 21:30

• 28


Prise en main de Supercharge, l’app à tout faire qui rend bien des services sur le Mac

24/04/2025 à 20:30

• 18


TSMC annonce la gravure en 1.4 nm, quand la Russie espère atteindre les 28 nm en 2030

24/04/2025 à 20:20

• 56


Données personnelles : comment Incogni supprime ce que les autres ne peuvent pas 📍

24/04/2025 à 18:17

• 0