Ouvrir le menu principal

MacGeneration

Recherche

MM1 : le modèle d’IA multimodal d’Apple très doué pour l’analyse d’images

Félix Cattafesta

mardi 26 mars 2024 à 11:30 • 34

AAPL

Apple continue de distiller ses efforts dans le domaine de l’IA à travers différents papiers de recherche. Après Ferret ou MGIE, l’entreprise a récemment levé le voile sur MM1, un nouveau modèle multimodal pouvant travailler avec du texte et de l’image.

Résultats obtenus par MM1.

MM1 peut répondre à des demandes naturelles pouvant porter sur des photos. Le papier de recherche donne un exemple où on lui montre un cliché représentant une table sur laquelle sont posées plusieurs bouteilles de bière avant de lui montrer un menu de restaurant. On lui demande ensuite combien il faut s’attendre à payer pour tout cela, ce à quoi le modèle répond correctement. On peut aussi voir MM1 décrire l’ambiance d’une image de manière détaillée, ou effectuer différentes déductions logiques. Le modèle est également sollicité pour aider à utiliser une machine à café, et se débrouille bien pour répondre à plusieurs requêtes à la suite.

Ce type de modèle est similaire sur certains points au Llama de Meta ou au Gemini de Google. Il peut servir à alimenter un chatbot général ou plus spécifique, par exemple en effectuant des actions. On peut imaginer que la nouveauté finira par trouver sa place dans l’écosystème Apple, comme pour décrire des photos ou des documents. Ce type de technologie ouvre notamment de nombreuses portes dans le domaine de l’accessibilité.

Be My AI : quand GPT-4 décrit fidèlement l

Be My AI : quand GPT-4 décrit fidèlement l'environnement des personnes aveugles

Un extrait du document de recherche.

Le modèle est composé d’une famille de différentes tailles, globalement assez petit si l’on se fie à leur nombre des paramètres. Les chercheurs expliquent obtenir tout de même de bons résultats grâce à un gros travail d’optimisation. Le but est sans doute de le faire tourner en local sans passer par le nuage, ce qui est un bon point niveau confidentialité. Cela demande cependant pas mal de puissance sous le capot : il semblerait qu’Apple envisage des déclinaisons mettant le paquet sur l’IA pour ses prochaines puces de smartphone.

Source :

Accroche : Copilot.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

L’administration Trump aurait-elle utilisé l’IA pour créer la formule des nouvelles taxes ?

04/04/2025 à 22:30

• 22


Donald Trump accorde un délai supplémentaire de 75 jours à TikTok

04/04/2025 à 21:45

• 7


N'attendez pas Linux sur les M4 de sitôt : c'est visiblement douloureusement compliqué

04/04/2025 à 18:30

• 26


Microsoft a 50 ans

04/04/2025 à 17:39

• 33


Apple déploie l'audio spatial en Dolby Atmos sous Windows (mais il faut payer)

04/04/2025 à 17:00

• 10


MacBook Air : nouvelle promo sur le M4, le M2 encore au tarif canon de 899 €

04/04/2025 à 15:48

• 3


Pages ne sait plus publier un livre directement sur Apple Books

04/04/2025 à 14:45

• 7


Microsoft vend son mini PC dans le cloud, pour Windows 365

04/04/2025 à 13:15

• 19


Le SSD USB4 Corsair EX400U, parfait pour les Mac et les iPhone, en promotion

04/04/2025 à 11:45

• 11


Starlink passe à 29 €/mois avec une connexion moins prioritaire

04/04/2025 à 10:30

• 97


Ubiquiti commercialise son propre adaptateur USB4 vers Ethernet 10G

04/04/2025 à 09:51

• 3


Orange Téléphone donne maintenant le nom du spammeur qui vous appelle

04/04/2025 à 08:44

• 34


Apple a envoyé aux développeurs les premières invitations pour la WWDC 2025

04/04/2025 à 07:55

• 10


Promo : l'écran 4K LG UltraFine 32 avec une colonne ERGO est à 423 € (-250 €)

03/04/2025 à 22:30

• 28


Racheter TikTok, un cadeau empoisonné ?

03/04/2025 à 21:20

• 7


La Switch 2 est déjà disponible en précommande chez certains revendeurs, avec des promos 🆕

03/04/2025 à 20:23

• 69