Ouvrir le menu principal

MacGeneration

Recherche

Ferret, le nouveau modèle d’intelligence artificielle multimodal d’Apple

Félix Cattafesta

mardi 02 janvier 2024 à 14:48 • 45

Logiciels

Si Apple reste bien discrète dans la grande course à l’IA qui secoue toute l’industrie depuis 1 an, Cupertino continue d’affuter ses armes. Sans tambour ni trompette, l’entreprise a mis en ligne un nouveau modèle de langage baptisé Ferret au mois d’octobre. Celui-ci a pour particularité d’être multimodal, et donc de mélanger textes et images.

La démo de Ferret, disponible sur Github. L’IA a réussi à effectuer l’observation suivante : « L'objet (obj0) est un chien et l'objet (obj1) est un furet. Le chien et le furet semblent être assis ensemble dans la neige, ce qui suggère une interaction amicale ou de la camaraderie. »

Ce modèle peut déterminer les éléments composant une image, les délimiter et les identifier pour qu’ils puissent être utilisés dans une requête. Plusieurs utilisations sont possibles : l’utilisateur pourra par exemple mettre en valeur un animal sur une image, et Ferret lui indiquera de quelle espèce il s’agit. Il a la capacité de séparer un élément du reste d’un groupe, et de préciser le contexte d’une photo.

Le chercheur d’Apple Zhe Gan affirme que le modèle « montre souvent une meilleure compréhension précise des petites régions de l'image » que GPT-4V, le modèle spécialisé d’OpenAI. Deux versions ont été publiées, une avec 7 milliards de paramètres et une seconde avec 13 milliards. Apple indique que son modèle a été entraîné sur 8 GPU NVDIA A100 avec 80 Go de mémoire. Ferret est open source, même si sa mise à disposition se fait sous licence non commerciale (il ne peut pas être commercialisé en l’état).

Ce type de technologie pourrait sans problème trouver son utilité au sein de l’app Photos d’Apple en améliorant la recherche d’images. Elle pourrait également servir à un éventuel AppleGPT, qui serait en développement à Cupertino selon les rumeurs. Aux dernières nouvelles, Apple aurait prévu de mettre le paquet sur l’intelligence artificielle dans ses prochains systèmes d’exploitation et dépenserait sans compter pour percer dans le domaine.

iOS 18, Siri, iWork : Apple se prépare à ajouter de l

iOS 18, Siri, iWork : Apple se prépare à ajouter de l'IA dans tout son écosystème

La Pomme a récemment publié deux travaux de recherche liés à l’IA. Le premier concerne une technique permettant d’utiliser la mémoire flash d’un appareil pour faire tourner un large modèle de langage (LLM), tandis que le second est utilisé pour créer un avatar 3D à partir de quelques secondes de vidéo d’un individu en mouvement. Apple expérimente également avec les outils de génération d’images dans le style de DALL-E ou de Midjourney.

Source :

Image d’accroche : Dall-E 3.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Pour le producteur de La Maison, « Apple est la pire boîte marketing de l’univers »

00:08

• 13


Upscaling vidéo et restauration photo plus rapides sur Mac/PC : VideoProc AI mis à jour est à - 62 % 📍

25/04/2025 à 17:44

• 0


Derniers jours Apple week à la Fnac : -10 % sur des MacBook Pro, iPhone 15 Pro à 16 Pro Max et iPad Pro M4

25/04/2025 à 16:00

• 6


dav1d, le décodeur AV1 le plus optimisé qu'Apple refuse d'utiliser

25/04/2025 à 14:00

• 3


Microsoft a conçu une publicité par IA et personne n’a rien vu

25/04/2025 à 13:45

• 20


Razer lance sa première souris ergonomique verticale face à Logitech

25/04/2025 à 12:15

• 9


Yahoo! veut acheter Chrome

25/04/2025 à 10:45

• 32


Slate veut repartir de zéro avec un pick-up électrique compact et épuré pour moins de 20 000 $

25/04/2025 à 10:00

• 99


iPadOS 19 verrait apparaître une barre de menus sur iPad

25/04/2025 à 09:24

• 47


Huit ans après DeX, Apple s’ouvrirait peu à peu à un bureau sur écran externe pour iOS 19

25/04/2025 à 09:23

• 46


John Giannandrea aurait aussi perdu l'équipe en charge de la robotique chez Apple

25/04/2025 à 07:39

• 10


Les procès antitrust contre les GAFAM se poursuivent aux USA, malgré les changements de présidence

24/04/2025 à 21:30

• 27


Prise en main de Supercharge, l’app à tout faire qui rend bien des services sur le Mac

24/04/2025 à 20:30

• 17


TSMC annonce la gravure en 1.4 nm, quand la Russie espère atteindre les 28 nm en 2030

24/04/2025 à 20:20

• 51


Données personnelles : comment Incogni supprime ce que les autres ne peuvent pas 📍

24/04/2025 à 18:17

• 0


Amazon va fêter ses 25 ans en France avec une semaine de promos du 30 avril au 6 mai

24/04/2025 à 17:30

• 18