Ouvrir le menu principal

MacGeneration

Recherche

Ferret, le nouveau modèle d’intelligence artificielle multimodal d’Apple

Félix Cattafesta

mardi 02 janvier 2024 à 14:48 • 45

Logiciels

Si Apple reste bien discrète dans la grande course à l’IA qui secoue toute l’industrie depuis 1 an, Cupertino continue d’affuter ses armes. Sans tambour ni trompette, l’entreprise a mis en ligne un nouveau modèle de langage baptisé Ferret au mois d’octobre. Celui-ci a pour particularité d’être multimodal, et donc de mélanger textes et images.

La démo de Ferret, disponible sur Github. L’IA a réussi à effectuer l’observation suivante : « L'objet (obj0) est un chien et l'objet (obj1) est un furet. Le chien et le furet semblent être assis ensemble dans la neige, ce qui suggère une interaction amicale ou de la camaraderie. »

Ce modèle peut déterminer les éléments composant une image, les délimiter et les identifier pour qu’ils puissent être utilisés dans une requête. Plusieurs utilisations sont possibles : l’utilisateur pourra par exemple mettre en valeur un animal sur une image, et Ferret lui indiquera de quelle espèce il s’agit. Il a la capacité de séparer un élément du reste d’un groupe, et de préciser le contexte d’une photo.

Le chercheur d’Apple Zhe Gan affirme que le modèle « montre souvent une meilleure compréhension précise des petites régions de l'image » que GPT-4V, le modèle spécialisé d’OpenAI. Deux versions ont été publiées, une avec 7 milliards de paramètres et une seconde avec 13 milliards. Apple indique que son modèle a été entraîné sur 8 GPU NVDIA A100 avec 80 Go de mémoire. Ferret est open source, même si sa mise à disposition se fait sous licence non commerciale (il ne peut pas être commercialisé en l’état).

Ce type de technologie pourrait sans problème trouver son utilité au sein de l’app Photos d’Apple en améliorant la recherche d’images. Elle pourrait également servir à un éventuel AppleGPT, qui serait en développement à Cupertino selon les rumeurs. Aux dernières nouvelles, Apple aurait prévu de mettre le paquet sur l’intelligence artificielle dans ses prochains systèmes d’exploitation et dépenserait sans compter pour percer dans le domaine.

iOS 18, Siri, iWork : Apple se prépare à ajouter de l

iOS 18, Siri, iWork : Apple se prépare à ajouter de l'IA dans tout son écosystème

La Pomme a récemment publié deux travaux de recherche liés à l’IA. Le premier concerne une technique permettant d’utiliser la mémoire flash d’un appareil pour faire tourner un large modèle de langage (LLM), tandis que le second est utilisé pour créer un avatar 3D à partir de quelques secondes de vidéo d’un individu en mouvement. Apple expérimente également avec les outils de génération d’images dans le style de DALL-E ou de Midjourney.

Source :

Image d’accroche : Dall-E 3.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Apple Intelligence dispo en France : toutes les nouvelles fonctions pour votre iPhone et votre Mac

19:27

• 48


macOS 15.4 est disponible avec Apple Intelligence et les catégories dans Mail

19:12

• 23


Adobe Substance 3D Painter abandonne les Mac Intel

18:30

• 2


Ventes flash : un SSD externe 4 To autour de 200 € et d'autres bons plans sur le stockage

18:23

• 29


Sauvegardez vos données avant qu’il ne soit trop tard

17:30

• 27


Il va devenir de plus en plus compliqué de configurer Windows 11 sans compte Microsoft

17:00

• 63


Fibre : Bouygues Telecom passe son Wi-Fi à la vitesse supérieure… ainsi que ses prix

16:00

• 36


Comme prévu, l’ADSL est coupé aujourd’hui dans le centre-ville de Rennes

14:17

• 62


Encadrement du pistage : Apple écope d’une amende de 150 millions d’euros pour abus de position dominante

12:46

• 53


Promo : le Mac mini M4 avec 512 Go de stockage à 812 € au lieu de 949

11:28

• 9


Guillaume Gete organise un séminaire de deux jours à Paris pour les gestionnaires de parcs Apple

08:17

• 12


Synchronisez et sécurisez vos appareils Apple avec QNAP (Qsync & MyQNAPcloud Storage)📍

08:00


iOS 18.4 : Google Maps peut remplacer Plans comme app par défaut

07:28

• 64


L’app santé dopée à l’IA et les prochains produits M5 : la semaine Apple

30/03/2025 à 20:00

• 44


Faux mails : le guide pour sécuriser vos données 📍

30/03/2025 à 11:47


Sauvegarde en ligne : peut-on trouver mieux que Backblaze en 2025 ?

30/03/2025 à 10:00

• 52