Ouvrir le menu principal

MacGeneration

Recherche

Ferret, le nouveau modèle d’intelligence artificielle multimodal d’Apple

Félix Cattafesta

mardi 02 janvier 2024 à 14:48 • 45

Logiciels

Si Apple reste bien discrète dans la grande course à l’IA qui secoue toute l’industrie depuis 1 an, Cupertino continue d’affuter ses armes. Sans tambour ni trompette, l’entreprise a mis en ligne un nouveau modèle de langage baptisé Ferret au mois d’octobre. Celui-ci a pour particularité d’être multimodal, et donc de mélanger textes et images.

La démo de Ferret, disponible sur Github. L’IA a réussi à effectuer l’observation suivante : « L'objet (obj0) est un chien et l'objet (obj1) est un furet. Le chien et le furet semblent être assis ensemble dans la neige, ce qui suggère une interaction amicale ou de la camaraderie. »

Ce modèle peut déterminer les éléments composant une image, les délimiter et les identifier pour qu’ils puissent être utilisés dans une requête. Plusieurs utilisations sont possibles : l’utilisateur pourra par exemple mettre en valeur un animal sur une image, et Ferret lui indiquera de quelle espèce il s’agit. Il a la capacité de séparer un élément du reste d’un groupe, et de préciser le contexte d’une photo.

Le chercheur d’Apple Zhe Gan affirme que le modèle « montre souvent une meilleure compréhension précise des petites régions de l'image » que GPT-4V, le modèle spécialisé d’OpenAI. Deux versions ont été publiées, une avec 7 milliards de paramètres et une seconde avec 13 milliards. Apple indique que son modèle a été entraîné sur 8 GPU NVDIA A100 avec 80 Go de mémoire. Ferret est open source, même si sa mise à disposition se fait sous licence non commerciale (il ne peut pas être commercialisé en l’état).

Ce type de technologie pourrait sans problème trouver son utilité au sein de l’app Photos d’Apple en améliorant la recherche d’images. Elle pourrait également servir à un éventuel AppleGPT, qui serait en développement à Cupertino selon les rumeurs. Aux dernières nouvelles, Apple aurait prévu de mettre le paquet sur l’intelligence artificielle dans ses prochains systèmes d’exploitation et dépenserait sans compter pour percer dans le domaine.

iOS 18, Siri, iWork : Apple se prépare à ajouter de l

iOS 18, Siri, iWork : Apple se prépare à ajouter de l'IA dans tout son écosystème

La Pomme a récemment publié deux travaux de recherche liés à l’IA. Le premier concerne une technique permettant d’utiliser la mémoire flash d’un appareil pour faire tourner un large modèle de langage (LLM), tandis que le second est utilisé pour créer un avatar 3D à partir de quelques secondes de vidéo d’un individu en mouvement. Apple expérimente également avec les outils de génération d’images dans le style de DALL-E ou de Midjourney.

Source :

Image d’accroche : Dall-E 3.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

iOS 18.4 : la première bêta est disponible pour les développeurs, avec Apple Intelligence en français

22/02/2025 à 10:09

• 137


Sortie de veille : notre premier avis sur l’iPhone 16e

22/02/2025 à 08:00

• 37


macOS 15.4 : la première bêta est disponible pour les développeurs

21/02/2025 à 19:25

• 19


Apple désactive le chiffrement de bout en bout d’iCloud au Royaume-Uni

21/02/2025 à 17:02

• 86


Mozilla : Mitchell Baker quitte la fondation et l’entreprise qu’elle a cofondée

21/02/2025 à 16:45

• 20


Oppo fait entrer macOS sur l'écran de son nouveau smartphone pliable

21/02/2025 à 15:30

• 14


iPhone 16e : les précommandes sont ouvertes, 80 à 100 € de réduction chez les opérateurs

21/02/2025 à 14:04

• 17


Avec l’arrivée de l’iPhone 16e, que reste-t-il à l’iPhone 15 vendu plus cher ?

21/02/2025 à 13:55

• 33


Apple : le modem C1 est le point de départ d'une plateforme majeure pour nos produits

21/02/2025 à 13:54

• 48


Le malware FrigidStealer se fait passer pour une mise à jour de Safari ou Chrome

21/02/2025 à 13:00

• 1


QNAP annonce un switch Ethernet 10 Gb/s 5 ports à un prix correct

21/02/2025 à 10:20

• 10


Canal+ supprime la 4K aux abonnés sans engagement

21/02/2025 à 09:44

• 109


L’UE recale un projet de loi voulant récupérer les données de navigation des français

20/02/2025 à 22:15

• 53


Refurb : large choix de Mac mini M4 de 589 € à 2 349 €

20/02/2025 à 21:00

• 32


Tim Cook vu à la Maison Blanche pour y rencontrer Donald Trump

20/02/2025 à 20:15

• 49


iPhone 16e : l’absence de MagSafe, un faux problème ?

20/02/2025 à 17:44

• 32