Vision de Claude 3.5 SONNET Comment utiliser la vision Utilisez les capacités de vision de Claude
•
0 j'aime•70 vues
Vision de Claude 3.5 SONNET
La famille de modèles Claude 3 est dotée de nouvelles capacités de vision qui permettent à Claude de comprendre et d’analyser des images, ouvrant ainsi des possibilités passionnantes pour l’interaction multimodale.
https://www.ugaia.eu/2024/07/claude-35.html
Ce guide décrit comment utiliser des images dans Claude, y compris les meilleures pratiques, les exemples de code et les limitations à garder à l’esprit.
Comment utiliser la vision
Utilisez les capacités de vision de Claude via :
• claude.ai. Téléchargez une image comme vous le feriez pour un fichier, ou faites glisser et déposez une image directement dans la fenêtre de discussion.
• L’établi de la console. Si vous sélectionnez un modèle qui accepte les images (modèles Claude 3 uniquement), un bouton pour ajouter des images apparaît en haut à droite de chaque bloc de message Utilisateur.
Demande d’API. Voir les exemples dans ce guide.
1 sur 4
Télécharger pour lire hors ligne
1
2
3
4
Contenu connexe
Vision de Claude 3.5 SONNET Comment utiliser la vision Utilisez les capacités de vision de Claude
1. Vision de Claude 3.5 SONNET
La famille de modèles Claude 3 est dotée de nouvelles capacités de vision qui permettent à Claude
de comprendre et d’analyser des images, ouvrant ainsi des possibilités passionnantes pour
l’interaction multimodale.
Ce guide décrit comment utiliser des images dans Claude, y compris les meilleures pratiques, les
exemples de code et les limitations à garder à l’esprit.
Comment utiliser la vision
Utilisez les capacités de vision de Claude via :
claude.ai. Téléchargez une image comme vous le feriez pour un fichier, ou faites glisser et déposez
une image directement dans la fenêtre de discussion.
•
L’établi de la console. Si vous sélectionnez un modèle qui accepte les images (modèles Claude 3
uniquement), un bouton pour ajouter des images apparaît en haut à droite de chaque bloc de
message Utilisateur.
•
Demande d’API. Voir les exemples dans ce guide.
•
Avant de télécharger
Évaluer la taille de l’image
Vous pouvez inclure plusieurs images dans une seule requête (jusqu’à 5 pour claude.ai et 20 pour les
requêtes API). Claude analysera toutes les images fournies lors de la formulation de sa réponse. Cela
peut être utile pour comparer ou contraster des images.
Pour des performances optimales, nous vous recommandons de redimensionner les images avant de
les charger si elles dépassent les limites de taille ou de jeton. Si le bord long de votre image est
supérieur à 1568 pixels, ou si votre image est supérieure à ~1 600 jetons, elle sera d’abord réduite,
en préservant le rapport hauteur/largeur, jusqu’à ce qu’elle soit dans les limites de taille.
Si votre image d’entrée est trop grande et doit être redimensionnée, cela augmentera la latence
du temps jusqu’au premier jeton, sans vous donner de performances de modèle supplémentaires.
De très petites images de moins de 200 pixels sur un bord donné peuvent dégrader les
performances.
Pour améliorer le temps jusqu’au premier jeton, nous vous recommandons de redimensionner les
images à 1,15 mégapixels maximum (et à moins de 1568 pixels dans les deux dimensions).
Voici un tableau des tailles d’image maximales acceptées par notre API qui ne seront pas
redimensionnées pour les formats d’image courants. Avec le modèle Claude 3.5 Sonnet, ces images
utilisent environ 1 600 jetons et environ 4,80 $/1K image.
Format d’image Taille de l’image
1:1 1092 x 1092 px
3:4 951 x 1268 px
2:3 896 x 1344 px
9:16 819 x 1456 px
1:2 784 x 1568 px
Calculer les coûts d’image
Vision de Claude 3.5 SONNET
mercredi 3 juillet 2024 07:24
2. Chaque image que vous incluez dans une demande adressée à Claude compte dans votre utilisation
de jeton. Pour calculer le coût approximatif, multipliez le nombre approximatif de jetons d’image par
le prix par jeton du modèle que vous utilisez.
Si votre image n’a pas besoin d’être redimensionnée, vous pouvez estimer le nombre de jetons
utilisés grâce à cet algorithme : tokens = (width px * height px)/750
Voici des exemples de tokenisation et de coûts approximatifs pour différentes tailles d’image dans
les contraintes de taille de notre API basées sur le prix par jeton Claude 3.5 Sonnet de 3 $ par million
de jetons d’entrée :
Taille de l’image # de jetons Coût / image Coût / Images 1K
200x200 px(0,04 mégapixels) ~54 ~$0.00016 ~$0.16
1000x1000 px (1 mégapixel) ~1334 ~$0.004 ~$4.00
1092x1092 px(1,19 mégapixels) ~1590 ~$0.0048 ~$4.80
Garantir la qualité de l’image
Lorsque vous fournissez des images à Claude, gardez à l’esprit les points suivants pour de meilleurs
résultats :
Format d’image : utilisez un format d’image pris en charge : JPEG, PNG, GIF ou WebP.
•
Clarté de l’image : assurez-vous que les images sont claires et pas trop floues ou pixélisées.
•
Texte : si l’image contient du texte important, assurez-vous qu’il est lisible et qu’il n’est pas trop
petit. Évitez de recadrer le contexte visuel clé juste pour agrandir le texte.
•
Exemples d’invites
De nombreuses techniques d’incitation qui fonctionnent bien pour les interactions textuelles avec
Claude peuvent également être appliquées aux invites basées sur l’image.
Ces exemples illustrent les structures d’invites des meilleures pratiques impliquant des images.
Tout comme pour le placement de requêtes de documents, Claude fonctionne mieux lorsque les
images précèdent le texte. Les images placées après le texte ou interpolées avec du texte
fonctionneront toujours bien, mais si votre cas d’utilisation le permet, nous vous recommandons
une structure image-texte-texte.
À propos des exemples d’invite
Ces exemples d’invite utilisent le SDK Python d’Anthropic et récupèrent des images de Wikipédia à
l’aide de la bibliothèque. Vous pouvez utiliser n’importe quelle source d’image.httpx
Les exemples d’invites utilisent ces variables.
Python
importbase64
importhttpx
image1_url
="https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"image1
_media_type ="image/jpeg"image1_data =base64.b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url
="https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"image2
_media_type ="image/jpeg"image2_data =base64.b64encode(httpx.get(image2_url).content).decode("utf-8")
Pour utiliser des images lors d’une requête d’API, vous pouvez fournir des images à Claude en tant
qu’image encodée en base64 dans les blocs de contenu. Voici un exemple simple en Python
montrant comment inclure une image encodée en base64 dans une requête d’API Messages :image
Python
importanthropic
client =anthropic.Anthropic()message =client.messages.create(model="claude-3-5-
sonnet-20240620",max_tokens=
1024,messages=[{"role":"user","content":[{"type":"image","source":{"type":"base64","media_type":image1
_media_type,"data":image1_data,},},{"type":"text","text":"Describe this image."}],}],)print(message)
Consultez Exemples d’API Messages pour plus de détails sur le code et les paramètres.
Exemple : Une image
3. Exemple : plusieurs images
Exemple : plusieurs images avec une invite système
Exemple : Quatre images sur deux tours de conversation
Limitations
Bien que les capacités de compréhension d’images de Claude soient à la pointe de la technologie, il y
a certaines limites à prendre en compte :
Identification des personnes : Claude ne peut pas être utilisé pour identifier (c’est-à-dire nommer)
des personnes dans des images et refusera de le faire.
•
Précision : Claude peut avoir des hallucinations ou faire des erreurs lors de l’interprétation d’images
de mauvaise qualité, pivotées ou très petites de moins de 200 pixels.
•
Raisonnement spatial : Les capacités de raisonnement spatial de Claude sont limitées. Il peut avoir
du mal à effectuer des tâches nécessitant une localisation ou des mises en page précises, comme la
lecture d’un cadran d’horloge analogique ou la description des positions exactes des pièces
d’échecs.
•
Comptage : Claude peut donner un nombre approximatif d’objets dans une image, mais n’est pas
toujours précis avec précision, en particulier avec un grand nombre de petits objets.
•
Images générées par l’IA : Claude ne sait pas si une image est générée par l’IA et peut être incorrecte
si on lui demande. Ne vous y fiez pas pour détecter des images fausses ou synthétiques.
•
Contenu inapproprié : Claude ne traitera pas les images inappropriées ou explicites qui enfreignent
notre politique d’utilisation acceptable.
•
Applications de soins de santé : Bien que Claude puisse analyser des images médicales générales, il
n’est pas conçu pour interpréter des examens diagnostiques complexes tels que des
tomodensitogrammes ou des IRM. Les résultats de Claude ne doivent pas être considérés comme un
substitut à un avis ou à un diagnostic médical professionnel.
•
Examinez et vérifiez toujours attentivement les interprétations d’images de Claude, en particulier
pour les cas d’utilisation à enjeux élevés. N’utilisez pas Claude pour des tâches nécessitant une
précision parfaite ou une analyse d’images sensibles sans surveillance humaine.
FAQ
Quels types de fichiers image Claude prend-il en charge ?
Claude peut-il lire les URL des images ?
Y a-t-il une limite à la taille du fichier image que je peux télécharger ?
Combien d’images puis-je inclure dans une demande ?
Claude lit-il les métadonnées des images ?
Puis-je supprimer les images que j’ai téléchargées ?
Où puis-je trouver des détails sur la confidentialité des données pour les téléchargements
d’images ?
Et si l’interprétation de l’image de Claude semble fausse ?
Claude peut-il générer ou modifier des images ?
Plongez plus profondément dans la vision
Prêt à commencer à créer avec des images avec Claude ? Voici quelques ressources utiles :
Livre de recettes multimodal : ce livre de recettes contient des conseils sur la prise en main des
images et des techniques de bonnes pratiques pour garantir des performances de la plus haute
qualité avec les images. Découvrez comment vous pouvez inviter efficacement Claude avec des
images à effectuer des tâches telles que l’interprétation et l’analyse de graphiques ou l’extraction de
contenu de formulaires.
•
Référence de l’API : consultez notre documentation sur l’API Messages, y compris des
exemples d’appels d’API impliquant des images.
•
Si vous avez d’autres questions, n’hésitez pas à contacter notre équipe d’assistance. Vous pouvez
également rejoindre notre communauté de développeurs pour entrer en contact avec d’autres
4. créateurs et obtenir l’aide d’experts Anthropic.
À partir de l’adresse <https://docs.anthropic.com/en/docs/build-with-claude/vision>