Hyperprompt
Le manuel contient 30 QR codes. Chacun mène ici, vers un outil, un tutoriel ou un article de recherche cité dans le texte : de quoi passer de la lecture à la pratique.
Chaque ressource est présentée avec le passage du manuel qui y renvoie, pour retrouver le fil de la lecture.
Introduction
Pour rencontrer la diva, il vous faut créer un compte auprès de la société OpenAI qui l’a conçue. Pas d’inquiétude : tout est gratuit à ce stade.
Accédez au service ChatGPT (la création d’un compte gratuit est requise).
Découvrir ChatGPT →Dernière consultation : 10/12/2023
Introduction · L’arrivée des LLM et du prompt engineering
Grâce aux modèles de fondation, les IA génératives ne restent plus enfermées dans la pure reproduction des données d’entraînement. Elles gagnent un champ d’exploration large pour synthétiser des données inédites à l’infini.
Le livre Hypercréation.
Pour plonger plus en profondeur dans le monde des IA, comprendre leur histoire, leur avenir et leur impact sur la création, voir le livre de l’auteur : Hypercréation (éditions NIV, 2023).
Découvrir Hypercréation →Dernière consultation : 10/12/2023
Chapitre 1 · Construire un bon prompt · Donner un rôle à l’IA
À vous d’essayer ces prompts et d’en inventer d’autres !
Découvrez de nombreux exemples de prompts de rôle.
Découvrir des prompts de rôle →Dernière consultation : 10/12/2023
Chapitre 1 · Construire un bon prompt · Le fonctionnement des LLM
De manière générale, pour bien prompter et orienter l’algorithme dans la bonne voie de réponse, il est utile de se demander avec quelles données le LLM a été entraîné.
Comprendre les LLM.
Un article visuel très didactique permettant de comprendre précisément le fonctionnement des LLM*. Sa lecture est vivement conseillée.
Lire l’article →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les chaînes de raisonnement et au-delà
Jérôme commence avec 8 pommes. Il donne 2 pommes à Maria et 2 à Jean, donc il lui reste 4 pommes. […] Jérôme a 5 pommes et Jean en a 3.
La science derrière les chaînes de raisonnement.
Découvrez des résultats chiffrés sur l’impact des chaînes de raisonnement* dans l’article de recherche « Chain-of-Thought – Prompting Elicits Reasoning in Large Language Models ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les chaînes de raisonnement et au-delà
La tendance à produire de meilleures réponses n’est pas une garantie de vérité. L’IA reste un système statistique et peut se tromper.
La science derrière l’auto-cohérence.
Découvrez des résultats chiffrés sur l’impact de l’auto-cohérence dans l’article de recherche « Self-Consistency Improves Chain of Thought Reasoning in Language Models ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les chaînes de raisonnement et au-delà
La technique permet en général d’obtenir un raisonnement plus robuste qu’avec des chaînes de raisonnement classiques, mais des réponses… moins justes !
La science derrière la décomposition (factorisée).
Découvrez des résultats chiffrés sur l’impact de la décomposition (factorisée) dans l’article de recherche « Question Decomposition Improves the Faithfulness of Model-Generated Reasoning ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les chaînes de raisonnement et au-delà
La technique « PanelGPT » réussit là où celle des chaînes de raisonnement échoue !
Les arbres de raisonnement.
Découvrez la méthode des arbres de raisonnement dans l’article de recherche « Tree of Thoughts: Deliberate Problem Solving with Large Language Models ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les chaînes de raisonnement et au-delà
Les squelettes de raisonnement ont d’abord été imaginés pour accélérer la production de réponses complexes par les IA. Il s’agit de demander à celles-ci de produire un plan, ou « squelette » de la réponse, puis de remplir chaque partie du plan en parallèle.
Les squelettes de raisonnement.
Découvrez la méthode des squelettes de raisonnement dans l’article de recherche « Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · La fenêtre de contexte
Chaque LLM possède sa technologie de « tokenisation » et convertit le texte en tokens à sa manière. En moyenne, 1 token = ¾ de mot, ou encore 100 tokens = 75 mots.
Tokenizer.
L’interface « Tokenizer » d’OpenAI permet gratuitement de convertir des mots en tokens* et de calculer le nombre de tokens* d’une phrase selon le système de tokenisation de ChatGPT.
Tester le Tokenizer →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Augmenter son prompt
Lorsque le contenu à fournir à l’IA est très volumineux, d’autres techniques peuvent entrer en jeu. La technique « RAG », pour « Retrieval Augmented Generation », est notamment très répandue.
Le RAG (Retrieval Augmented Generation).
Le RAG consiste à interfacer un LLM* avec une base documentaire. La méthode consiste à découper l’ensemble des documents en petits morceaux, puis à « vectoriser » ces morceaux, c’est-à-dire les transformer en objets mathématiques représentant leur sens et manipulables par une IA, et à les stocker dans une base de données vectorielle dédiée à ce type d’objets mathématiques. Lorsque l’utilisateur pose une question au LLM*, celui-ci cherche dans la base de données les morceaux de document dont le sens semble pertinent pour répondre à la question. Il traduit ensuite les morceaux récupérés en texte lisible et les utilise pour produire sa réponse. Dans ce cas, le LLM* est même capable de citer ses sources et d’indiquer au paragraphe près sur quelles parties de la base documentaire il s’est appuyé pour produire ses réponses. Cette méthode a été utilisée par l’entreprise parisienne Ekimetrics afin de créer Climate QA, un chatbot* permettant d’interroger les meilleures sources scientifiques sur le climat, comme les rapports du GIEC, afin d’obtenir des réponses précises simplement.
Découvrir ClimateQA →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Le prompting émotionnel
Ajouter à la fin de son prompt la petite phrase magique : « C’est très important pour ma carrière » amène des gains de performance très significatifs.
La science derrière le prompting émotionnel.
Découvrez des résultats chiffrés sur l’impact du prompting émotionnel dans l’article de recherche « Large Language Models Understand and Can Be Enhanced by Emotional Stimuli ».
Lire le papier de recherche →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les autres LLM
Le modèle n’est aujourd’hui directement accessible que depuis certains pays. Il peut cependant être utilisé en passant par l’interface gratuite de création de chatbots Poe.com.
La liste des pays dans lesquels Claude est accessible.
Voir la liste →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les autres LLM
Le modèle n’est aujourd’hui directement accessible que depuis certains pays. Il peut cependant être utilisé en passant par l’interface gratuite de création de chatbots Poe.com.
Créez des chatbots fondés sur les LLM facilement grâce à Poe.
Accéder à Poe.com →Dernière consultation : 10/12/2023
Chapitre 2 · Construire un prompt avancé · Les autres LLM
Mistral est une startup française lancée en grande pompe (levée de fonds de 105 millions d’euros) mi-2023. Elle développe des modèles d’IA open source, et des modèles propriétaires tous très légers.
Testez Llama et Mistral-7b.
Tester les modèles →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Les plugins
Il existe à ce jour plus de 1000 plugins à explorer permettant d’augmenter les possibilités de ChatGPT. Il existe même des plugins pour interpréter des cartes de tarots ou pour créer des mèmes (Meme Creator) !
Whatplugin.ai.
Le site web whatplugin.ai référence tous les plugins, permet de les explorer de manière fluide, et propose des descriptions et des tutoriels d’utilisation beaucoup plus complets que sur l’interface de ChatGPT.
Accéder à Whatplugin.ai →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Analyser des données avec ChatGPT
Téléchargez le jeu de données « Cardiovascular Disease dataset » sur la plateforme web Kaggle.
Le jeu de données « Cardiovascular Disease dataset ».
Télécharger le jeu de données →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Analyser des données avec ChatGPT
Exercice 3.3 : Téléchargez le jeu de données « Spotify Top Hit Playlist (2010-2022) » sur Kaggle et visualisez les 10 genres musicaux les plus populaires, puis l’évolution au cours du temps de la durée des chansons.
Le jeu de données « Spotify Top Hit Playlist (2010-2022) ».
Télécharger le jeu de données →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Coder avec ChatGPT
Vous pouvez trouver une liste des API publiques et gratuites en flashant le QR Code de l’Encart 3.5.
Liste d’API publiques et gratuites.
Voir les API publiques →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Utiliser le Playground GPT
ChatGPT est un produit final permettant d’utiliser facilement GPT, le modèle d’IA lui-même.
De ChatGPT à GPT.
GPT est un LLM*, ChatGPT est un chatbot* fondé sur ce LLM*. La société OpenAI qui a développé ces deux modèles a entraîné ChatGPT en modifiant le modèle GPT pour qu’il soit spécialement bon pour dialoguer de manière fluide avec un utilisateur et pour qu’il soit particulièrement éthique dans ses réponses. Pour réaliser cet entraînement secondaire, une technique appelée « Reinforcement Learning from Human Feedback » a été utilisée. Elle consiste à demander à des humains d’annoter des millions de conversations entre ChatGPT et des utilisateurs, afin de spécifier lesquelles sont acceptables et lesquelles ne le sont pas. Ces conversations annotées sont ensuite montrées au modèle GPT pour qu’il apprenne à ne répondre que de manière acceptable. Pour plus d’information sur ce réentraînement, voir la page officielle d’OpenAI.
Lire l’article →Dernière consultation : 10/12/2023
Chapitre 3 · Aller plus loin avec ChatGPT · Utiliser le Playground GPT
Il existe toutefois une autre interface permettant de prompter le modèle GPT directement. Elle permet d’accéder à toute sa puissance et de modifier ses paramètres finement […].
Le Playground GPT.
Un compte OpenAI est requis. Pour utiliser le modèle 4, une carte bancaire est requise.
Accéder au Playground →Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Écrire un prompt visuel
Midjourney permet d’obtenir les meilleurs résultats, mais est payant. Il est recommandé pour des utilisateurs avancés ou souhaitant en faire un usage professionnel.
Accéder à Midjourney.
Accéder à Midjourney →Tutoriel pour accéder à Midjourney :
Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Écrire un prompt visuel
Leonardo.ai permet d’obtenir de bons résultats et dispose d’un plan gratuit très généreux.
Accéder à Leonardo.ai.
Accéder à Leonardo.ai →Tutoriel pour accéder à Leonardo.ai :
Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Les modifieurs
La liste de tous les modifieurs ne se limite pas à ce tableau et peut être arbitrairement étendue. Tout mot-clé permettant de déterminer l’esthétique du rendu peut être considéré comme un modifieur.
Deux outils pour faciliter la construction de prompts visuels.
DALL-E prompt book
Une liste très complète de modifieurs s’appliquant à tous les modèles.
Midjourney prompt helper
Cet outil permet de construire automatiquement des prompts et simplifie grandement l’usage de Midjourney pour les non-initiés. Il est fortement recommandé de l’utiliser pour bien commencer et découvrir toutes les possibilités du modèle.
Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Les paramètres
Sur Midjourney, les paramètres font partie intégrante du prompt. Ils doivent être ajoutés après les descripteurs et les modifieurs, en tapant « -- » suivi du nom du paramètre puis de sa valeur.
Les paramètres Midjourney.
Une liste de tous les paramètres à jour peut être trouvée sur la documentation officielle.
Voir la liste des paramètres Midjourney →Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Utiliser des images comme prompts
Pour ajouter une ou plusieurs images dans un prompt Midjourney, il faut les téléverser en ligne et ajouter leurs adresses web (URL) au début du prompt.
Ajouter des images dans Midjourney.
Découvrez un tutoriel complet concernant le prompting d’image dans Midjourney, disponible sur la documentation officielle.
Découvrir le tutoriel →Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Inpeindre et expeindre
L’inpeinture consiste à utiliser les capacités génératives des modèles de text-to-image pour regénérer certains éléments seulement à l’intérieur d’une image. L’expeinture au contraire consiste à étendre une image au-delà de ses contours originaux […].
Inpeindre et expeindre avec Midjourney et Leonardo.ai.
Découvrez deux tutoriels pour apprendre à expeindre et inpeindre avec Midjourney ou Leonardo.ai.
Inpeindre et expeindre avec Midjourney
L’inpeinture est disponible sur le service Midjourney, mais ne permet de modifier que des images elles-mêmes générées avec Midjourney. Pour l’utiliser depuis l’interface Discord :
L’expeinture elle aussi se fait uniquement à partir d’une image générée avec Midjourney. Elle fonctionne de la même manière que l’inpeinture, à la différence près que les boutons à utiliser une fois l’image agrandie sont différents. En tout, ils sont au nombre de 7.
Trois boutons de « Zoom Out », qui agrandissent l’image de tous les côtés. Ils ne permettent pas de modifier le prompt initial. L’agrandissement s’appuiera sur l’image initiale uniquement.
Quatre boutons de « panning », qui agrandissent l’image d’un côté seulement. Le prompt peut être modifié lorsque le Remix Mode est activé, ce qui permet de faire apparaître de nouveaux éléments sur les portions d’image générées.
Inpeindre et expeindre avec Leonardo.ai
Pour inpeindre avec Leonardo.ai :
L’expeinture se fait sur la même interface que l’inpeinture et fonctionne de la même manière, à la différence près que le cadre de génération devra être déplacé pour ne pas recouvrir entièrement l’image. La partie du cadre de génération extérieure à l’image sera remplie selon le prompt fourni, et réalisera l’expeinture.
Une partie de l’image doit être conservée à l’intérieur du cadre de génération afin que le modèle la prenne en compte pour gérer la transition avec les nouveaux pixels générés.
Dernière consultation : 10/12/2023
Chapitre 4 · Prompter pour générer des images · Les autres IA de génération d’images
Il existe une vingtaine de déclinaisons du modèle, référencées sous le nom « ControlNet », qui permettent de contrôler la génération d’images à partir de conditions spécifiques.
ControlNet.
Découvrez un tutoriel très complet pour apprendre à utiliser ControlNet.
Découvrir le tutoriel →Dernière consultation : 10/12/2023
Chapitre 5 · Vidéo, son et 3D · Générer des vidéos
Le studio Kaiber propose lui aussi une solution de génération de vidéos à partir de prompts textuels ou d’images.
Le clip de Linkin Park réalisé avec Kaiber.
Dernière consultation : 10/12/2023
Chapitre 6 · Devenir chef d’orchestre · Création d’une œuvre d’art collaborative
Mais je n’ai pas renoncé à créer Diffusion Nous, une œuvre d’art numérique collaborative qui récompenserait l’engagement de ma communauté autour de la sortie du livre.
Découvrez l’œuvre Diffusion Nous.
Pour tester le système de dévoilement des fragments, vous pouvez utiliser le code « dea52b1e-cb27-46eb-ab82-b5a1a45522c3 » qui correspond au fragment de l’auteur.
Découvrir l’oeuvre →Dernière consultation : 10/12/2023
Du même auteur
La BD d’anticipation sur l’Intelligence Artificielle Générale
Une BD coup de poing qui explore les promesses et les dangers de l’IA Générale
