Comment j'utilise Dall-E, Stable Diffusion et Midjourney pour générer de l'art

Swiss Cryptocat

Dall-E, Midjourney, Stable Diffusion... Les IA de génération d'image sont en train de bouleverser le monde des graphistes et dessinateur. L'artiste Swisscryptocat nous explique comment il s'en sert dans ses activités.

Je me suis mis à l’art génératif avec IA au printemps 2022. J’ai toujours aimé la création, que ça soit à travers la peinture, la sculpture ou la création de mondes en réalité virtuelle ou augmentée. J’ai commencé à utiliser les IA avec Dall-e, et je me suis rapidement intéressé aussi à Stable Diffusion et à Midjourney, les trois principaux outils de création d’image via l’apprentissage machine.

Ce qui m’a plu avec ces technologies, c’est la rapidité avec laquelle j’ai pu progresser. J’ai toujours été à l’aise avec les mots – sans doute plus encore qu’avec un pinceau. Donner des instructions à une IA m’a tout de suite plu.

Lire aussi: «Si on veut en faire un nouveau Photoshop, il faut comprendre les biais des IA génératives»

Comment je m’y prends. J’aimerais d’abord rappeler un élément important: bien que l’art du «prompting» – terme qui renvoie aux instructions données au logiciel – est crucial dans la génération d’une image, il y a d’autres aspects dont il faut tenir compte:

  • Une idée originale. Avec la généralisation des images générées par des IA, les contenus trop génériques ne capteront plus l’attention.

  • L’investissement. Pour générer une image satisfaisante, il faut multiplier les tentatives.

SwissCryptoCat_a_smiling_cat_and_Heidi_swiss_girl_hiking_throug_7e3d41c3-6d6e-4043-9f31-e21793006cd1.png
Image générée avec Midjourney. Contrainte: faire apparaître un chat ainsi que Heidi dans un payage suisse. Le prompt: beautiful photo of a smiling cat and Heidi swiss girl hiking through swiss mountains, beautiful day, swiss landscape, high resolution photo, style of Henri Cartier-Bresson, --ar 3:2 --q 2 --q 2

Il peut m'arriver d’être content d’une image après trois essais, mais en général, il me faut des centaines d’itérations avant d’obtenir un résultat qui correspond à mon idée. Sans trop entrer dans les détails, lorsque je crée une image, je commence en principe par Midjourney, et j’utilise Dall-E ou Stable Diffusion pour procéder à des modifications qui ne sont pas possibles avec Midjourney.

Par exemple, lorsque je génère une image de chat, mais que celle-ci n’est pas bien cadrée, Dall-E me permet de faire de l’«outpainting», c’est-à-dire générer les éléments qui manquent pour la recadrer. Ce même outil dispose aussi de la fonctionnalité d’«inpainting», ce qui permet de modifier un élément en particulier dans une image.

Si je génère un chat vêtu d’un chapeau et que celui-ci ne me plaît pas, je peux produire d'autres chapeaux avec Dall-E ou Stable Diffusion. Bref, une image est le fruit d’un long travail de création qui échappe à l’œil nu. Ce n’est d’ailleurs pas par hasard que des personnes mettent en vente des modèles de «prompt».

Lire aussi: DALL-E, ChatGPT… Savoir s'adresser aux IA génératives sera-t-il bientôt un métier?

C’est du lard ou de l’art? Ce point m’amène sur un point important, qui suscite le débat. Est-ce que la génération d’image est de l’art? Et quid des droits d’auteur, puisque ces logiciels s’appuient sur des images qui existent pour proposer des créations dérivées?

Pour moi, la génération d’image relève bien du domaine de l’art. Ce n’est qu’un outil – particulièrement performant, certes, mais seul, il ne crée rien. Il faut de l’imagination et du travail en amont pour arriver à des résultats convaincants. C’est le propre de l’art.

SwissCryptoCat_beautiful_photo_of_a_smiling_cat_and_Heidi_swiss_fb567736-bffb-42b1-bc92-6791541c0200.png
Image elle aussi générée par Midgjourney, avec les mêmes instructions que la précédente.

Concernant les droits d’auteur, je ne vois pas en quoi lorsqu’une IA s’inspire d’un style ou d’images qui existent déjà, cela est différent des artistes qui en font autant. Combien de milliers de créations artistiques s’appuient sur le style pop art?

Les humains s’inspireront toujours de tout ce qui a existé pour imaginer ce qui existera demain. Si la machine permet de s’entraîner plus vite, elle ne change rien d’autre.

Une passion devenue un métier. En tout cas, je suis désormais convaincu que les IA génératives sont là pour rester. Oui, il y a un enthousiasme qui peut paraître démesuré depuis la publication de ChatGPT, mais il est légitime. L’engouement suscité par ces technologies m’a d’ailleurs permis de prendre conscience que beaucoup de gens ont envie de comprendre comment ça marche.

Cela m’a poussé à créer l’an dernier mon entreprise de conseil et créations dans le domaine des IA génératives et dans les expériences en réalités virtuelles et augmentées (XR).  Actuellement, je m’intéresse à des outils qui permettent de transformer des textes en scènes 3D. Je lis énormément sur ces sujets – essentiellement en anglais – pour appréhender ces nouveaux logiciels. Je pense que ça va apporter beaucoup de possibilités de création artistique.