# Conférence sur l'état de l'IA Générative

# IA Générative

## état, histoire, enjeux, futur

<hint>https://git.interhacker.space/alban/conference_ia_generative</hint>
On va jouer un peu pour commencer en tentant de deviner si les images sont produites par un humain ou une IA

#### Objectif : comment on à arrive à ces texte ⇒ image ...

https://huggingface.co/Gustavosta/MagicPrompt-Stable-Diffusion
L'objectif de cette présentation, c'est de vous donner un aperçu général sur comment on en arrive aux interfaces qui transforme, par exemple, un texte en une image et de voir quelles questions ça pose.

##### ...

##### texte ⇒ texte

##### texte ⇒ son

##### image ⇒ texte

##### image ⇒ son

##### son ⇒ texte

##### son ⇒ image

##### ...

#### Quelles transformations ces méthodes d'IA vont opérer dans le domaine de la création ?

La question de fond, c'est de se demander quelles transformations ces méthodes d'IA vont opérer dans le domaine de la création.

#### Pourquoi c'est intéressant ? Demain, partout, quand on veut ?

https://picryl.com/media/henry-morgenthau-half-length-portrait-seated-at-desk-facing-right-holding-telephone
https://commons.wikimedia.org/wiki/File:Aix-en-Provence-FR-13-cours_Mirabeau-femme_au_smartphone-01.jpg?uselang=fr
Et la raison pour laquelle c'est intéressant est simple : Ça va certainement devenir courant.

#### Une adoption de plus en plus rapide

https://caroli.org/en/the-technology-adoption-curve/
Les nouvelles technologies s'imposent de plus en plus vite, et l'IA comme assistant risque d'être aussi rapide que l'internet ou les téléphones mobiles

#### IA Générative = forme d'intelligence artificielle qui vise à générer de nouvelles idées, concepts, objets ou autres, plutôt qu'à simplement les reconnaître ou les classer.

Une définition avant de commencer, pour préciser de quoi on va parler. Usages non concernés : générer du texte à partir de données brutes, comme des résultats de recherche ou des données financières, pour produire des résumés ou des synthèses de documents, pour générer des réponses automatiques à des questions,
https://www.flickr.com/photos/s2art/282743817

#### Qui suis-je ?

Quelles raisons de vous parler de ça : je suis graphiste, musicien et informaticien depuis 35 ans, j'ai vu les premiers photoshop et c'est la même chose qui nous attend.
#### Le plan - *Panorama* Quel est l'état des acteurs actuels et des techniques ? - *Histoire* Comment les inventions et les pratiques se sont déroulées dans le temps ? - *Enjeux* Quelles sont les dynamiques, les freins, les questions ? - *Prospectives* Comment ça risque d'évoluer ?
Voici les points qu'on va aborder. On va faire vite, et aussi visuel que possible.

# Panorama

https://aaronsim.notion.site/Generative-AI-Database-Types-Models-Sector-URL-API-more-b5196c870594498fb1e0d979428add2d

# Acteurs image

Pour enchaîner sur notre démo, on commence par ce qui produit de l'image.

#### StableDiffusion

On commence par ceux qui ont fait parler d'eux à la rentrée 2022, on a vu les noms, ils font de la conversion de texte en images

#### Dall-E 2, Midjourney et autres

Ils fonctionnent tous de la même façon

#### Make a video

(META) Assistance video : https://makeavideo.studio/

#### Passage d'un cap en 2022

<hint><icon>$</icon> StableDiffusion = coût d'entraînement initial 600 000€</hint> <hint><icon>⚖️</icon> StableDiffusion = entraîné sur 5 Milliards d'images sur Internet</hint> <hint><icon>🏙️</icon>Enjeux sociétaux : StableDiffusion = modèle plus opensource que les autres</hint>
Arrière-plan : résultats en 2014 pour une "vache" Entraîner StableDiffusion : ça coûte 600k € pour la première passe. Ça se présente comme du libre mais ce sont des sociétés derrière qui sont en compétition. > Enjeux financiers, de pouvoir, de marché

# Acteurs texte

La génération de texte a fait parler beaucoup ces derniers temps...

#### Chat GPT

assistant multi fonctions ex: écrire une conférence

#### cedille.ai

NovelAI, AIdungeon : assistance à l'écriture narrative

#### Copilot

assistance à l'écriture de code source https://invidious.fdn.fr/watch?v=edSZh-tpTIk

#### De bons résultats depuis 5 ans avec des modèles de plus en plus gros

<hint><icon>🏙️</icon> GPT3 créé par OpenAI, modèle opensource abandonné, startup fondé par Peter Thiel et Elon Musk </hint> <hint><icon>$</icon> Droits exclusifs sur GPT3 vendu à Microsoft pour 1 milliards de $. Avec GPT3, OpenAI se vallorise à 29 milliards $.</hint> <hint><icon>⚖️</icon> GPT3 = entraîné sur 500 Milliards de tokens, dont 400 provenant du web public </hint>
GPT3, développé par OpenAI. . > Enjeux financiers, de pouvoir, de marché

# Acteurs sons

#### Riffusion

: hack de stable diffusion

#### Synthèse vocale: murf.ai

/ Pas de solution opensource

#### Techno : Les modèles d'IA par ML concurrencés par d'autres méthodes combinatoires / synthèse à base de formules

<hint><icon>$</icon> Pas de gros investissements dans la génération audio.</hint>
Des enjeux mais moins, car le TTS est un problème qu'on a résolu il y a assez longtemps ?

# Histoire

#### Avant 1950 : la combinatoire et autres imaginaires

#### -1200 les rois de la dynastie Shang eux-même font de la divination par forme des os : on coupe des bouts d'une matrice

https://en.wikipedia.org/wiki/Oracle_bone#Cracking_and_interpretation
The earliest examples of Chinese writing we have were part of a divination method where random cracks on bone were treated as choosing from or eliminating part of a selection of pre-written text (a technique still used in composing computer-generated stories). Descriptions of forms of divination whereby random arrangements of shapes are treated as written text go back as far as we have records—today we’d call this kind of thing “asemic writing” (asemic being a fancy term for “meaningless”), and yup, computers do that too. https://en.wikipedia.org/wiki/Oracle_bone#Cracking_and_interpretation

#### 1100 les automates d'Al Jazari capables de jouer de la musique programmée https://en.wikipedia.org/wiki/Ismail_al-Jazari#Musical_robot_band

source: https://tedium.co/2019/11/14/procedural-text-history/

#### En 1871, Édouard Gand, technicien et ingénieur du textile d'Amiens utilisant le métier Jacquard, propose une machine pour improviser les motifs des tissus, qu'il appelle le transpositeur ou l'improvisateur de tissus.

<hint>La révolte des canuts </hint> https://fr.wikipedia.org/wiki/M%C3%A9tier_Jacquard
Cette machine est conservée au Musée des arts et métiers (rattaché au Conservatoire national des arts et métiers), à Paris, sous le nom de « compositeur automatique ». Jacquard premier système mécanique programmable avec cartes perforées, la plus ancienne machine programmable

#### 1950 : Alan Turing publie “Computer Machinery and Intelligence”

#### "Can machines think?"

#### Transforme la question en

#### "Can machines do what we (as thinking entities) can do?"

https://www.manhattanrarebooks.com/pages/books/1842/alan-turing/computing-machinery-and-intelligence-in-mind?soldItem=true
> la pensée est un processus interne, l'action est démontrable Naissance du test de turing : le jeu de l'imitation https://fr.wikipedia.org/wiki/Test_de_Turing

#### Cet article donne naissance au "Test de Turing"

Naissance du test de turing : le jeu de l'imitation Le test de Turing est une proposition de test d’intelligence artificielle fondée sur la faculté d'une machine à imiter la conversation humaine. Décrit par Alan Turing en 1950 dans sa publication Computing Machinery and Intelligence,

#### Des domaines élitistes

<hint><icon>📚</icon> réservé aux savants / abstraction </hint> <hint><icon>$</icon> réservé aux possédants </hint>

# Début de l'histoire de l'IA

#### Une histoire en dent de scie au gré des désillusions

https://www.technologystories.org/ai-evolution/
C'est une histoire faite d'espoirs et de désillusions, de BOOM and BUST (trois cycles), de bascules entre connectioniste et symbolique,

# 1950-65

## Un champ immense

#### 1953 : Invention d'un générateur de lettres d'amour par Christopher Strachey

<hint><icon>💡</icon>Auteur du 1er jeu vidéo</hint> <hint><icon>📚</icon>Ingénieur dans le National Physical Laboratory anglais</hint> https://quod.lib.umich.edu/j/jep/3336451.0014.209?view=text;rgn=main
en 1951, Inventeur du premier jeu connu Strachey programmed the first ever music performed by a computer; a rendition of the British National Anthem "God Save the King" on the Mark II Manchester Electronic Computer at Manchester, in 1951.

#### 1958 : Développement du perceptron par Frank Rosenblatt

<hint><icon>$🔫</icon> Développé avec des crédits de l'armée US</hint> <hint><icon>📚</icon> Professeur de psychologique à l'université de Cornell</hint> https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon
inventé en 1943 par McCulloch and Pitts [3] The first implementation was a machine built in 1958 at the Cornell Aeronautical Laboratory by Frank Rosenblatt,[4] funded by the United States Office of Naval Research.[5]

#### Perceptron est un appareil capable de "voir" grâce à des réseaux de neurones

https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon

#### 1960 : Desmond Henry crée une machine mécanique qui dessine des formes

<hint><icon>📚</icon> Professeur de philosophie à l'université de Manchester</hint> <hint><icon>🔫</icon> Utilise du matériel militaire de réforme</hint> https://en.wikipedia.org/wiki/Desmond_Paul_Henry
Des machines construites avec du matériel militaire et des défauts militaires qui amènent les formes randoms

#### 1963 : Joseph E Grimes convertit les "rules of folk tales” de Vladimir Propp en une machine à histoires

<hint><icon>📚</icon> Linguiste à la Cornell University</hint>
Première génération d'histoires avec un schéma narratif

#### 1966 : ELIZA (IBM ) : un chatbot "psychologue" qui échange avec son interlocuteur

<hint><icon>$</icon>Un projet de IBM</hint> https://en.wikipedia.org/wiki/ELIZA
Le premier système à pouvoir prétendre passer le test de Turing

#### 1965 : BUST de l'IA

<hint>IA Générative = développement à la marge</hint> <hint><icon>$</icon> Dépendance directe envers les crédits publics / privés de recherche</hint> <hint><icon>📚</icon> Des universitaires, peu d'ordinateurs, coût élevé, absence de langages dédiés, monde anglo-saxon</hint> <hint><icon>😖</icon> Résultats inférieurs à la hype, trop limités pratiquement</hint>

####

# 1965-1985

## Développement des systèmes experts et du NLP

Supériorité de IA Symbolique

#### 1968 Vera Molnár utilise l'ordinateur pour générer des images abstraites épurées

<hint><icon>👩</icon> Une femme, enfin.</hint> <hint><icon>🎨</icon> Artiste de formation</hint> <hint><icon>📚</icon> Autodidacte de l'informatique</hint> <hint><icon>📚</icon> Ayant accès aux ordinateurs via son mari chercheur au CNRS</hint> https://id.pinterest.com/pin/vera-molnar-144-trapzes-144-trapeziums-1974-computer-graphic-open-series-16-variations-all-sole-copi--499618152404669733/

#### 1971 : Sheldon Klein crée un système d'écriture automatique de nouvelles

<hint><icon>📚</icon> Professeur d'informatique à l'université du Wisconsin</hint> <hint><icon>$</icon> Utilise un langage moderne "Fortran" et des ordinateurs commercialisés "Univac 1108" </hint> http://www.silogic.com/Athena/Univac%201108.html
Utilise un graph sémantique pour générer des nouvelles de polar Programmed in FORTRAN V on a Univac 1108, the system generates 2100 word murder mystery stories, complete with semantic deep structure, in less than 19 seconds. The techniques draw upon the state of the art in linguistics, compiler theory, and micro-simulation

#### 1972 : Harold Cohen crée AARON un programme capable de dessiner de manière autonome

<hint><icon>🎨</icon> Artiste de formation</hint> <hint><icon>📚</icon> Autodidacte de l'informatique</hint> <hint><icon>📚</icon> Projet finalisé à l'université de Stanford</hint> <hint><icon>📚</icon> Développé en C, puis en LISP</hint> https://computerhistory.org/blog/harold-cohen-and-aaron-a-40-year-collaboration/

#### 1976 : James Meehan's TALE-SPIN : un générateur d'histoires

<hint><icon>📚</icon> Professeur à l'université de Yale</hint> <hint><icon>$</icon> Crédits militaires pour l'analyse de textes </hint> <hint><icon>$</icon> Utilise le langage LISP sur des machines PDP-10</hint> https://www.slideserve.com/bernad/models-of-creativity-in-language-and-music

#### 1974: BUST car mur de la complexité, logiciels et matériels dédiés pas rentables

<hint><icon>📚</icon> Forte présence des universitaires</hint> <hint><icon>🎨</icon> Ouverture lente aux artistes</hint> <hint><icon>$</icon> Prix des ordinateurs très élevés, dépendance aux budgets</hint>
Ouverture lente aux artistes.

# 1985-2005

## Passage à l'échelle

#### 1980: BOOM avec l'émergence de systèmes experts

Généralisation des ordinateurs personnels : développement du logiciel indépendant et pénétration dans la culture populaire Dans les jeux procedural generation dans les jeux

#### 1980 : Rogue un jeu de donjon développé sur BSD UNIX

<hint><icon>$</icon> Développé sur les ordinateurs de l'université de Santa Cruz</hint> <hint><icon>📚</icon> Développement poursuivi à l'université de Berkeley</hint> <hint><icon>⚖</icon> Code source publié en 1986, une première.</hint> https://fr.wikipedia.org/wiki/Rogue_(jeu_vid%C3%A9o)

#### 1981 : David Cope crée EMI (Experiments in Musical Intelligence)

<hint><icon>⚖</icon> La machine reproduit son propre style de composition.</hint> <quote>“I decided I would just go ahead and work with some of the AI I knew and program something that would produce music in my style. I would say ‘ah, I wouldn’t do that!’ and then go off and do what I would do. So it was kind of a provocateur, something to provoke me into composing."</quote> <hint><icon>📚</icon> Professeur de composition à l'université de Santa Cruz, autodidacte en informatique</hint>
Un système qui apprend depuis des partitions et peut en générer de semblables : Machine Learning De base : manque de créativité https://image.slideserve.com/300646/music-as-seen-by-emi-l.jpg

#### 1985 : Ken Perlin invente pour le film TRON une méthode de bruit qui ajoute de la texture

<hint><icon>📚</icon> Professeur à la New York University</hint> <hint><icon>$️</icon> Produit par Disney, leur plus gros budget pour un film avec acteurs à l'époque</hint> <hint><icon>⚖</icon> Les Oscars rejettent le film, considérant que les ordinateurs c'est de la triche.</hint> https://www.rogerebert.com/reviews/tron-1982

#### 1991 : Les fractales de Benoît Mandelbrot

<hint><icon>📚</icon> Mathématicien, écrivain, informaticien, ingénieur, scientifique, économiste </hint> <hint><icon>$</icon> Salarié d'IBM </hint> <hint><icon>⚖</icon> Grand public: images produites sur des PC; Fractint est un des plus vieux gratuiciels maintenus</hint>

#### 1996 : Commercialisation du Tamagotchi, génération de formes de vie artificielle

<hint><icon>!</icon> Un produit commercial vendu à des millions d'exemplaires</hint> <hint><icon>⚖</icon>Un objet personnel qui passe la barrière de la peur du robot / IA</hint>

#### 2002 : SpeedTree, une méthode de génération procédurale d'arbres

<hint><icon>⚖</icon> Intégré dans des éditeurs communautaires jeux vidéo</hint> <hint><icon>$</icon> Vendu à des studios de jeux / films</hint> https://forum.neverwintervault.org/t/editing-speedtree-files-spt/723

#### L'IA commence à vraiment marcher mais c'est mal vu, donc on lui donne d'autres noms

<hint><icon>⚖</icon> Passage au grand public en tant que sous-système dans des jeux ou des films</hint> <hint><icon>$</icon> Le financement public / militaire est relativement faible, ce sont des entreprises qui financent </hint> <hint><icon>📚</icon>La recherche académique n'est plus la seule à faire de la recherche. </hint>

# 2005-aujourd'hui

#### Deep Learning et grand public

#### 2005 : Jeu Façade : création d'une histoire interactive réactive : planner réactif

<hint><icon>📚</icon>Un jeu produit à l'université de Santa Cruz. </hint> https://logamers.com/game/facade
La recherche académique utilise le jeu pour toucher le public

#### 2013 : Chatbot Eugene passe le Turing avec 1/3 du jury qui le considère humain

<hint><icon>📚</icon>Produit par un développeur indépendant </hint> https://www.bbc.com/news/technology-27762088
Créé par un développeur indépendant Test https://ichef.bbci.co.uk/news/976/mcs/media/images/75395000/jpg/_75395401_eugene-goostman-600x338.jpg

#### 2014 : DeepDream utilise le machine learning pour "augmenter" des images

<hint><icon>📚</icon> Un chercheur académique</hint> <hint><icon>$</icon> Produit par Google</hint> <hint><icon>⚖</icon> Recherche ouverte, code ouvert</hint>
https://i0.wp.com/media.boingboing.net/wp-content/uploads/2015/07/ebk1Cdc.jpg

#### 2016 : Ross Goodwin crée "1 the Road", de la poésie écrite par un ordinateur qui voyage avec lui

<hint><icon>$</icon> Embauché par Google</hint>
2018 : un roman généré par un ordinateur équipé de capteurs "sur la route" transmis à une AI par Réseau de neurones récursif https://cdn.shopify.com/s/files/1/0048/1142/3778/products/1THEROAD_DP3_800x608.jpg?v=1632840281

#### Beaucoup de gens utilisent l'IA, mais la légitimité fait encore question

<hint><icon>$</icon> Les investissements de multinationales sont devenus très élevés</hint> <hint><icon>📚</icon> La recherche académique est publique et rapide</hint> <hint><icon>⚖</icon> Les usages sont devenus généraux</hint>
Les cartes développées pour les jeux vidéo servent à produire des images

# Quelles sont les enjeux actuels ?

#### Morale / Éthique

<hint>Peur du robot / de l'IA</hint> <hint>Révolte des canuts / Remplacement de l'homme par la machine</hint> <hint>Crainte ancienne : absence de morale. Cf. les 3 lois de Asimov</hint> <hint>IA est un outil : il faut craindre ceux qui tiennent le manche</hint>

#### Économiques

<hint>Déséquilibres avec des investissements en milliards de $</hint> <hint>Matériel, logiciel, data</hint> <hint>Historiquement, DARPA = Armée US</hint> <hint>Désormais Microsoft, Google, Facebook</hint>

#### Legitimité artistique

<hint>Systèmes connexionistes : pas créatifs</hint> <hint>Quels sont les droits d'auteurs?</hint>

#### Le pouvoir des memes

<hint>Résultats rapides et crédibles, dans une société hyperconnectée</hint> <hint>Face émergée actuelle : (Deep)Fake / Spoofing</hint> <hint>Un accès libre aux techniques est-il dangereux ?</hint>

#### Sobriété énergétique

<hint>Des datacenters plein de cartes graphiques</hint> <hint>Impératifs contraires, Tech for good, l'IA va nous optimiser tout ça</hint>

#### Psychologique

<hint>Internet devient notre mémoire, IA devient notre imagination</hint> <hint>Dépendance intellectuelle</hint> <hint>Il reste à l'humain sa conscience critique...</hint>

# Quelles évolutions pour les années à venir ?

#### Économie : investissements massifs

<hint>Les fonds d'inverstissement sont déjà partis</hint> <hint>Studio DeepVoodoo monté par les créateurs de SouthPark</hint> <hint>MS, GOOG, FB sont en première ligne pour se relancer </hint>
https://www.sequoiacap.com/wp-content/uploads/sites/6/2022/09/genai-landscape-8.png?w=1920 PS: This piece was co-written with GPT-3. GPT-3 did not spit out the entire article, but it was responsible for combating writer’s block, generating entire sentences and paragraphs of text, and brainstorming different use cases for generative AI. Writing this piece with GPT-3 was a nice taste of the human-computer co-creation interactions that may form the new normal. We also generated illustrations for this post with Midjourney, which was SO MUCH FUN! DeepFake :

#### Social : augmentation des usages et des tensions

<hint>De plus en plus d'Assistance par Ordinateur</hint> <hint>De manière inégale, persistance des biais sociaux</hint>

#### Artistique : augmentation des Assistants

<hint>Dans les éditeurs de texte : Génération de pièces de théâtre, de scripts pour des films ou des émissions de télévision générés par des techniques d'IA générative textuelle.</hint> <hint>Dans les outils images : modèles d'IA générative entraînés sur des corpus existants pour produire des images qui respectent les conventions et les styles de ce genre de contenu. </hint> <hint>Idem musique : un style, une mélodie, des arrangements...</hint>

#### Politique : des législations inévitables

<hint>Protection des oeuvres existantes </hint> <hint>Limitation des usages, watermarking obligatoire </hint> <hint>Incompétence technique des législateurs </hint> <hint>Influence croissante des lobbies = Favoriser les gros, minoriser les faibles</hint>
Crainte : sur qulle information vont se faire les lois ?

#### Technique : améliorations certaines

<hint>Plus de temps réel</hint> <hint>Technologies Portables</hint> <hint>IA contre IA: détecter les produits de l'IA via de l'IA = ML Anti-spoofing </hint>

#### Un rôle croissant du logiciel libre / opensource

<hint>Auditable</hint> <hint>Optimisable</hint> <hint>Maintenable</hint> <hint>Interopérable</hint>

# Conclusion

Une situation qui va évoluer très rapidement avec des acteurs économiques qui pèsent lourd.