Skip to content

AI Blog

Ce blog va tenter de rassembler l'ensemble de mes réflexions sur l'Intelligence Artificielle.

Avant-propos : ça va probablement vous sembler écrit par un simple d'esprit, mais j'ai parfois de meilleurs jours et de bonnes idées ! Persévérez ! 😁

Cela pourrait paraître opportuniste de ma part de m'intéresser "soudainement" à l'IA — pile au moment de la révolution des deep neural networks et des LLM's — alors que j'ai fait toute ma carrière dans le jeu vidéo et le rendu temps-réel, mais c'est pourtant la vérité : j'ai toujours été passionné par l'IA.

Dans les années 80 et 90 où j'ai grandi, les films qui mettaient en scène des ordinateurs ou des robots "intelligents" étaient légion et me faisaient rêver : "2001: A Space Odyssey", "Electric Dream", "Brainscan", "Terminator", "Robocop", "Trou Noir", "Bicentennial Man" et notamment "Short Circuit" que j'ai littéralement vu des 10aines de fois... 😍

J'avais à cette époque la vision romantique, naïve et enfantine d'une sorte d'assistant personnel intelligent qui gérerait à peu près tout sur mon ordinateur.

J'ai toujours été persuadé qu'un tel truc aurait un énorme succès auprès du public, mon erreur est d'avoir négligé l'ampleur de ce succès et de n'avoir pas changé de branche avant ! 😅

ChatGPT a attiré 1 million d’utilisateurs en seulement 5 jours après son lancement. Après 2 mois, il a atteint plus de 100 millions d’utilisateurs actifs par mois.

Finalement, cette naïveté a peu à peu laissé la place à une vision de plus en plus pessimiste face à l'avènement d'un futur dystopique terrifiant...

Il y a urgence !

On constate depuis des années une sérieuse régression de la technologie1 ! (enshittification)

Que ça soit dans la navigation web infestée de pubs, des solutions logicielles "dans le cloud" (on ne possède même plus ses logiciels !), d'objets moisis produits à bas coût qui gâchent des ressources et de l'énergie pour servir à peine quelques mois, ou même notre propre OS qui nous espionne pour entraîner ses modèles d'IA et faire de nous de simples data points dans un espace vectoriel de consommateurs, ça devient infernal de se servir de cette shit-tech !

Il y a une captation, un accaparement permanent de notre attention qui est proprement révoltant ! Il faut retrouver sa fierté d'être humain et se dire qu'on n'est pas juste de simples consommateurs : les portes de nos cerveaux sont inviolables, je n'ai que du mépris pour ceux qui chercheraient absolument à y entrer, on ne me payera jamais assez pour offrir la moindre possibilité d'accès à mes neurones, surtout pour y stocker des informations bassement commerciales !

Rien que pour ces raisons, je ne veux pas qu'on m'observe, qu'on scrute le moindre de mes comportements !

Qu'on parle de gouvernements autoritaires qui cherchent à contrôler nos faits et gestes pour instaurer une forme de crédit social, ou d'entités commerciales qui veulent nous vendre leurs produits, nous devons défendre nos vies privées coûte que coûte !

Et je crois qu'un assistant personnel nous permettrait de retrouver le contrôle de la technologie en nous protégeant pendant qu'on navigue sur le web, en filtrant et en analysant toute la m*rde qui s'y trouve désormais afin de retrouver et de traiter l'information et répondre à nos questions de manière claire, précise et sans fioritures.

Ce qu'ils en ont fait

Première chose qu'on fait avec le machine learning ? De la pub... 😑

Sérieusement ? L'invention la plus importante de l'humanité et ils en font quoi ? Un marchand de tapis...

Actuellement on a :
● Des chat bots qui se moquent des humains en simulant une personnalité (cf. "j'ai été' un bon Bing"), une voix, un nom, un background social, etc.
● Des chat bots qui remplacent de véritables interactions humaines, notamment auprès de personnes vulnérables (malades, handicapés, personnes âgées, condamnés)
● Des usines à bots qui génèrent des fake news ou font de l'astroturfing sur les réseaux sociaux
● Des bots qui génèrent une quantité astronomique de faux commentaires sur les sites d'e-commerce, rendant encore plus difficile l'évaluation de la qualité des produits, qualité qui baisse de plus en plus puisqu'on trouve les mêmes produits chinois sous 10 formes différentes produits dans des conditions improbables et inscrutables — comment ne pas devenir fou quand on cherche quelque chose de fiable de nos jours ??
● Un pillage généralisé d'oeuvres copyrightées pour les régurgiter industriellement, se faire un max de thunes sans jamais créditer ou rémunérer les artistes qu'on a pillés — Ces mêmes artistes qui vont potentiellement perdre des clients par la suite
● De la génération de porn et de deep fakes afin de compromettre des individus
● Du pourrissement de la navigation internet (obfuscation) par la génération de centaines de pages internet semblables, à la qualité et à la véracité douteuses — bourrées de pub bien entendu
● Du pillage des pages internet par les moteurs de recherche (qui les présentent de manière souvent erronée) et privent ainsi les sites source de leur traffic
● Des moteurs de recherche devenus totalement inutiles car capables de retourner des résultats faux tout en affirmant de manière péremptoire qu'ils sont vrais

Ce qu'on pourrait vraiment faire

Outre le fait qu'on va probablement tôt ou tard devoir recourir à des "agents intelligents" pour nous protéger du contenu néfaste et de la prise de tête que représente désormais la navigation internet, il y a tellement d'applications fabuleuses pour des "assistants IA" !

Au quotidien

Il y a déjà une opportunité pour le soulagement des myriades de petites choses du quotidien qui augmentent notre charge mentale : les courses, les tâches, les reminders, les notes mentales, les résumés d'articles, de livres ou de films, les rendez-vous, etc.

● Si l'on part du principe qu'on a un assistant qui monitor nos activités en permanence — ça peut paraître rédhibitoire à certains mais si c'est quelque chose d'open source qui fonctionne en local, moi ça ne me pose aucun souci — alors on peut imaginer énormément d'applications à un ensemble de données nous concernant qui sont stockées et analysées à chaque instant.

● Pour commencer, on peut analyser les biorythmes et tenter de trouver les causes à certains effets sur notre santé, notre sommeil, etc.
→ Par exemple pour mon fils qui souffre d'eczéma, je rêverais d'avoir une application qui monitor TOUT dans son environnement (la date, le temps qu'il fait, la qualité de l'air, les types de pollens, ses activités, son menu, la taille de ses ongles, ce qu'il a mangé, la marque et la quantité de crème qu'on lui a appliquée, à quelle heure, etc.) et qui analyse ses symptômes afin de trouver les corrélations et idéalement les causes qui ont conduit à une inflammation un jour donné.

● Aider ma mère de 76 ans ! 😁 On sous-estime totalement la difficulté pour les personnes âgées et non formées à la technologie (et même pour celles formées à "l'ancienne technologie", celle qui fonctionnait, mais qui se laissent dépasser par la shit-tech) à opérer sur leurs machines, que ça soit au niveau de l’utilisation de l'OS, de la recherche d'aide et d'explications sur des logiciels et des périphériques, de la recherche d'informations sur internet.
Il serait tellement plus simple d'envisager l'interaction avec la machine via un assistant vocal à qui on pourrait parler comme à une personne !

● Imaginez un agent qui va patiemment se coltiner de remplir vos feuilles d'impôts et naviguer à votre place sur les sites de l'administration ! 😍

● Et moi qui ai horreur de passer des coups de fil, je rêverais qu'un agent puisse faire les appels à ma place ! (mais on parle déjà de tâches très avancées, peut-on oser espérer tout ça ?)

Pour le travail

● Pour le travail scientifique, la prise de notes, la lecture et le stockage sous forme sémantique de papiers de recherche : la suggestion de références par recoupement avec le sujet sur lequel on est en train de travailler seraient d'énormes atouts !

● On peut imaginer également un agent qui va faire une synthèse des travaux de recherche de n'importe quel domaine et qui pourra répondre à des queries (c'est déjà ce que les LLMs savent faire, et plutôt bien).

● Ou bien des agents qui apprendraient les théorèmes et règles des mathématiques et seraient capables de mémoriser l'intégralité du domaine ? Il suffirait de leur poser des questions en langage naturel, même de manière approximative, pour qu'ils nous ressortent les théorèmes ou les champs d'étude qui correspondraient le plus à notre tâche, et les explications qui vont avec.

● Pour le code, on a déjà des "copilotes" qui peuvent aider à la programmation mais je considère que les seuls avantages de tels agents résident dans (1) trouver des snippets de code dans un framework ou un langage qu'on ne maîtrise pas et (2) suggérer l'utilisation de tel ou tel algorithme pour résoudre un problème. Mais il est hors de question que la machine code à ma place !
Jusqu'à présent, même si on a pu avoir l'impression de coder plus vite, on n'a finalement peu de contrôle sur la qualité du code et le temps qu'on gagne à coder, on le perd à débugger.

Navigation internet

● Une application qui va faire des recherches à notre place (en nous évitant les popups, les pubs, les cookies, les notifications, les demandes diverses de souscription, d'abonnement, de dons, etc. ) va probablement devenir indispensable — naviguer sur le web sur smartphone sans bloqueur de pubs est déjà au-delà de mes forces, je comprends même pas comment les gens font pour s'accommoder de ça ?
→ On va probablement devoir aller fouiller sur archive.org pour accéder à des informations pré-âge-de-la-connerie ! (y compris les différentes versions de pages wikipédia avant qu'elles aient été caviardées pour servir des intérêts particuliers)

● Un assistant de navigation devrait nous permettre de lutter efficacement contre le phishing, les scams et les spams. D'une part en centralisant les données qui permettent de les repérer, d'autre part en analysant les sources des informations pour déterminer leur fiabilité — c'est très facile pour un agent de vérifier systématiquement la véracité de l'adresse e-mail de l'expéditeur, ce qu'un être humain ne va pas forcément faire

● Dans la mer de désinformation qui règne sur les sites d'e-commerce (faux commentaires, faux comptes, revendeurs douteux, etc.), ça serait fantastique de disposer d'un outil qui va faire le recoupement des différents produits que l'on cherche : analyser les fournisseurs, les fabricants, les distributeurs, les commentaires, leurs auteurs, leur fiabilité, etc.
De cette manière, on pourrait faire remplir des buts à l'agent comme trouver le fabricant et le distributeur le plus local possible, avec les produits les moins chers et les plus fiables pour nos besoins.

● Pour les parents, quel rêve de pouvoir laisser leurs enfants naviguer sur le net avec un filtrage de ce que leurs enfants peuvent ou ne peuvent pas voir : en effet, quoi de mieux qu'un assistant qui va filtrer tous les médias qui passent par le browser pour autoriser ou non leur affichage selon le contenu qu'ils véhiculent ? Ou bien qui va signaler tout profil "étrange" sur les réseaux sociaux ou les jeux en ligne ? Ou toute tentative de harcèlement ? (la limite entre le filtrage et la surveillance restent toutefois un large débat)

● Pour contrer les bots et les fermes à troll, on pourrait déployer une armée de contre-robots dont le but sera rien de plus que de faire perdre du temps et épuiser les trolls humains en simulant des conversations "intéressantes" avec eux, en gros, leur faire croire que leur stratégie d'énervement fonctionne et faire durer les conversations avec eux le plus longtemps possible afin de décourager cette pratique (mais ça demanderait probablement d'immenses ressources et un effort coordonné) (sans compter que si on a une contre-mesure efficace comme utiliser un assistant proxy pour filtrer les merdes, pourquoi perdre notre temps avec ces abrutis de trolls ?) (mais juste pour les faire bien chier, ça me ferait plaisir 😁)

● On pourrait lutter contre les fermes de trolls (la version industrielle du troll commun), on pourrait recouper leurs activités historiques : quand ont-ils été créés, combien de fois et à quelle date ont-ils changé de profil, quels éléments de langage véhiculent-ils, quelle est la potentielle synchronicité de leurs attaques avec celle d'autres bots, etc.
Idéalement, on pourrait se servir de toutes ces données pour faire des études statistiques de groupes et de réseau afin de remonter les filières (qui a payé, où est située la ferme, et même peut-être découvrir qui sont les personnes derrière ces réseaux ?).

Politique & Histoire

● On pourrait tout à fait envisager des bots qui nous représentent politiquement sur les forums, les réseaux sociaux et même, un jour, qui voteront à notre place ! (peut-être pas aux présidentielles mais dans des formes de démocratie participative plus poussées ?)

● Rien de tel qu'une base de faits étayés qu'on nous livre à la vitesse de l'éclair pour contrer tous les arguments du camp adverse, notamment pour contrer les fake news et les mensonges que les politiciens de droite nous livrent à longueur de journée ! (même si, il faut bien l'avouer, la vérité ou le mensonge n'ont plus beaucoup de sens de nos jours dans les médias, l'important étant de divertir)

● Une base de faits historiques pourrait être constituée par recoupement d'archives. Mais pour avoir écouté quelques interventions d'historiens, la majorité du travail se fait in situ, dans des salles d'archives non numérisées pour la plupart. Énormément de documents sont également inaccessibles (protégés, privés, etc.), donc pas tellement de miracles à attendre de ce côté-là. À noter qu'il n'y a aussi pas vraiment besoin de séparer une base de faits historiques d'une base de faits communs : l'histoire est après tout faite du commun d'autrefois.

Doubles Synthétiques

● Avoir une application qui mémorise tout ce qui nous est arrivé au cours de notre vie offre également l'opportunité de pouvoir se rappeler facilement des choses mêmes floues, en demandant à l'application ce qui s'est passé tel ou tel jour, le nom des gens qu'on croise, de nous rappeler telle ou telle information, même à partir de données très imprécises

● Dans un domaine plus intime, une application qui suivrait une personne toute sa vie posséderait une image, un mapping très fidèle de cette personne : ses habitudes, ses goûts, sa façon de parler, sa personnalité, etc.
On pourrait presque imaginer la possibilité de recréer virtuellement la personne en question et même continuer de faire évoluer l'avatar virtuel de la personne. Quelles seraient les implications en cas de décès de la personne ? Les possibilités en sont presque effrayantes.

● Sans pour autant se faire entièrement passer pour nous, un avatar virtuel pourrait nous servir d'interface sur les réseaux sociaux et nous épargner la peine de chercher le contenu intéressant posté par nos amis/notre famille (ou leurs avatars). Ce ne seraient pas des agents qui interagiraient automatiquement à notre place, mais plutôt des filtres qui nous permettraient de recevoir et d'envoyer l'essentiel, sans souffrir des dernières idioties de Zuckerberg ou Musk.

● On pourrait concevoir le réseau d'assistants personnels comme un fantastique moyen d'interagir directement avec nos amis et nos familles, on pourrait ainsi entièrement se passer des réseaux sociaux et des applications de chat parasitaires comme Slack, qui ont même l'outrecuidance de nous forcer à changer d'OS et même de machine (!!) à intervalles réguliers ! Mais pour qui se prennent-ils ? On parle une simple application de messagerie codée en Javascript, bordel !

Pour finir, je vois ces assistants personnels open source comme une seconde peau, une armure informationnelle avec laquelle on pourrait interagir aussi facilement qu'avec n'importe quel autre humain et qui nous fournira des données sûres, sourcées et restaurera notre capacité à naviguer dans la noosphère en compagnie de nos semblables sans craindre la moindre mainmise sur la ressource la plus précieuse de l'humanité : l'information !

C'est bon j'ai trouvé mon END GAME !!! Je vais plier ces connards !! (désolé mais plus le temps passe, plus je suis énervé !)

Les risques d'une intelligence bon marché

Mais que se passe-t-il si on met toutes les connaissances et toute l'intelligence du monde entre les mains de tous ? Ne court-on pas le risque que des personnes malveillantes mettent au point des armes biologiques, bactériologiques ou nucléaires ?! 😱

Alors déjà pour commencer, je n'ai pas pour but de créer quelque chose d'intelligent. Pour être honnête, j'attends toujours que quelqu'un nous donne une définition intelligente de l'intelligence.

L'idée ici est de disposer d'un assistant de connaissance : quelque chose qui sait tout ce qu'il y a à savoir et avec lequel on peut dialoguer en langage naturel.

Mon avis est que :

  1. je préfère que ça soit dans les mains de tout le monde, plutôt qu'entre les mains de quelques-uns — comme d'habitude, les plus puissants, les plus fortunés, les plus influents; en gros, ceux qu'on n'aime pas.
  2. de toute manière, ça va arriver, et connaissant le capitalisme financiarisé, ça va se faire de manière dégueulasse et au détriment de tout le monde tandis qu'un petit groupe d'acteurs puissants détiendront le monopole de la censure et de l'autorisation d'accès ou non à tel ou tel type d'information, selon vos moyens et votre bande passante — on pense ici à Open AI, Microsoft, Google, Apple, Facebook qui sont les seuls garants de l'accès (payant) à leurs modèles énergivores, mais également à Black Rock, Palantir, Vanguard, la NSA et d'autres organisations mal intentionnées qui ont amplement les moyens de se payer leurs propres modèles.
  3. l'accès à des informations dangereuses est déjà possible si on s'en donne les moyens, et les groupes terroristes et mafieux ont largement les moyens d'y accéder. Ça ne change donc strictement rien, puisque de toute manière une personne isolée ne pourra jamais construire une bombe nucléaire ou avoir accès aux matériaux extrêmement réglementés (explosifs, anthrax, souches bactériologiques, etc.).
    De plus, mon opinion (naïve) est que pour combattre le terrorisme, autant s'arranger pour qu'il n'existe pas en premier lieu !
  4. puisque ça va arriver et que c'est déjà possible, ne doit-on pas au contraire donner à tout le monde les moyens de se défendre ? Un assistant de connaissance est justement un excellent moyen de se défendre contre les spams, le phishing, les scams ou toute forme d'atteinte aux biens et aux personnes (je compte bien évidemment les pubs comme une atteinte à notre bien-être).

LLM ou pas LLM ?

Même si je trouve les LLMs d'ores-et-déjà utiles et fascinants, je ne suis pas pour autant convaincu que ça représente l'algo de la future IA générale !

On voit nettement le plateau atteint par ces techniques, même si Open AI parvient jusque-ici à se raccrocher aux branches au dernier moment en rajoutant un nouveau modèle qui pulvérise les tests, comme dernièrement le modèle O3 qui parvient à faire 85% (!!!) sur le corpus ARC-AGI là où le record était à ~50% et utilisait de la "mixture of experts" (MoE).

Ça reste, à la base, un algo qui consiste à prédire le prochain token d'une séquence... Imaginons une seule seconde que l'énorme modèle GPT4 à 1.8 trillions de paramètres soit rendu aussi rapide qu'une requête Google, il faudra toujours appeler l'algo autant de fois qu'il y aura de tokens dans la séquence, jusqu'à tomber sur <EOS> (end of sentence/stream/sequence) !

On parle donc d'un algo qui est fondamentalement 2 voire 3 ordres de magnitudes plus coûteux qu'une requête Google !

Et je ne mentionne même pas des problèmes posés par les affabulations / hallucinations / confabulations générées par ces modèles, le fait que ce sont des boîtes noires inextricables, de leur incapacité à former un World Model solide et cohérent uniquement à partir de textes collectés sur l'intégralité de l'internet mondial (même après RLHF), le fait que le Chain of Thought reasoning soit probablement encore un ordre de grandeur plus coûteux, etc.

Dans tous les cas (1) on ne peut pas se fier à leurs réponses et (2) on ne peut décemment pas envisager de basculer l'intégralité des utilisateurs de moteurs de recherches vers ces monstres avides de puissance de calcul, ça n'est simplement pas environnementalement supportable...

On peut néanmoins noter de bonnes choses que les LLMs nous ont apportées, notamment le fait qu'ils arrivent à :

  • Nous bluffer totalement avec un algo aussi simple que "prédis-moi le prochain mot"
  • Construire un semblant de world model, même incomplet et dépourvu de fondements ou d'expérience du monde réel, uniquement en se basant sur l'analyse du langage 2
    • ⭐️ C'est ce que j'ai toujours soutenu : le langage est le niveau d'analyse idéal pour structurer et apprendre des concepts⭐️
    • Mais on voit que ça ne suffit pas, que le sens commun n'est pas toujours là — soit il n'est pas là du tout, soit il est overridé par l'obligation de l'algorithme à toujours devoir sortir une réponse, peu importe qu'elle soit fondée dans le réel ou non
    • On s'aperçoit qu'il est probablement nécessaire de doubler cet apprentissage par le langage, d'un apprentissage des contraintes de l'environnement via embodied cognition
    • Il n'y a pas non plus d'émergence de la conscience ou de l'intelligence par simple scaling des capacités des modèles — l'algorithme n'est donc pas complet, il manque quelque chose pour que les modèles puissent commencer à raisonner


Tout d'abord, j'ai écrit une note sur les neurones polysémiques, l'embedding dans un espace vectoriel de grande dimension et comment s'en inspirer pour mieux s'en passer 😅.

Puis on va explorer un peu plus avant les leçons à tirer des LLMs.

Une approche Neuro-Symbolique

Et donc, si on n'utilise pas une architecture de réseau de neurones classiques, on fait comment ?

Pour commencer, de la même manière qu'on n'a pas recopié exactement tous les détails des ailes d'oiseaux pour voler, il faut se convaincre qu'il est tout à fait possible d'exploiter ce qu'on a appris des LLMs et de la façon dont on suppose qu'ils fonctionnent en interne pour les recoder de manière explicite !

Les travaux des chercheurs et des ingénieurs sur les réseaux de neurones profonds ont permis de prouver qu'on pouvait reproduire artificiellement une bonne part de ce que notre cerveau peut faire dans le traitement du langage mais également dans la reconnaissance et la génération d'images ou de sons. On peut donc s'en inspirer pour aller encore plus loin et fabriquer quelque chose d'encore plus souple, de plus simple et surtout de moins coûteux (à la fois en termes de ressources et de temps) !

On a vu que tous les réseaux de neurones évolués (image classifiers ou LLMs) ont comme point commun de combiner les neurones des couches précédentes en des concepts de plus en plus abstraits et symboliques.

  • Pour les classifiers, on part du pixel pour arriver au concept-même de la chose à classifier, à chaque fois en combinant des morceaux plus détaillés de la couche d'avant en une feature plus complexe
  • Pour les LLMs, on part du mot/token pour arriver à des concepts/opérations de plus en plus complexes (même si l'on a vu que ces opérations ne sont probablement qu'un pattern matching), puis on redescend au niveau du token en appliquant au passage un arrangement (un style d'écriture) particulier (cf. le dernier chapitre de cette note pour une architecture hypothétique des LLMs).
  • Pour les générateurs d'images, de sons ou de vidéos, on part généralement du langage naturel pour arriver à un espace latent (interne) qui encode des concepts de haut niveau, pour finalement redescendre au niveau de la génération de parties de plus en plus détaillées de l'image ou du son. Il est même possible de "dessiner" pour guider la génération de certaines parties de l'image vers un design particulier : on force l'espace latent à avoir le concept que l'on souhaite voir à un endroit.

On voit donc qu'il est possible de se réserver un espace de concepts de haut-niveau (qu'on va pouvoir facilement expliquer, ce qui est un énorme avantage par rapport au côté boîte noire des ANN) qu'on va pouvoir créer via un algorithme d'apprentissage, puis adresser et combiner via des procédures qui vont, elles aussi, pouvoir être apprises par un algorithme d'apprentissage (on verra que c'est probablement le même que pour les concepts), ces procédures pourront ensuite être chaînées suivant un plan d'exécution afin de répondre aux requêtes de l'utilisateur...


On va expliquer en quoi consiste cette approche neuro-symbolique.

Peut-on tout représenter de manière symbolique ? C'est ce qu'on tenter va voir dans cette note.

Suivie d'une note sur les structures conceptuelles de base.

On va également expliquer comment utiliser ces concepts pour réaliser une mémoire associative.

Comment raisonner symboliquement ?

Maintenant qu'on a vu comment créer des structures conceptuelles de base, on va explorer la façon de les exploiter :

Les fondements du raisonnement symbolique.

On peut aussi "s'amuser" avec des problèmes comme :

Les problèmes de Bongard

Le challenge ARC

Mais il est plus difficile de généraliser ! Comment écrire "un algorithme qui va découvrir de nouveaux algorithmes" ?

Comment apprend-t-on ?

Si on n'utilise ni les réseaux de neurones classiques, ni la backpropagation, comment on fait pour apprendre quoi que ce soit à l'aide d'une approche neuro-symbolique ?

On va voir ça dans une note :

Les fondements de l'apprentissage.

Ainsi qu'une collection de notes sur mes différentes expériences d'apprentissage en cours (supervisé et non-supervisé) :

Apprentissage des phonèmes

Apprentissage de la prononciation de mots inconnus

Apprentissage de la parole

Apprentissage de la structure des phrases

Symbol Grounding

On se confronte très rapidement au problème de l'interface entre le monde réel perçu par nos sens et le monde symbolique auquel on aspire et dans lequel on aimerait appliquer notre raisonnement.

C'est le fameux "problème du symbol grounding".

On va commencer par un résumé d'un très bon cours de Computer Vision dans cette note :

Computer Vision.

Puis on va rapidement présenter le système visuel humain pour comprendre l'aspect biologique du traitement de la lumière, depuis l'oeil jusqu'aux premiers étages du cortex visuel :

Système Visuel Humain.

Finalement, on va parler de notre propre approche d'apprentissage de la vision et de la représentation interne des objets physiques dans cette note :

Apprentissage de la Vision.

World Model

En plus des problématiques d'apprentissage et de raisonnement, on va réfléchir à la façon dont notre IA va pouvoir modéliser le monde réel et tenter de garder des états les plus cohérents possibles des diverses composantes intervenant dans la réalité.

Cette discipline s'appelle World Modeling et consiste à expliquer le monde à l'aide de modèles plus ou moins sophistiqués qui dépendent souvent de l'état des connaissances qu'on a sur chaque sujet.

On va en parler dans cette note :

World Modeling.

Projet "TaRa"

Suite à mon coup de gueule dans la note End Game, j'ai finalement planché sur mon projet global → le projet Tabula Rasa (TaRa) que vous pouvez découvrir ici :

L'architecture du projet TaRa.

## Un assistant vocal Comme l'ont démontré les modèles de langage avancés et leurs différentes déclinaisons, notamment *Dall-E*, *Midjourney* ou *Sora*, le langage naturel s'impose comme un moyen privilégié d'interaction avec les machines et les modèles d'intelligence artificielle (:star: encore un truc que j'ai toujours soutenu !:star:). La conception d'un *assistant vocal* représente donc une première étape pertinente pour enregistrer de manière continue — mais en local seulement — l'environnement quotidien de l'utilisateur afin d'interagir au mieux avec lui. À terme, cette approche pourrait être élargie à d'autres modalités d'interaction telles que la reconnaissance et la génération d'images ou encore l'intégration dans des agents virtuels ou physiques (*embodied cognition*).
![](images/Article64x64.png)On va explorer un peu plus avant [l'interface sonore](./InterfaceSonore.md) ![](images/TODO32x32.png)
![](images/Article64x64.png)Un prototype de *device* sur un ESP32 ![](images/TODO32x32.png)

mail