Recyclage en Intelligence Artificielle

[titano]

53 qbits, une véritable partouze.

[saturne]

Financial Times a mis en ligne le Paper du Q processor (version avec photos)

NASA/TP-2019-220319
Quantum Supremacy Using a Programmable
Superconducting Processor

Eleanor G. Rieffel
NASA Ames Research Center

https://drive.google.com/file/d/19lv8p1 ... c-kdD/view

Google AI Quantum and collaborators†

The tantalizing promise of quantum computers is that certain computational tasks might be

executed exponentially faster on a quantum processor than on a classical processor. A fundamen-
tal challenge is to build a high-fidelity processor capable of running quantum algorithms in an

exponentially large computational space. Here, we report using a processor with programmable
superconducting qubits to create quantum states on 53 qubits, occupying a state space 253 ∼ 1016
.
Measurements from repeated experiments sample the corresponding probability distribution, which
we verify using classical simulations. While our processor takes about 200 seconds to sample one
instance of the quantum circuit 1 million times, a state-of-the-art supercomputer would require
approximately 10,000 years to perform the equivalent task. This dramatic speedup relative to all

known classical algorithms provides an experimental realization of quantum supremacy on a com-
putational task and heralds the advent of a much-anticipated computing paradigm.

(source: https://elpais.com/tecnologia/2019/09/3 ... 33976.html)

[WolfgangK]

Croisement avec la file "quelle musique écoutez-vous": mon rappeur préféré (de loin !)

[saturne]

Nature, version finale de l'article sur le processeur quantique (celle du 20-sep-2019 était incomplète, erreur sur GDrive)

Article
Published: 23 October 2019
Quantum supremacy using a programmable superconducting processor
Frank Arute, Kunal Arya, […]John M. Martinis

https://www.nature.com/articles/s41586-019-1666-5

Commentaires de IBM
October 21, 2019 | Written by: Edwin Pednault, John Gunnels, and Jay Gambetta
https://www.ibm.com/blogs/research/2019 ... supremacy/

(Xmerci en v/ES)

[moinsdewatt]

L'ordinateur quantique à 53 qbits de Google :



https://www.technologyreview.com/s/6146 ... ar-pichai/

[PACA]

Le Pentagone attribue à Microsoft un contrat de 10 milliards de dollars pour son cloud
https://actu.orange.fr/societe/high-tec ... kwQZ3.html

Rien à voir techniquement, mais concernant l'importance des contrats d'état : de mémoire il me semble qu'à l'origine, l’ancêtre du XML était un contrat de la défense US avec IBM(DCF, GML) avec un objectif de confidentialité pour de la production répartie de documentation.
Ce type de contrat oriente les futurs standards.

[moinsdewatt]

Intel tacle Google sur la course à l'informatique quantique
Par Benoît Théry, le 25 octobre 2019
......

https://www.clubic.com/amp/874264-intel ... tique.html

[PACA]

Il me semble qu'il y a deux aspects :
- la commercialisation d'ordinateurs => c'est le métier d'Intel
- la commercialisation de services sur un ordinateur pas forcément commercialisé ou commercialisable => c'est le métier de Google
Google n'aurait aucun intérêt à ce que cette techno soit commercialisée ?

[WolfgangK]

Pour revenir au sujet :
Je découvre "successor representations" :
https://medium.com/@awjuliani/the-prese ... 16b78c5fa3

[slash33]

Je viens de faire une formation théorique et pratique au Machine Learning à Paris. C'était pas mal. Mais on ne peut pas dire que ce soit magique non plus.

[PACA]

Mais on ne peut pas dire que ce soit magique non plus.

... il faut compter de la puissance machine et de l'espace disque supplémentaire, non ?

[WolfgangK]

Je viens de faire une formation théorique et pratique au Machine Learning à Paris. C'était pas mal. Mais on ne peut pas dire que ce soit magique non plus.

Je suis intéressé par plus de détails (volume, contenus, outils utilisés, domaines d'applications,…). Merci !

[slash33]

En vrac. 3 jours. Data scientist à son compte à Paris, ex chercheur post doc. 50 ans révolus. Théorie et travaux pratiques. TP sur cas concrets, dont certains issus de concours publics (hackathons), domaines variés (santé, reconnaissance d'objets, finance, aéronautique). Cours pragmatique ayant pour principal but de nous inculquer des bonnes pratiques et de nous fournir une boîte à outils pour aller plus loin. Théories mathématiques incluses. Machines supervisées, non supervisées, régression. Pour la classification, vu en détail 4 modèles et survolé les autres. A chaque fois: traitement (au sens large) des données, choix et expérimentation de modèles de ML, optimisations (internes/externes), performances et benchmarks. Hors périmètre: réseaux de neurones, deep learning et big data (formations spécifiques). Outils: Jupyter. Azure.

[PACA]

Pas d'allusion à Apache Spark Hadoop ?

[slash33]

Pas d'allusion à Apache Spark Hadoop ?

Si mais pas l'objet du cours. TensorFlow aussi dans les allusions.

[saturne]

v/Google/FR: El Pais
Jordi Pérez Colomé
27 OCT 2019 - 16:32 CET

(v/ES)

CALCUL QUANTIQUE
L'espagnol qui a conçu la plus grande avancée de l'informatique quantique
L'informaticien et philosophe Sergio Boixo a été une pièce maîtresse de l'équipe de Google qui a réduit à quelques minutes un calcul qui nécessite des siècles


«J'ai conçu la partie théorique de l'expérience», explique Boixo. «Nous avons commencé à travailler il y a environ quatre ans. Nous voulions montrer qu'un ordinateur quantique fondamental peut être plus rapide que les plus gros supercalculateurs du monde. » Aucun humain n'avait fait une telle chose auparavant. C'est comme regarder le futur d'un endroit où tout ce qui est devant est l'obscurité. Boixo a porté la lampe de poche pour trouver le chemin: «Vous devez concevoir une mesure pour vérifier que l'ordinateur quantique fonctionne bien. Il est difficile lorsque vous construisez des ordinateurs quantiques de plus en plus puissants de faire quelque chose qui n'a jamais été fait », ajoute-t-il.


Pourquoi avez-vous étudié la philosophie?

Boixo a étudié la philosophie pour savoir dans quoi se spécialiser lorsqu'il a terminé son génie informatique:
«J'aimais la science, l'informatique et l'ingénierie. L'informatique quantique, qui combine tout cela, et même la philosophie, n'existait pas encore. Je pensais qu'étudier la philosophie me permettrait de décider dans quoi me spécialiser, mais aussi de mieux comprendre le monde d'aujourd'hui », explique-t-il.

Pour quelqu'un comme Boixo qui travaille à la frontière de la connaissance, le bagage en philosophie ne s'est pas mal passé. La physique quantique a également ses interprétations, comme il l'explique:
«En tant qu'informaticien quantique, la philosophie informe la manière dont j'interprète la physique quantique. Il existe toujours un débat ouvert sur les postulats de la physique quantique, le problème de la mesure et le rôle de l'observateur.
En philosophie, ce débat existe depuis le XVIIIe siècle, et mon interprétation de la physique quantique est plutôt kantienne. »

(Je suis super-content de ne pas l'avoir dit moi-même. )

[Jeffrey]

Le ridicule ne tue pas.
Ce qui est drôle au fond des choses, c’est que la physique quantique repose sur les espaces de Hilbert. C’est à dire sur le fondement même de la notion d’orthogonalité. Vous qui pensiez que tous les triangles sont rectangles, vous ne pouvez saisir la saveur de votre babillage.

[Parsifal]

Il y a une excellente vidéo de vulgarisation la part de David Louapre

[saturne]

Le ridicule ne tue pas.
Ce qui est drôle au fond des choses, c’est que la physique quantique repose sur les espaces de Hilbert. C’est à dire sur le fondement même de la notion d’orthogonalité. Vous qui pensiez que tous les triangles sont rectangles, vous ne pouvez saisir la saveur de votre babillage.

Bouh ! Le jour où vous cesserez vos babillages sur votre suprématie intellectuelle, votre "suprémathie", on en reparle.
Quant au théorème du triangle (le carré de l'hypothenuse = somme des carrés des 2 droits) son intérêt en philo est de montrer comment en mathématiques une intuition (une évidence) peut être une construction pas à pas (droite, carré, somme)

Autrement, oui, et j'ai été le premier à en rire, le théorème ne se démontre pas avec deux droits parce qu'aucun auteur n'a eu l'idée de prendre autre chose pour le démontrer, mais bien parce qu'il faut que le triangle soit rectangle. Curieusement, je ne me souviens pas que les mathématiciens pensent à le préciser. C'est pourtant important, puisque ça vous a fait rire -- et d'ailleurs, d'où vient ce "il faut" ?

Pourquoi "il faut" ? La question ne s'est jamais posée ? Il n'y a pas de maths non-euclidiennes qui ont postulé des fois ce qui se passerait si le théorème se démontrait aussi pour d'autres angles ?

Alors soyez bon prince et rabaissez un peu votre "suprémathisme" à mon/notre humble niveau : expliquez-nous pourquoi il faut que ce soit un triangle rectangle, pour que le théorème soit démontrable ?

Ce n'est pas ironique, vous êtes excellent pédagogue quand vous voulez, (encore plus quand un autre matheux vous corrige, j'espère que vous vous y mettrez à plusieurs ).



Et si vous me répondez platement, come j'anticipe : -- "parce que c'est non contradictoire !", je vous demanderai ensuite ce que la suprémathie espère tirer d'une réponse pareille pour faire avancer l'intelligence artificielle ?

[Jeffrey]

Le ridicule ne tue pas.
Ce qui est drôle au fond des choses, c’est que la physique quantique repose sur les espaces de Hilbert. C’est à dire sur le fondement même de la notion d’orthogonalité. Vous qui pensiez que tous les triangles sont rectangles, vous ne pouvez saisir la saveur de votre babillage.

Bouh ! Le jour où vous cesserez vos babillages sur votre suprématie intellectuelle, votre "suprémathie", on en reparle.
Quant au théorème du triangle (le carré de l'hypothenuse = somme des carrés des 2 droits) son intérêt en philo est de montrer comment en mathématiques une intuition (une évidence) peut être une construction pas à pas (droite, carré, somme)

Autrement, oui, et j'ai été le premier à en rire, le théorème ne se démontre pas avec deux droits parce qu'aucun auteur n'a eu l'idée de prendre autre chose pour le démontrer, mais bien parce qu'il faut que le triangle soit rectangle. Curieusement, je ne me souviens pas que les mathématiciens pensent à le préciser. C'est pourtant important, puisque ça vous a fait rire -- et d'ailleurs, d'où vient ce "il faut" ?

Pourquoi "il faut" ? La question ne s'est jamais posée ? Il n'y a pas de maths non-euclidiennes qui ont postulé des fois ce qui se passerait si le théorème se démontrait aussi pour d'autres angles ?

Alors soyez bon prince et rabaissez un peu votre "suprémathisme" à mon/notre humble niveau : expliquez-nous pourquoi il faut que ce soit un triangle rectangle, pour que le théorème soit démontrable ?

Ce n'est pas ironique, vous êtes excellent pédagogue quand vous voulez, (encore plus quand un autre matheux vous corrige, j'espère que vous vous y mettrez à plusieurs ).



Et si vous me répondez platement, come j'anticipe : -- "parce que c'est non contradictoire !", je vous demanderai ensuite ce que la suprémathie espère tirer d'une réponse pareille pour faire avancer l'intelligence artificielle ?

Ce n’est pas  »il faut », c’est une « équivalence « . Un gosse de quatrième qui a compris ce qu’on enseigne en collège sait (a compris) que c’est une équivalence et pas « il faut ».
Comment discuter avec quelqu’un qui ne comprend rien aux bases mais fait quand même de longs discours ?...
D’ailleurs, c’est amusant de vous voir poster à propos de l’ordinateur quantique, car toute observable , c’est à dire toute mesure de l’état d’un qbit est un produit scalaire, c’est à dire une projection orthogonale dans un espace d’état. Mais je ne peux absolument pas vous l’expliquer.

[WolfgangK]

On est HS ☹, mais vous pouvez lire les pages 28-29 de http://www.ams.org/notices/201302/201302-full-issue.pdf avec un papier et un crayon.

À propos d'ordinateur quantique, je reposte :

[saturne]

Ce n’est pas  »il faut », c’est une « équivalence « . Un gosse de quatrième qui a compris ce qu’on enseigne en collège sait (a compris) que c’est une équivalence et pas « il faut ».

Très bien. Je peux donc remettre la question qui s'ensuit.

Et si vous me répondez platement, come j'anticipe : -- "parce que c'est non contradictoire une équivalence", je vous demanderai ensuite ce que votre suprémathie espère tirer d'une réponse pareille pour faire avancer l'intelligence artificielle ?

Ma curiosité sur ce fil ne prétend rien d'autre que savoir comment l'IA répond à la question qui s'ensuit.
Si nos échanges ont clarifié ce point, c'est parfait. Restons-en là.

Salut !

[Jeffrey]

Ce n’est pas  »il faut », c’est une « équivalence « . Un gosse de quatrième qui a compris ce qu’on enseigne en collège sait (a compris) que c’est une équivalence et pas « il faut ».

Très bien. Je peux donc remettre la question qui s'ensuit.

Et si vous me répondez platement, come j'anticipe : -- "parce que c'est non contradictoire une équivalence", je vous demanderai ensuite ce que votre suprémathie espère tirer d'une réponse pareille pour faire avancer l'intelligence artificielle ?

Ma curiosité sur ce fil ne prétend rien d'autre que savoir comment l'IA répond à la question qui s'ensuit.

Ça c’est facile de donner une réponse claire et précise :
Vous n’avez pas les moyens de le comprendre. C’est triste, mais c’est ainsi.

[Jeffrey]

Il y a une excellente vidéo de vulgarisation la part de David Louapre

excellente vidéo en effet;
On peut ajouter une remarque : dans la course à la meilleure solution entre ordinateur déterministe et ordinateur quantique, le quantique est présenté comme une solution qui outrepasse le problème de la Np-complétude. Par exemple, la question de décomposer un nombre non premier en facteurs premiers est un problème NP-complet, ce qui rend son exploration systémique quasi impossible. Mais la "méthode" de l'ordinateur quantique est basée sur un raisonnement probabiliste, comme expliqué dans la vidéo. Et pour les problèmes NP-complets, on sait créer des algorithmes probabilistes avec des machines déterministes également. Ces algos ne sont pas toujours très performants, mais ils traduisent que la frontière "polynomial - NP " peut être franchie par des méthodes diverses.

[WolfgangK]

En vrac. 3 jours. Data scientist à son compte à Paris, ex chercheur post doc. 50 ans révolus. Théorie et travaux pratiques. TP sur cas concrets, dont certains issus de concours publics (hackathons), domaines variés (santé, reconnaissance d'objets, finance, aéronautique). Cours pragmatique ayant pour principal but de nous inculquer des bonnes pratiques et de nous fournir une boîte à outils pour aller plus loin. Théories mathématiques incluses. Machines supervisées, non supervisées, régression. Pour la classification, vu en détail 4 modèles et survolé les autres. A chaque fois: traitement (au sens large) des données, choix et expérimentation de modèles de ML, optimisations (internes/externes), performances et benchmarks. Hors périmètre: réseaux de neurones, deep learning et big data (formations spécifiques). Outils: Jupyter. Azure.

Est-ce que vous avez passé du temps à pratiquer du "data wrangling" (je ne sais pas comment on dit en Français ) ? Parce que c'est un aspect peu sexy mais quand même assez important, malheureusement, amha.
Aussi, est-ce que vous avez vu des trucs du genre paradoxe de Simpson, paradoxe de Berkson, pour éviter de conclure trop hâtivement à partir de corrélations ? Parce que c'est bien de pouvoir calculer des corrélations, mais faut savoir ne pas s'emballer trop vite àmha.

[slash33]

On a vu les principes de vérification/correction de l'homogénéité des données, de la détection de l'absence suffisante de données, la réduction dimensionnelle et le pré-traitement des données.

[saturne]

Note biblio de référence (en espagnol, mais ça peut servir)

Approche physiologique du cerveau en tant que système dynamique

(Pour ceux qui s'interessent aux recherches dans ce domaine, le bouquin de Justo Gonzalo a été fac-simile en PDF.)

Dinámica cerebral -- (En un seul Facsimilié. Tome I . 1945, Tome II 1950)
Author: Gonzalo, Justo
Subject: Actividad cerebral |
Date of Issue: 2012-04-12 (pubié)
URI: http://hdl.handle.net/10347/4341
https://minerva.usc.es/xmlui/handle/10347/4341

(Introduction p87 du PDF, traduction par moi)
En assumant que le cortex cérebral constitue une structure dynamique où le niveau fonctionnel dépend de la quantité de masse nerveuse, celle-ci opérant comme un activateur non-spécifique de l'excitabilité cérébrale, il devient alors aisé de comprendre que des lésions desctructives [de cette masse] réduise la capacité fonctionnelle, autrement dit qu'il se produise une altération dans l'excitation des activités qui se trouvent subordonnées à l'action dynamique des centres [cérebraux, dans la thérie de la localisation des fonctions cérébrales]
Le mécanisme de renforcement [musculaire] intervient alors pour renforcer l'intensité de l'activite cérébrale restante et suppléer en partie, de cette façon, la masse détruite par la lésion.

Bref, le dépassement des deux approches contradictoires du cerveau, tantôt como un modèle topologique (tel endroit=telle fonction) et tantôt "associatif" (psychologie fonctionnelle), par un modèle dynamique fondé sur l'intensité non-spécifique de l'activité corporelle et la non spécificité des zones corticales

Concrètement: les patients arrivent à "voir" une forme en.... serrant le poing (en aditionnant une intensité musculaire là où la masse cérébrale ne peut plus apporter d'intensité nerveuse).

Ce qui conduit à modéliser un "Modèle dynamique" où prévaut la notion de "Structure" des phénomènes mesurables: durée, espace et intensité de l'activité. La masse nerveuse agit comme amplificateur/structurant de stimuli non-spécifiques, mais il procède toujours selon un même "patron" structurel,

La "structure fonctionnelle" du cerveau décrite est alors totalement physiologique. L'intensité musculaire est mesurable, la structure spatio-temporelle des stimuli est modélisable mathématiquement. Il n'y a pas de "psychologisme" (théorie des associations) et on ne présuppose plus un parallelisme entre l'organe et la fonction (théorie des "zones" corticales associées à certaines fonctions).



Quel rapport avec l'intelligence artificielle ?

Parce que cette structure physiologique globale capable de "fonctions" cérébrale est potentiellement indépendante des organes eux-mêmes (la masse nerveuse est non-specifique). Si l'organe subit des lésions, le "système" corrige en utilisant d'autres sources d'intensité non-spécifiques, (exemple de l'effort musculaire). Mais la façon de procéder est toujours la même. Il est alors possible de "prédire" un certain nombre de comportements (ou de troubles de la perception chez des patients).

Cette approche attire évidemment beaucoup les chercheurs en I.A.
Car elle permet de modéliser les fonction cérébrales de manière non-spécifique (non liée à tel ou tel sens, fonction. etc.)

Presse où je suis tombé dessus:
http://esmateria.com/2012/07/10/el-homb ... l/?rel=mas

C'est très intéressant, oui.

[WolfgangK]

https://www.wired.com/story/ai-innovato ... g-to-kids/

AI Innovators Should Be Listening to Kids

Input from the next generation is crucial when it comes to navigating the challenges of new technologies.

[slash33]

PREMIERE. Des neurones artificiels capables de contrer l'insuffisance cardiaque
Par Camille Gaubert le 03.12.2019
https://www.sciencesetavenir.fr/sante/c ... que_139528

Pour la première fois, une équipe de scientifiques démontre qu'un morceau de silicium peut se comporter exactement comme un neurone biologique, avec une application directe sur l'insuffisance cardiaque, dont ces neurones artificiels peuvent inverser le cours chez l'animal.

[moinsdewatt]

Google modifie l’algorithme de son moteur de recherche en français
L’entreprise évoque un changement majeur, basé sur une technologie d’intelligence artificielle capable de mieux comprendre « l’intention derrière une requête ».
09 dec 2019
................

https://www.lemonde.fr/pixels/article/2 ... 08996.html

[PACA]

Google modifie l’algorithme de son moteur de recherche en français
L’entreprise évoque un changement majeur, basé sur une technologie d’intelligence artificielle capable de mieux comprendre « l’intention derrière une requête ».
09 dec 2019
................

https://www.lemonde.fr/pixels/article/2 ... 08996.html

Cela pourrait être très intéressant sous réserve que le système soit aussi capable de fonctionner bêtement :
- le mode intelligent doit être une option
- il doit être capable d'ignorer le contexte
Idem pour les voitures sans chauffeur, je dois pouvoir reprendre la main et conduire sans assistance intelligente.
La véritable intelligence serait de laisser l'utilisateur choisir : je dois avoir le droit de formuler une mauvaise question, sans aucune interprétation qui est très souvent une interprétation avec des objectifs commerciaux. L'intelligence sera in fine au service des comptes bancaires de Google.
Une conséquence positive : Il y aura probablement un créneau pour les services de recherche concurrents qui auront su garder des options triviales de recherche. Tout comme il y aura toujours des amateurs pour des voitures classiques "bêtes et méchantes".

Mon intention derrière une requête est strictement confidentielle, cela ne regarde personne, surtout pas Google.

[Parsifal]

Faut pas sur-interpréter ce que Google dit.

La recherche google d'aujourd'hui ce n'est pas très loin d'un truc du genre "sequence de mots" => "pages les plus visitées par les gens ayants tapés cette séquence de mots". Bref une prob conditionnelle utilisant la séquence de mots tapée. Evidemment avec des complications pour les mots rares, les nouvelles pages et les mots de sens équivalents. Bref choisir comment conditionner exactement est problématique pour les requêtes longues. Comme c'est difficile on utilise généralement un modèle additif pour chacun des termes (en réalité on essaye quand même d'introduire les termes les plus "gros" d'ordre 2 via ce que l'on appelle des factorization machines). Cela ne marche pas si mal par exemple "chaussure enfant" peut plus ou moins se traiter comme la somme du score de "chaussure" et de "enfant". Mais intellectuellement ce n'est pas très satisfaisant et c'est problématique si un des mots a beaucoup plus de variance dans les scores de pages que les autres. Un mot un peu générique de liaison comme une conjonction de coordination sera par exemple ignorée car porteuse de peu de variance alors qu'elle peut fortement changer le sens de la requête. "repas pour chien" est assez différent de "repas avec chien" (Google peut parfois s'en sortir car les utilisateurs apprennent à reformuler leur recherche et taperont par exemple "restaurant chien accepté" pour la seconde requête)

C'est la que BERT intervient. BERT est un transformer network. De manière un peu schématique c'est un outil destiné à traiter des séquences de mots (enfin pas tout à fait car il travaille sur des tokens) mais surtout il a des "attention heads". Cela signifie qu'il est capable de choisir d'ignorer ou de donner plus d'importance à certains des mots ou enchainement de mots en fonction de l'ensemble des mots. Et c'est bien pratique car cela le rend capable d'identifier tout seul des ensembles de mots ou la liaison entre eux est importante tout en évitant d'alourdir le modèle avec les situation ou les liens entre les mots importent peu.

[PACA]

La question est de savoir si à un instant donné tous les processus automatisés intelligents sont conçus pour être capables de se taire et d'être passifs, d'obéir. => apprendre à obéir.
Un exemple :
J'ai passé l'après midi chez ma fille : une chaudière au gaz soumise à un thermostat intelligent
J'ai essayé de faire démarre le chauffage => impossible
- niveau chaudière => impossible, elle n'obéit qu'au thermostat
- niveau thermostat => impossible malgré la documentation que j'ai retrouvé sur Internet

Deux erreurs de conception :
- chaudière : absence d'un simple bouton qui puisse permettre de déclencher un cycle de chauffe sans l'ordre du thermostat, son maître.
- thermostat : absence d'un simple bouton ou option basique qui permettait d’inhiber sa mémoire => obéis et tais toi ! CHAUFFE ! ne t'occupe pas de la température, ça ne te regarde pas pour cette manip.

Je me doute qu'un professionnel formé à la manœuvre aurait pu s'en sortir.
Je n'ai pas pu m'empêcher de faire le rapprochement avec les pilotes Boeing MAX 8 qui ne connaissaient pas le "bouton" pour inhiber le MCAS têtu.
Ils voulaient ne pas s'écraser comme je voulais me chauffer ....

[Parsifal]

Je ne vois pas le lien avec l'AI. Enfin si vu qu'elle est devenue un vaste fourre tout.
Pour les pilotes, il s'agit de professionnels entraînés ce qui pose d'autres questions quand à la responsabilité : ont-ils été mal formés ?

Pour le thermostat... Mauvaise interface...
Il est peut-être possible de forcer la mise en marche via la modification de sa température cible. Un bouton "chauffe" est pertinent mais n'a rien à voir avec le ML/IA

[PACA]

Je ne vois pas le lien avec l'AI.

C'est sur ses modalités d'utilisation et l'apprentissage incomplet.

Pour la chaudière c'est une caricature, avec une session de formation on doit pouvoir s'en sortir.... ou l'appel d'un plombier. Le thermostat est trop intelligent ou pas assez. Un système ne peut restituer que ce qu'on lui a apprit.

[Parsifal]

Je ne vois pas le lien avec l'AI.

C'est sur ses modalités d'utilisation et l'apprentissage incomplet.

Utilisation et apprentissage incomplet ne sont pas aujourd'hui des thèmes de recherches bien posés. Cela n'engage que moi, mais je pense profondément que les personnes y opérant sont des littéraires n'ayant aucune place dans la science.

[moinsdewatt]

L'intelligence artificielle française a son supercalculateur

AFP•21/01/2020

Inaugurée vendredi, la machine, à pleine puissance, offre une capacité de calcul équivalente à celle de 40.000 ordinateurs personnels (16 pétaflops - 16 millions de milliards d'opérations par seconde), doublant la puissance de calcul de la France.

"Les GAFA se sont dotés très tôt de grands supercalculateurs (dédiés à l'IA), rapidement imités par les États-Unis", explique à l'AFP Jamal Atif, chercheur au CNRS.

Si l'entreprise britannique DeepMind a pu concevoir AlphaGo, dont la victoire contre le champion du monde du jeu de Go avait fait grand bruit en 2016, c'est parce qu'elle disposait de la puissance de calcul de Google.

Mais en France, "il n'y avait rien. Et sans calcul, nous restions dans des temps anciens", avoue le chercheur du Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision.

"La compétition est terrible dans ce domaine là, et les chercheurs français s'estimaient très désavantagés par rapport à leurs compétiteurs", raconte Denis Girou, ancien directeur de l'Institut du développement et des ressources en informatique scientifique (Idris) du CNRS.
...........

lire https://www.boursorama.com/actualite-ec ... e9e05a2ed1

[Parsifal]

Haha, ils oublient de préciser que la puissance sera partagée entre plein de sciences dont certaines consomment très facilement un max de calcul sans travail supplémentaire (ex: simulation aux éléments finis, météo, algos G).
Et puis le vrai combat actuel est sur les systèmes distribués avec GPUs puissants, pas sur les super-calculateurs avec mémoire centralisée qui sont bien mieux maitrisés.

[aleph-zero]

Haha, ils oublient de préciser que la puissance sera partagée entre plein de sciences dont certaines consomment très facilement un max de calcul sans travail supplémentaire (ex: simulation aux éléments finis, météo, algos G).
Et puis le vrai combat actuel est sur les systèmes distribués avec GPUs puissants, pas sur les super-calculateurs avec mémoire centralisée qui sont bien mieux maitrisés.

????

C'est le 3ème supercalculateur du GENCI en exploitation (il y a déjà OCCIGEN & Joliot-Curie ).

Aucun des trois n'a une mémoire centralisée.

Le Jean Zay a 4 GPU par noeud.

Le Joliot-Curie a 0, 1 ou 4 GPU par noeud selon les partitions.

[Parsifal]

Ok je n'avais pas vu les specs 261 noeud avec 4 V100 32 Go, c'est plus que sympa. Les vraies questions sont combien d'utilisateurs et quel espace disque ?

[aleph-zero]

quel espace disque ?

1 Po en L1 à 300 Gops.

Le Joliot a 4 Po en L1 à 300 Gops, et une partie des noeuds sont dotés de ~ 1 To en SSD NVMe.

[Parsifal]

Pas mal du tout.
Après idéalement il faudrait sans doute ne pas être plus de 200 utilisateurs actifs. Un seul doctorant en image consomme facilement 4 V100 à 50% du temps. C'est malheureusement pire en RL sur les jeux.
De loin, sur les sujets de type météo il semble que cela soit sans limite car des variantes de deeps nets sont maintenant utilisés pour résoudre numériquement des équations différentielles.

[aleph-zero]

Pas mal du tout.
Après idéalement il faudrait sans doute ne pas être plus de 200 utilisateurs actifs. Un seul doctorant en image consomme facilement 4 V100 à 50% du temps. C'est malheureusement pire en RL sur les jeux.
De loin, sur les sujets de type météo il semble que cela soit sans limite car des variantes de deeps nets sont maintenant utilisés pour résoudre numériquement des équations différentielles.

La météo a ses propres HPC. Elle en a 2 à Toulouse, ~10 PFlops, d'une architecture semblable au Joliot-Curie.

[WolfgangK]

[WolfgangK]

https://www.cs.columbia.edu/~amueller/comsw4995s20/

COMS W4995 Applied Machine Learning Spring 2020

https://www.youtube.com/playlist?list=P ... pp=desktop

[WolfgangK]

https://github.com/luspr/awesome-ml-courses

https://deep-learning-drizzle.github.io/

[WolfgangK]

https://www.youtube.com/playlist?list=P ... 8WqKYwj-aJ
CMU Neural Nets for NLP 2020

[WolfgangK]

Je ne sais plus si j'ai colporté ici la légende urbaine sur le classification de photos de tanks (en fait, matin et soir), donc je poste ici ce commentaire :
https://www.gwern.net/Tanks

[slash33]

« Gödel, Escher, Bach » : une Intelligence Artificielle peut-elle devenir consciente ?
Abysmal-Void by Ars Electronica(CC BY-NC-ND 2.0) — Ars Electronica, CC-BY

Écrit en 1979, Gödel, Escher, Bach, an eternal golden braid de Douglas Hofstadter pose la question suivante : une Intelligence Artificielle peut-elle devenir consciente (sa réponse est oui) et dans quelles conditions ?

https://www.contrepoints.org/2020/06/20 ... consciente

[WolfgangK]

Et donc effectivement, même en considérant que l'ensemble des images des chats puisse être interprété comme une variété dans R^d - ce qui n'est pas gagné - ton homéomorphisme f (ça non plus c'est pas gagné) ne transporte pas ta métrique sur ta variété de l'espace de départ.

Mais pourquoi cela serait il désirable que f transporte la métrique de l'espace de départ ? Le but c'est d'obtenir une nouvelle représentation dans laquelle la distance euclidienne se comporte "mieux" que la métrique initiale.

En fait en pratique on se fiche même que cela soit un homéomorphisme car curieusement avoir trop de paramètres libres ne nuit pas autant que prévu. Au passage, une question que je trouve super intéressante sur la SGD dans un espace surparamétrisé est donnée à partir de la 10e minute de cette vidéo


Mais peut-être as tu en tête les algos façons t-SNE ou le but est de trouver une nouvelle représentation en dimension plus faible telle que les distances "faibles" soient préservées dans la nouvelle représentation ? https://lvdmaaten.github.io/tsne/

À propos de nb de paramètres des modèles d'apprentissage, j'ai trouvé ce fil sur Twitter intéressant : https://twitter.com/daniela_witten/stat ... 2103748609