Salut, Khabrovites! En prévision du lancement de nouvelles discussions sur les cours avancés et de base "Mathématiques pour la science des données", nous voulons partager avec vous une traduction assez intéressante. Il n'y aura aucune pratique dans cet article, mais le matériel est intéressant pour le développement général et la discussion.
Un groupe de chercheurs a été confronté à un problème mathématique ouvert associé à une série de paradoxes logiques découverts par le célèbre mathématicien autrichien Kurt Gödel dans les années 1930.
Les mathématiciens qui ont travaillé sur des problèmes d'apprentissage automatique ont prouvé que la possibilité d '«apprendre», c'est-à-dire si l'algorithme peut extraire un modèle à partir de données limitées, est étroitement liée au paradoxe connu sous le nom d'hypothèse du continuum. Gödel a déclaré qu'en utilisant les capacités standard d'un langage mathématique, une hypothèse ne peut être ni confirmée ni infirmée. Les derniers résultats de recherche sur ce sujet ont été publiés dans
Nature Machine Intelligence le 7 janvier .
"Ce fut une surprise pour nous", a déclaré Amir Yehudaev du Technion, l'Institut israélien de technologie à Haïfa, qui a co-écrit l'étude. Il a déclaré qu'en dépit d'un certain nombre de problèmes techniques, également connus comme «insolubles», il ne s'attendait pas à ce que ce phénomène se produise dans la tâche apparemment simple de l'apprentissage automatique.
John Tucker, spécialiste en informatique à l'Université de Swansea, au Royaume-Uni, affirme que ce travail est «un résultat tangible à la pointe de nos connaissances», avec des implications fondamentales pour les mathématiques et l'apprentissage automatique.
Tous les ensembles ne sont pas identiques.
Les chercheurs déterminent souvent la capacité d'apprentissage en termes de savoir si un algorithme peut généraliser ses connaissances. L'algorithme donne la réponse «oui» ou «non», par exemple, à la question «Y a-t-il un chat dans l'image?» Pour un nombre limité d'objets, puis il doit faire une prévision pour de nouveaux objets qui lui étaient auparavant inconnus.
Yehudaev et ses collègues ont obtenu des résultats en examinant la relation entre l'apprentissage et la «compression», qui comprend la recherche d'un moyen de mapper les caractéristiques d'un grand ensemble de données sur un ensemble plus petit. Les auteurs ont constaté que la capacité de compression efficace des informations se réduit à la question de la théorie des ensembles - ensembles mathématiques d'objets, tels que les ensembles dans les diagrammes de Venn. En particulier, cela s'applique aux ensembles de différentes tailles contenant un nombre infiniment grand d'objets.
Georg Cantor, le fondateur de la théorie des ensembles, dans les années 1870 a prouvé que tous les ensembles infinis ne sont pas égaux: par exemple, l'ensemble des nombres entiers est «moins» que l'ensemble de tous les nombres réels, également connu sous le nom de continuum. (Étant donné que les nombres réels incluent les nombres irrationnels ainsi que les nombres rationnels et entiers.) Cantor a également suggéré qu'il n'y a pas d'ensembles de taille intermédiaire, c'est-à-dire plus grands que l'ensemble des entiers, mais plus petits que le continuum. Mais il ne pouvait pas prouver cette hypothèse du continuum, comme beaucoup de mathématiciens et logiciens - ses disciples.
Leurs efforts ont été vains. En 1940, Godel a mené une étude (qui n'a été achevée que dans les années 1960 par le mathématicien américain Paul Cohen), dans laquelle, en utilisant des axiomes, il a prouvé que l'hypothèse du continuum ne peut être ni vraie ni fausse.
Les travaux de Gödel et Cohen sur l'hypothèse du continuum admettent qu'il peut exister des univers mathématiques parallèles qui répondent aux lois des mathématiques standard: celui dans lequel l'hypothèse du continuum devient un axiome généralement accepté, c'est-à-dire qui est déclaré vrai, et le second dans lequel il est également déclaré faux.
Apprentissage du membre
Dans leur dernier travail, Yehudaev et ses collègues définissent l'apprentissage comme la capacité de faire des prédictions pour un ensemble de données relativement volumineux en échantillonnant un petit nombre de points de données. Le lien avec le problème Cantor est qu'il existe une infinité de façons de sélectionner un ensemble plus petit, mais la taille de cet infini est inconnue.
De plus, les auteurs montrent que si l'hypothèse du continuum est vraie, alors un petit échantillon est suffisant pour l'extrapolation. Mais si c'est faux, alors il ne peut pas y avoir d'échantillon fini qui serait suffisant. Ainsi, ils croient que le problème d'apprentissage est en fait équivalent à l'hypothèse du continuum. Par conséquent, le problème de l'apprentissage est également dans un état d'incertitude, qui ne peut être résolu qu'en choisissant un univers axiomatique.
«Le résultat de l'étude permet également de mieux comprendre l'apprentissage», explique Yehudaev. "Cette connexion entre la compression et la généralisation est vraiment fondamentale pour comprendre le processus d'apprentissage."
"Les chercheurs ont découvert un certain nombre de ces problèmes" insolubles "", explique Peter O'Hearn, spécialiste en informatique à l'University College de Londres. En particulier, selon les résultats des travaux de Godel, Alan Turing, l'un des fondateurs de la théorie des algorithmes, a découvert une classe de questions auxquelles aucun programme informatique ne peut être garanti pour répondre à un nombre fini d'étapes.
"Cependant, l'insolubilité obtenue dans des études récentes est très rare et beaucoup plus surprenante", ajoute O'Hearn: cela indique que Godel a découvert l'incomplétude interne de tout type de langage mathématique. Les résultats obtenus sont susceptibles d'être importants pour la théorie de l'apprentissage automatique, mais il est peu probable qu'ils aient un grand impact pratique.
Écrivez dans les commentaires ce que vous pensez de ce matériel et nous vous invitons à un
webinaire gratuit , dans lequel nous parlerons des
méthodes d'analyse de régression en science des données .