Learning algorithms for perceptrons from statistical physics

(Received 22 May 1992, accepted in final form 23 July 1992)

Abstract
Learning algorithms for perceptrons are deduced from statistical mechanics. Thermodynamical quantities are used as cost functions which may be extremalized by gradient dynamics to find the synaptic efficacies that store the learning set of patterns. The learning rules so obtained are classified in two categories, following the statistics used to derive the cost functions, namely, Boltzmann statistics, and Fermi statistics. In the limits of zero or infinite temperatures some of the rules behave like already known algorithms, but new strategies for learning are obtained at finite temperatures, which minimize the number of errors on the training set.

Résumé
Nous déduisons des algorithmes d'apprentissage pour des perceptrons à partir de considérations de mécanique statistique. Des quantités thermodynamiques sont considérées comme des fonctions de coût, dont on obtient, par une dynamique de gradient, les efficacités synaptiques qui apprennent l'ensemble d'apprentissage. Les règles ainsi obtenues sont classées en deux catégories suivant les statistiques, de Boltzmann ou de Fermi, utilisées pour dériver les fonctions de coût. Dans les limites de températures nulle ou infinie, la plupart des règles trouvées tendent vers les algorithmes connus, mais à température finie on trouve des stratégies nouvelles, qui minimisent le nombre d'erreurs dans l'ensemble d'apprentissage.