Increase in Complexity in Random Neural Networks

(Received 1 September 1994, revised 18 November 1994, accepted 1 December 1994)

Abstract
We study the dynamics of a discrete time, continuous state neural network with random asymmetric couplings and random thresholds. The evolution of the neurons is given in the thermodynamic limit by a set of dynamic mean-field equations obtained by using a local chaos hypothesis. We study the evolution of the mean quadratic distance between two trajectories, and show there exist two different regimes according to the value of the control parameters. In the first one (static regime) two initially close trajectories evolve to the same fixed point, while, in the second one, (chaotic regime) they diverge with an exponential rate, and evolve to a constant, non zero distance. The critical condition for the transition is obtained in a general frame, but, in a specific case, we recover the equation for the De Almeida-Thouless line suggesting strong analogy with the SK model. Besides, the limit for the quadratic distance is the same for all initial conditions choice, showing that ultrametricity occurs in our model. However, we show numerically that this property is not associated to a complex breaking up of the phase space like in the SK model. Besides, the quenched stochastic process giving the evolution of the neurons is a white noise in the thermodynamic limit. The behaviour of our model when crossing the AT line can be characterized by studying the Kolmogorov-Sinai entropy, which exhibits a sharp transition in the thermodynamic limit. This entropy is zero in the static phase, while it becomes infinite in the chaotic regime.

Résumé
Nous étudions la dynamique d'un réseau de neurones à temps discret, dont les couplages sont asymétriques, aléatoires, et les seuils aléatoires. L'évolution des neurones est donnée à la limite thermodynamique par un jeu d'équations de champ moyen dynamique obtenues via une hypothèse de chaos local. Nous étudions l'évolution de la distance quadratique moyenne entre deux trajectoires, et montrons qu'il existe deux régimes selon la valeur des paramètres de contrôle. Dans le premier (régime statique) deux conditions initiales arbitrairement proches convergent vers le même point fixe, alors que, dans le second (régime chaotique), elles divergent avec une vitesse exponentielle et évoluent vers une distance constante non nulle. La condition critique de transition est obtenue dans un cadre général, mais pour un cas particulier nous retrouvons l'équation de la ligne AT suggérant une forte analogie avec le modèle SK. De plus, la distance quadratique limite en régime chaotique est la même, qu'elles que soient les conditions initiales, montrant que notre modèle présente une structure ultramétrique. Nous montrons numériquement que cette propriété n'est cependant pas associée à un morcèlement complexe de l'espace des phases comme pour le modèle SK. En outre, nous montrons que le processus d'évolution des neurones est, à la limite thermodynamique, un bruit blanc. Le comportement de notre modèle à la traversée de la ligne AT peut être illustré en étudiant l'entropie de Kolmogorov-Sinaï qui présente une transition brutale à la limite thermodynamique. Elle est nulle en régime statique et infinie en régime chaotique.