Computing with dynamical systems: From implementations towards novel concepts

Abstract

[eng] This thesis investigates the computing capabilities of dynamical systems within the context of data-driven machine learning. Leveraging their inherent information processing, we aim to boost dynamical systems' efficiency and capability in solving supervised tasks. Here, we employ numerical simulations to model photonic hardware used for unconventional computing substrates. Additionally, we develop novel approaches, aiming to boost both, the optimization and generalization capacities of dynamical systems exemplified using generic recurrent neural networks.

First, we investigate the interplay of timescales in optoelectronic and photonic delay systems within the reservoir computing framework. By considering the input signal together with the reservoir's dynamics, we demonstrate the performance gains of oscillatory dynamics for chaotic time series processing, which were previously neglected for computing. Furthermore, we enhance prediction accuracy and inference rates by aligning input timescales with reservoir recurrence in a photonic delay system. In this last part, we underline the numerical results by verifying them with experimental data.

While highlighting the versatility of the reservoir computing paradigm, we demonstrate its underutilization in optimizing information processing related parameters. Comparing the performance of reservoir computing with a fully trained neural network approach, we show that fully trained systems with large set of adjustable parameters reach higher performance while requiring fewer nodes in complex tasks. To bridge the gap between reservoir computing and fully trained systems, we derive a regional training approach effectively trading performance against the number of trainable parameters. Relating these results towards unconventional physical computing, we argue the need to optimize large-scale parameter sets based on model-free optimization techniques. In this context, we propose a novel optimization method, by formalizing the optimization problem as a dynamical system. By exploiting oscillatory weight dynamics, a novel model-free optimization method raises a new perspective on the optimization process of physical substrates.

Finally, we discuss the generalization ability of dynamical systems by exploiting their continuous adaptability. We train dynamical systems on sparse data sets from a parametric family and afterward adapt it in the autoregressive mode toward new configurations generating unseen temporal patterns. Firstly, we leverage target model symmetry to learn from one time series and infer entire bifurcation diagrams. Secondly, we use the conceptor framework to learn from two time series and infer unseen intermediary dynamics. Finally, combining the conceptor framework with holistic optimization allows dynamical systems to generalize towards complex motion patterns.

In summary, this thesis establishes a connection among dynamical systems, machine learning, and unconventional computing, presenting novel methods to augment the computational prowess of dynamical systems. It demonstrates the computational capabilities of reservoir computing systems and introduces methodologies to extend their potential towards solving more complex tasks.

[cat] Aquesta tesi investiga les capacitats de còmput dels sistemes dinàmics dins del context de l'aprenentatge automàtic basat en dades. Aprofitant el seu processament inherent d'informació, pretenem millorar l'eficiència i capacitat dels sistemes dinàmics en la resolució de tasques supervisades. Aquí, emprem simulacions numèriques per modelar el maquinari fotònic utilitzat per a substrats de còmput físic no convencional. Addicionalment, desenvolupem enfocaments nous, amb l'objectiu d'incrementar tant, les capacitats d'optimització com de generalització dels sistemes dinàmics exemplificats utilitzant xarxes neuronals recurrents genèriques.

Primer, investiguem la interacció de les escales temporals en sistemes de retards optoelectrònics i fotònics dins del marc de "reservoir computing". Considerant el senyal d'entrada juntament amb la dinàmica del reservori, demostrem els guanys de rendiment de la dinàmica oscil·latòria per al processament de sèries temporals caòtiques, que prèviament van ser negligides per al còmput. A més, millorem l'exactitud de predicció i les taxes d'inferència alineant les escales temporals d'entrada amb la recurrència del reservori en un sistema de retard fotònic. En aquesta última part, subratllem els resultats numèrics verificant-los amb dades experimentals.

Mentre ressaltem la versatilitat del paradigma de "reservoir computing", demostrem la seva subutilització en l'optimització de paràmetres relacionats amb el processament d'informació. Comparant el rendiment de "reservoir computing" amb un enfocament de xarxa neuronal totalment entrenat, mostrem que els sistemes completament entrenats amb un gran conjunt de paràmetres ajustables assolixen un rendiment més alt tot requerint menys nodes en tasques complexes. Per pontejar la bretxa entre "reservoir computing" i sistemes completament entrenats, derivem un enfocament d'entrenament regional efectiu intercanviant rendiment pel nombre de paràmetres entrenables. Relacionant aquests resultats amb el còmput físic no convencional, argumentem la necessitat d'optimitzar conjunts de paràmetres a gran escala basats en tècniques d'optimització lliures de models. En aquest context, proposem un mètode d'optimització nou, formalitzant el problema d'optimització com un sistema dinàmic. Explotant la dinàmica oscil·latòria de pesos, un nou mètode d'optimització lliure de models aporta una nova perspectiva sobre el procés d'optimització de substrats físics.

Finalment, discutim la capacitat de generalització dels sistemes dinàmics explotant la seva adaptabilitat contínua. Entrenem sistemes dinàmics en conjunts de dades escassos d'una família paramètrica i després l'adaptem en el model autoregressiu cap a noves configuracions generant patrons temporals no vistos anteriorment. Primerament, aprofitem la simetria del model objectiu per aprendre d'una sèrie temporal i inferir diagrames de bifurcació complets. En segon lloc, utilitzem el marc del conceptor per aprendre de dues sèries temporals i inferir dinàmiques intermèdies no vistes. Finalment, combinant el marc del conceptor amb l'optimització holística permet als sistemes dinàmics generalitzar patrons de moviment complexos.

En resum, aquesta tesi estableix una connexió entre els sistemes dinàmics, l'aprenentatge automàtic i el còmput no convencional, presentant mètodes nous per augmentar la proesa computacional dels sistemes dinàmics. Demostra les capacitats computacion

[spa] Esta tesis investiga las capacidades computacionales de los sistemas dinámicos dentro del contexto del aprendizaje automático basado en datos. Aprovechando su procesamiento de información inherente, buscamos mejorar la eficiencia y capacidad de los sistemas dinámicos en la resolución de tareas supervisadas. Aquí, empleamos simulaciones numéricas para modelar hardware fotónico utilizado como sustratos de computación física no convencional. Además, desarrollamos enfoques novedosos, con el objetivo de potenciar tanto la optimización como las capacidades de generalización de los sistemas dinámicos ejemplificados mediante redes neuronales recurrentes genéricas.

Primero, investigamos la interacción de escalas temporales en sistemas de retraso optoelectrónico y fotónico dentro del marco de "reservoir computing". Considerando la señal de entrada junto con la dinámica del "reservoir", demostramos las ganancias de rendimiento de la dinámica oscilatoria para el procesamiento de series temporales caóticas, las cuales habían sido previamente desatendidas para la computación. Además, mejoramos la precisión de predicción y las tasas de inferencia al alinear las escalas temporales de entrada con la recurrencia del "reservoir" en un sistema de retraso fotónico. En esta última parte, subrayamos los resultados numéricos verificándolos con datos experimentales.

Mientras resaltamos la versatilidad del paradigma de "reservoir computing", demostramos su subutilización en la optimización de parámetros relacionados con el procesamiento de información. Comparando el rendimiento de "reservoir computing" con un enfoque de red neuronal completamente entrenada, mostramos que los sistemas completamente entrenados con un gran conjunto de parámetros ajustables alcanzan un mayor rendimiento mientras requieren menos nodos en tareas complejas. Para cerrar la brecha entre "reservoir computing" y los sistemas completamente entrenados, derivamos un enfoque de entrenamiento regional que efectivamente intercambia rendimiento por el número de parámetros entrenables. Relacionando estos resultados con la computación física no convencional, argumentamos la necesidad de optimizar conjuntos de parámetros a gran escala basados en técnicas de optimización libres de modelos. En este contexto, proponemos un método de optimización novedoso, formalizando el problema de optimización como un sistema dinámico. Al explotar la dinámica oscilatoria de pesos, un nuevo método de optimización libre de modelos plantea una nueva perspectiva sobre el proceso de optimización de sustratos físicos.

Finalmente, discutimos la capacidad de generalización de los sistemas dinámicos explotando su adaptabilidad continua. Entrenamos sistemas dinámicos en conjuntos de datos dispersos de una familia paramétrica y posteriormente lo adaptamos en el modelo autorregresivo hacia nuevas configuraciones generando patrones temporales no vistos anteriormente. En primer lugar, aprovechamos la simetría del modelo objetivo para aprender de una serie temporal e inferir diagramas de bifurcación completos. En segundo lugar, utilizamos el marco de conceptores para aprender de dos series temporales e inferir dinámicas intermedias no vistas. Finalmente, combinando el marco de conceptores con la optimización holística, los sistemas dinámicos pueden generalizar patrones de movimiento complejos.

En resumen, esta tesis establece una conexión entre los sistemas dinámicos, el aprendizaje automático y la computación no convencional, presentando métodos novedosos para aumentar la proeza computacional de los sistemas dinámicos. Demuestra las capacidades computacionales de los sistemas de "reservoir computing" e introduce metodologías para extender su potencial hacia la resolución de tareas más complejas.

[deu] Diese Dissertation untersucht die Rechenfähigkeiten dynamischer Systeme im Kontext des datengetriebenen maschinellen Lernens. Durch die Ausnutzung ihrer inhärenten Informationsverarbeitung zielen wir darauf ab, die Effizienz und Fähigkeit dynamischer Systeme bei der Lösung von überwachten Lernaufgaben zu steigern. Hierbei verwenden wir numerische Simulationen, um photonische Hardware zu modellieren, die als unkonventionelle Substrate für Berechnungen verwendet werden. Zusätzlich entwickeln wir neuartige Ansätze, die darauf abzielen, sowohl die Optimierungs- als auch die Generalisierungskapazitäten dynamischer Systeme zu verbessern, exemplarisch dargestellt an generischen rekurrenten neuronalen Netzwerken.

Zuerst untersuchen wir das Zusammenspiel von Zeitskalen in optoelektronischen und photonischen Zeitverzögerungssystemen im Rahmen des Reservoir Computing. Indem wir das Eingangssignal zusammen mit der Dynamik des Reservoirs betrachten, demonstrieren wir die erhöhte Leistung von zuvor für das Reservoir Computing nicht berücksichtigten oszillatorischen Dynamiken. Diese erhöhte Leistung demonstrieren wir durch gesteigerte Vorhersagegenauigkeiten chaotischer Zeitreihen. Weiterhin verbessern wir Vorhersagegenauigkeiten und Inferenzraten, indem wir Zeitskalen des Eingangsignals auf das Zeitverzögerungssignal des Reservoir in einem photonischen Verzögerungssystem anpassen. Im letzten Teil unterstreichen wir die numerischen Ergebnisse, indem wir sie mit experimentellen Daten verifizieren.

Während wir dabei die Vielseitigkeit des Reservoir-Computing-Paradigmas hervorheben, demonstrieren wir dessen Unterbeanspruchung bei der Optimierung informationsverarbeitungsbezogener Parameter. Durch den Vergleich der Leistung von Reservoir Computing mit einem vollständig trainierten neuronalen Netzwerk zeigen wir, dass vollständig trainierte Systeme mit einer großen Menge anpassbarer Parameter eine höhere Genauigkeit erreichen und dabei für komplexere Aufgaben vergleichsweise weniger Knoten benötigen. Um die Diskrepanz zwischen Reservoir Computing und vollständig trainierten Systemen zu schließen, leiten wir einen regionalen Trainingsansatz ab, der Leistung gegen die Anzahl trainierbarer Parameter effektiv abwägt. Diese Ergebnisse auf unkonventionelles physikalisches Computing beziehend, argumentieren wir die Notwendigkeit, große Parametersätze basierend auf modellfreien Optimierungstechniken zu optimieren. In diesem Kontext schlagen wir eine neuartige Optimierungsmethode vor, indem wir das Optimierungsproblem als dynamisches System formalisieren. Die hierbei evaluierte Ausnutzung oszillatorischer Gewichtsdynamiken bietet eine neue Perspektive für modellfreie Optimierungsmethode angewandt auf physikalische Substrate.

Abschließend diskutieren wir die Generalisierungsfähigkeit dynamischer Systeme, indem wir ihre kontinuierliche Anpassungsfähigkeit nutzen. Wir trainieren dynamische Systeme auf spärlichen Datensätzen aus einer parametrischen Familie und passen sie anschließend im autoregressiven Zustand an neue Konfigurationen an, die dadurch nicht trainierte zeitliche Muster generieren. Zuerst nutzen wir die Symmetrie eines Zielmodells aus, um aus einer Zeitreihe zu lernen und ganze Bifurkationsdiagramme zu inferieren. Zweitens verwenden wir Conceptoren-Theorie, um aus zwei Zeitreihen einer parametrischen Familie interpolierte Dynamiken zu inferieren. Abschließend, präsentieren wir die Kombination der Conceptor-Theorie mit ganzheitlicher Optimierung eines neuronalen Netzwerks um zwischen komplexen Bewegungsmustern zu interpolieren.

Zusammenfassend etabliert diese Dissertation eine Verbindung zwischen dynamischen Systemen, maschinellem Lernen und unkonventionellem Computing und präsentiert neuartige Methoden zur Steigerung der Rechenkraft dynamischer Systeme. Sie demonstriert die Rechenfähigkeiten von Reservoir-Computing-Systemen und führt Methodologien ein, um ihr Potenzial zur Lösung komplexerer Aufgaben zu erweitern.