Reinforcement Learning zur Quantenkontrolle

Die präzise Manipulation eines Quantensystems ist grundlegend für die erfolgreiche Realisierung von Quantencomputern. Bei supraleitenden Qubits etwa läuft die Umsetzung eines beliebigen Quantenalgorithmus darauf hinaus, eine bestimmte Abfolge elektromagnetischer Pulse anzuwenden, die dem gewünschten Schaltkreis aus unitären Gattern entspricht. Optimale Kontrollprotokolle zu finden ist im Allgemeinen oft schwierig, da der Raum möglicher Protokolle exponentiell groß ist. Die Quantenwelt stellt zusätzliche Hindernisse: Quantenzustände können nicht direkt beobachtet werden, und – im Kontext der NISQ-Technologie – fehlen oft genaue Modelle der physikalischen Systeme, die die derzeitigen Unvollkommenheiten der Geräte berücksichtigen.

In der optimalen Kontrolltheorie bewertet ein Kostenfunktional die Qualität von Kontrollprotokollen, und die variationelle Minimierung der Kosten liefert optimale Strategien. Auf dieser Grundlage wurden verschiedene Algorithmen für die optimale Quantenkontrolle entwickelt, die sich weitgehend in zwei Klassen einteilen lassen – gradientenbasierte und gradientenfreie Algorithmen. Gradientenbasierte Methoden erfordern, dass sich sowohl die Kostenfunktion als auch die variationellen Ableitungen auswerten lassen. Die Nutzung von Gradienteninformation ermöglicht typischerweise schnelle Konvergenz, setzt aber ein mikroskopisches Modell der Dynamik des physikalischen Systems voraus. Gradientenfreie Algorithmen dagegen beruhen allein auf Auswertungen der Kostenfunktion und erlauben die Optimierung nicht differenzierbarer Kostenfunktionen oder die Optimierung ohne mikroskopische Modelle.

Reinforcement Learning (RL) zählt zu den gradientenfreien Ansätzen. Im RL-Rahmen wird eine künstliche Intelligenz (KI), der sogenannte Agent, darauf trainiert, eine gegebene Aufgabe zu lösen, indem sie mit einer Umgebung interagiert. Der Agent kann Aktionen ausführen und deren Wirkung auf den Zustand der Umgebung beobachten. Zusätzlich erhält der Agent für jede Aktion eine Belohnung, die ihre Nützlichkeit für die Aufgabe anzeigt und es dem Agenten so ermöglicht, die Strategie (Policy) zu verbessern, nach der er Aktionen vorschlägt. Damit passt der RL-Rahmen zum Kontrollproblem im Kern des Quantenrechnens, nämlich die verfügbaren Stellgrößen so zu manipulieren, dass die resultierende Zeitentwicklung der gewünschten Quantenoperation entspricht. Tatsächlich zeigen erste Studien, dass die Quantenkontrolle von spezifischen Eigenschaften von RL-Algorithmen profitiert, nämlich Robustheit gegenüber Rauschen und in komplexen Kontrolllandschaften, nichtlokale Exploration und die Fähigkeit, auf Rückmeldungen als Teil der Strategie zu reagieren.

In unserer Forschung wollen wir das volle Potenzial von RL ausschöpfen, um eine hochpräzise Kontrolle von NISQ-Geräten zu ermöglichen. RL-gestützte NISQ-Geräte werden damit einen weiteren Schub in Richtung relevanter Anwendungen liefern. Weitere interessante Aspekte sind der Kompromiss zwischen Genauigkeit und unvollständiger Information im RL-Rahmen sowie die mögliche Identifikation bislang unbekannter Eigenschaften der Quantengeräte anhand der von der KI entwickelten Kontrollstrategien.