摘要

量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Networks，QNN）已經(jīng)提出了幾種架構(gòu)，目的是在量子數(shù)據(jù)上有效地執(zhí)行機(jī)器學(xué)習(xí)任務(wù)。對(duì)于特定的量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，迫切需要嚴(yán)格的擴(kuò)展結(jié)果，以了解哪些結(jié)構(gòu)是可以大規(guī)模訓(xùn)練的。在這里，研究人員分析了最近提出的一種架構(gòu)的梯度擴(kuò)展（以及可訓(xùn)練性），稱之為耗散量子神經(jīng)網(wǎng)絡(luò)（dissipative QNN，DQNN），其中每一層的輸入量子比特在該層的輸出被丟棄。研究人員發(fā)現(xiàn)，DQNN可以表現(xiàn)出貧瘠高原，即梯度隨量子比特的數(shù)量呈指數(shù)級(jí)消失。此外，研究人員提供了不同條件下DQNN梯度擴(kuò)展的定量界限，如不同的損失函數(shù)和電路深度，并表明可訓(xùn)練性并不總是得到保證。這項(xiàng)工作代表了第一個(gè)基于感知器的QNN（perceptron-based QNN）可擴(kuò)展性的嚴(yán)格分析。

研究領(lǐng)域：量子神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)

論文題目：

Trainability of Dissipative Perceptron-Based Quantum Neural Networks

論文鏈接：

https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.128.180505

1

神經(jīng)網(wǎng)絡(luò)（neural network，NN）已經(jīng)影響了許多領(lǐng)域，如神經(jīng)科學(xué)、工程、計(jì)算機(jī)科學(xué)、化學(xué)和物理學(xué)。然而，由于嚴(yán)重的技術(shù)挑戰(zhàn)，它們的歷史發(fā)展在進(jìn)步期與停滯期之間徘徊。感知器很早就作為一種人工神經(jīng)元被引入，但后來(lái)才意識(shí)到多層感知器比單層感知器有更大的能力。但仍然存在著如何訓(xùn)練多層感知器的主要問(wèn)題，這一點(diǎn)最終由反向傳播法解決。

在神經(jīng)網(wǎng)絡(luò)的成功和 NISQ（Noisy Intermediate-Scale Quantum）設(shè)備出現(xiàn)的激勵(lì)下，人們一直在努力開(kāi)發(fā)量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Network，QNN），希望量子神經(jīng)網(wǎng)絡(luò)能夠利用量子計(jì)算機(jī)的力量，在機(jī)器學(xué)習(xí)任務(wù)上勝過(guò)經(jīng)典計(jì)算機(jī)，特別是對(duì)于量子數(shù)據(jù)或本質(zhì)上屬于量子的任務(wù)。

盡管有幾個(gè)QNN方案已經(jīng)成功實(shí)施，但仍需對(duì)特定架構(gòu)的優(yōu)勢(shì)和局限性進(jìn)行更多研究。深入研究QNN的潛在可擴(kuò)展性問(wèn)題可以幫助防止這些模型出現(xiàn)“冬天”，就像歷史上經(jīng)典神經(jīng)網(wǎng)絡(luò)的情況一樣。這推動(dòng)了最近研究QNN中梯度擴(kuò)展的工作。該研究表明，旨在訓(xùn)練QNN完成特定任務(wù)的變分量子算法，可能表現(xiàn)出梯度隨系統(tǒng)大小呈指數(shù)性消失。這種所謂的“貧瘠高原現(xiàn)象”，被證明適用于硬件高效的QNN，其中量子門被安排在與量子設(shè)備的連接相匹配的塊狀結(jié)構(gòu)中。

在這里，研究人員考慮一類不同的QNN，稱之為耗散量子神經(jīng)網(wǎng)絡(luò)（Dissipative Neural Network，DQNN）。在DQNN中，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)于一個(gè)量子比特，而網(wǎng)絡(luò)中的連接由量子感知器模擬。耗散指的是輔助量子比特構(gòu)成輸出層，而輸入層的量子比特被丟棄的事實(shí)。這種架構(gòu)最近受到了極大的關(guān)注，并被提議作為QNN的一種可擴(kuò)展的方法。

圖：基于耗散感知器的量子神經(jīng)網(wǎng)絡(luò)（DQNN）的示意圖。

頂部：DQNN由輸入層、隱藏層和輸出層組成。網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)于一個(gè)量子比特，它可以通過(guò)感知器（以線表示）連接到相鄰層的量子比特。DQNN的輸入和輸出是量子狀態(tài)，分別記為ρin和ρout。第l層的第j個(gè)量子比特表示為qjl。每個(gè)感知器對(duì)應(yīng)于它所連接的量子位上的一個(gè)單元操作，Vjl表示第l層的第j個(gè)感知器。

2

研究人員首先證明，DQNN的可訓(xùn)練性并不總是有保證的，因?yàn)樗鼈冊(cè)趽p失函數(shù)中可能表現(xiàn)出貧瘠高原現(xiàn)象。這種貧瘠高原的存在與感知器和損失函數(shù)的局部性有關(guān)。具體而言，研究人員證明：(1)具有深度全局感知器的DQNN是不可訓(xùn)練的，盡管該結(jié)構(gòu)具有耗散性；(2)對(duì)于淺層和局部感知器，采用全局損失函數(shù)會(huì)導(dǎo)致貧瘠高原現(xiàn)象，而采用局部損失函數(shù)則可以避免該現(xiàn)象。

此外，研究人員還為DQNN提供了一種特定的體系結(jié)構(gòu)，該體系結(jié)構(gòu)具有局部淺層感知器，可以精確地映射到分層硬件高效的QNN。這一結(jié)果不僅表明DQNN與硬件效率高的QNN一樣具有可表達(dá)性，而且還允許研究人員為這些DQNN提供可訓(xùn)練性保證。在這種情況下，由于感知器是局部的，每個(gè)神經(jīng)元只從前一層的少量量子比特接收信息。這種結(jié)構(gòu)讓人想起經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，眾所周知，卷積神經(jīng)網(wǎng)絡(luò)可以避免完全連接網(wǎng)絡(luò)的一些可訓(xùn)練性問(wèn)題。

3

這些結(jié)果表明，要理解QNN的可訓(xùn)練性，并確保它們實(shí)際上比經(jīng)典神經(jīng)網(wǎng)絡(luò)具有優(yōu)勢(shì)，還有很多工作要做。例如，有趣的未來(lái)研究方向是QNN特定的優(yōu)化器，分析QNN對(duì)噪聲的容錯(cuò)性，以及防止貧瘠高原現(xiàn)象的策略。此外，探索DQNN和硬件高效的QNN之外的體系結(jié)構(gòu)，尤其是如果此類體系結(jié)構(gòu)具有大規(guī)模可訓(xùn)練性，將是一個(gè)有意義的課題。

潘佳棟 | 作者

鄧一雪 | 編輯

商務(wù)合作及投稿轉(zhuǎn)載 swarma@swarma.org

搜索公眾號(hào)：集智俱樂(lè)部

加入“沒(méi)有圍墻的研究所”

讓蘋果砸得更猛烈些吧!