深度神經網絡在包括圖像和(hé)文(wén)本分(fēn↑π<♣)類在內(nèi)的(de)多(duō)項任務上(shàn©$g)取得(de)了(le)非常有(yǒu)希望§γ的(de)結果。盡管如(rú)此，許多(duō)這(zhè)些(xiē)計•φ(jì)算(suàn)方法都(dōu)容易出現(xiàn)所謂的(de₹‍₩>)災難性遺忘，這(zhè)實質上(shàng)意味著(zhe)當他(tδ₩≥ā)們接受新任務訓練時(shí)，他(tāβ↔)們往往會(huì)很(hěn)快(kuài)忘記如(rúπ♥β±)何完成他(tā)們過去(qù)訓練完成的(de)任務。

Université Paris-Saclay-CNRS 的(de)研究 β 人(rén)員(yuán)最近(jìn)引入了(l™≈♣e)一(yī)種新技(jì)術(shù)來(lái)減輕二值化(huà)§↔"™神經網絡中的(de)遺忘。這(zhè)項技(jì)<∞ 術(shù)發表在Nature Commu>♦≠₹nications 上(shàng)的(de)一(yī)篇論文(" ÷₽wén)中，其靈感來(lái)自(zì)突觸化(><huà)生(shēng)性的(de)概念，突觸（兩個(gè)神經細≈'↑✘胞之間(jiān)的(de)連接點）通(tōng)過該過程适應×∑并随著(zhe)時(shí)間(jiān)變化(huà)以響應經驗。進行(xíδ≤₹ng)這(zhè)項研究的(de)研究人(rén)員(yuán)之¥ε← 一(yī)達米安·奎利奧茲 (Damien Querlioz) 告訴★δ‍× TechXplore。這(zhè)些(xiē)是(shì)深度神經÷☆↓網絡的(de)高(gāo)度簡化(huà←γ)形式，是(shì)現(xiàn)代人(rén)工(gōng∞••)智能(néng)的(de)旗艦方法，可(kě)以執行(xíng)複雜(★₹ zá)的(de)任務，同時(shí)減少(φε≥shǎo)內(nèi)存需求和(hé)能(néng)源消耗。與此同時(sh±σí)，我們的(de)一(yī)年(nián)級博士生(shēng) Axel←€小(xiǎo)組，開(kāi)始研究由 Stefanoσ✘♥ Fusi 于 2005 年(nián)引入的(de)突觸可(k₩↓★ě)塑性模型。神經科(kē)學研究表明(míng)，神經細胞适應經₽λ驗的(de)能(néng)力最終使人(rén)腦(nǎo)能(₩ πnéng)夠避免“災難性遺忘”，并記住即使在處理(lǐ)新任•★★務後如(rú)何完成給定任務。然而，大(dà)多(duō)數("₩∏‍shù)人(rén)工(gōng)智能(néng) (AI) 代理♠™ (lǐ)在學習(xí)新任務後會(huì)很(hěn)快(kuài)★∑​忘記之前學習(xí)的(de)任務。

二值化(huà)神經網絡和(hé)突觸可(kě)塑性這(zhè)兩個(g↑•→è)以截然不(bù)同的(de)動機(jī)↓&進行(xíng)研究的(de)主題實際上(shàng)是€'π (shì)相(xiàng)互關聯的(de)，在二值化(huà$>∏♠)神經網絡和(hé)化(huà)生(shēng)的(de) Fusi 模 " 型中，突觸的(de)強度隻能(néng)取兩個(gΩ'≈è)值，但(dàn)訓練過程涉及一(yī)個(gè)‘隐藏’參數÷αγ(shù)。這(zhè)就(jiù)是(shì)得♥φ♥γ(de)到(dào)二值化(huà)神經網絡可(kě)以提供一☆​Ω$(yī)種方法的(de)想法緩解人(rén)工(gōng)智能(néng)中災±←難性遺忘的(de)問(wèn)題。為(wèi)了(le)在二©&'₩值化(huà)神經網絡中複制(zhì)突觸可σ≠π(kě)塑性的(de)過程，Querlioz 和(hé)他(tā)的(de)®λ←©同事(shì)們引入了(le)一(yī)種“鞏固機(jī) ¥制(zhì)”，其中一(yī)個(gè)突觸在同  ≈一(yī)方向上(shàng)更新得(de)越多(d£♥←↑uō)（即，其隐藏狀态值上(shàng)升或下(xià)降），它®Ω₹α應該更難向相(xiàng)反的(de)方向切換回來(lái)。這(∏∏<≈zhè)種機(jī)制(zhì)受複可(kě)塑性 Fusi 模型的(de)♠σ≠啓發，與通(tōng)常訓練二值化(huà)神經≥♣網絡的(de)方式略有(yǒu)不(bù)同，但$'(dàn)它對(duì)網絡的(de)災難性遺忘有(yǒu)顯著(zhe)∏©€<影(yǐng)響。

首先，引入的(de)新整合機(jī)制(zhì)有(yǒu)效地(dì)減‌<少(shǎo)了(le)遺忘，并且它僅基于突觸的(de)局部內(nèi)部狀态 ₩π£而這(zhè)樣做(zuò)，而無需更改任務之間(jiān)網絡 ®​→優化(huà)的(de)指标，與其他(tā)文(wén)獻方法$®γ相(xiàng)反，這(zhè)一(yī)₽↑πλ特性對(duì)低(dī)功耗硬件(jiàn)的(de)設'π​∞計(jì)特别有(yǒu)吸引力，因為(wèiε€★)人(rén)們必須避免數(shù)據移動和(hé)計(jì)算(suà<φγn)的(de)開(kāi)銷。這(zhè)組研究人(rén)員≈™♣(yuán)收集的(de)研究結果可(kě)能(néng)對(d<←uì)人(rén)工(gōng)智能(n©π≠✘éng)代理(lǐ)和(hé)深度神經網絡的(de)發展™γ具有(yǒu)重要(yào)意義。最近(jìn)論文(wé∑£ &n)中引入的(de)整合機(jī)制(zhì)可(kě)以‍↑↑幫助減輕二值化(huà)神經網絡中的(de)災難性遺忘，從(cóng)★$而開(kāi)發能(néng)夠在各種任務™↔σΩ上(shàng)表現(xiàn)良好(hǎo)的(de) AI 代理(  lǐ)。這(zhè)項研究強調了(le)在嘗試開(kāi)發性能(π‌néng)更好(hǎo)的(de) AI 代理(lǐ)時↑±‍(shí)從(cóng)神經科(kē)學理(lǐ)論中>​汲取靈感的(de)價值。