深度神經網絡在包括圖像和(hé)文(wén)本分(fēn)類在內(nèi"♦÷)的(de)多(duō)項任務上(shàng)取得(de)了(le)非✘ ÷σ常有(yǒu)希望的(de)結果。盡管如(rú)此，許多(≤€ duō)這(zhè)些(xiē)計(jì‍₹↕)算(suàn)方法都(dōu)容易出現(xiàn)所謂的(de)災難÷☆→性遺忘，這(zhè)實質上(shàng)意味著(z ✔he)當他(tā)們接受新任務訓練時(shí)，他(tā)們往往會(hu¥∑δ↓ì)很(hěn)快(kuài)忘記如(rúγε'↑)何完成他(tā)們過去(qù)訓練完成的(‌αde)任務。

Université Paris-Saclay-C‍ NRS 的(de)研究人(rén)員(yuán)最近(jìn)引入了(le)≥®"‍一(yī)種新技(jì)術(shù)來(lái)減輕二值化(hΩ≠uà)神經網絡中的(de)遺忘。這(zhè)項技(jì)術(£↑®shù)發表在Nature Communicaε↕tions 上(shàng)的(de)一(y✘≤ī)篇論文(wén)中，其靈感來(lái)自(zì↓ )突觸化(huà)生(shēng)性的(de)‍<概念，突觸（兩個(gè)神經細胞之間(j↔✘>πiān)的(de)連接點）通(tōng)過該過程适應并随著£≠↓✘(zhe)時(shí)間(jiān)變化(huà)♦δ≠以響應經驗。進行(xíng)這(zhè)項研究 ≈≤的(de)研究人(rén)員(yuán)之一"• "(yī)達米安·奎利奧茲 (Damien Querlio₽φz) 告訴 TechXplore。這(zhè)些(xiē)是(≈↕↕shì)深度神經網絡的(de)高(gāo)度簡化(huà)形式，是(¥→shì)現(xiàn)代人(rén)工(g↓↑ōng)智能(néng)的(de)旗艦方法，可(kě)以執行(xíng)複雜(γ>zá)的(de)任務，同時(shí)減少(shǎo)內(nèi)存需求和(♦↔<≥hé)能(néng)源消耗。與此同時(shí)，我們的(dλσ✔∑e)一(yī)年(nián)級博士生(shēng) Ax€"el小(xiǎo)組，開(kāi)始研究由 Stefano Fusi 于Ω" 2005 年(nián)引入的(de)突觸可(kěγ™)塑性模型。神經科(kē)學研究表明(míng)± ≈，神經細胞适應經驗的(de)能(néng)力最終♣≤使人(rén)腦(nǎo)能(néng)‍±•夠避免“災難性遺忘”，并記住即使在處理(lǐ)新任務後如(r<✔✘☆ú)何完成給定任務。然而，大(dà)多(duō) ε♥∏數(shù)人(rén)工(gōng)智能(néng) (AI) 代理(£↔γlǐ)在學習(xí)新任務後會(huì)很(hěn)快(kuài)忘記之✔×前學習(xí)的(de)任務。

二值化(huà)神經網絡和(hé)突觸可($∞kě)塑性這(zhè)兩個(gè)以截然不(bù)同的(de)動機(j"₹ε"ī)進行(xíng)研究的(de)主題實際上(shàng)是(sπ♠>hì)相(xiàng)互關聯的(de)，在二值化(huàσ☆)神經網絡和(hé)化(huà)生(shēng)的(de↔ ★) Fusi 模型中，突觸的(de)強度隻能(néng)←φ‍取兩個(gè)值，但(dàn)訓練過程涉及一(yī)個(gè)‘隐藏∑β’參數(shù)。這(zhè)就(jiù)是β∞¥¶(shì)得(de)到(dào)二值化(huà)神σ♦★♣經網絡可(kě)以提供一(yī)種方法的(de±↑‌↑)想法緩解人(rén)工(gōng)智能(nén<♣±"g)中災難性遺忘的(de)問(wèn)題。為(wèi)了€$(le)在二值化(huà)神經網絡中複制(zhì'π)突觸可(kě)塑性的(de)過程，Que↔®$✘rlioz 和(hé)他(tā)的(de)同事(shì)們引入了(le)→α→一(yī)種“鞏固機(jī)制(zhì)”，其中一(yī)個(gè♣ )突觸在同一(yī)方向上(shàng)更新得(de)越多(d ♥uō)（即，其隐藏狀态值上(shàng)升←α或下(xià)降），它應該更難向相(xiàng↔§ )反的(de)方向切換回來(lái)。這(zhè)種機(jī)制(zhì≈α☆©)受複可(kě)塑性 Fusi 模型的(de)啓發，與通(tōng)常訓練 $二值化(huà)神經網絡的(de)方式略有(yǒu)λ∞€不(bù)同，但(dàn)它對(duì)網絡的(deεδ×)災難性遺忘有(yǒu)顯著(zhe)影(yǐng)響。

首先，引入的(de)新整合機(jī)制(zhì)有(yǒu)效地(dì&§)減少(shǎo)了(le)遺忘，并且它僅基于突觸的(de)局部內(nèi)部÷ ≠β狀态而這(zhè)樣做(zuò)，而無需更改任務之間(jiān)→σ↑ 網絡優化(huà)的(de)指标，與其他(tā)文(wén)獻方法相(xià "♥₹ng)反，這(zhè)一(yī)特性對(duì)低(dī)功耗硬件(jià∞‍≈‍n)的(de)設計(jì)特别有(yǒu)吸引力，因為↑★↕€(wèi)人(rén)們必須避免數(shù≠∞♠€)據移動和(hé)計(jì)算(suàn)的(de)開(α←kāi)銷。這(zhè)組研究人(rén)員(yuán)收集的(d•γ↕e)研究結果可(kě)能(néng)對(du<≥₩ì)人(rén)工(gōng)智能(néng)代理(lǐ)和(hé)深度神經‍™∏網絡的(de)發展具有(yǒu)重要(yào)意義。最近(jìn)論•Ω文(wén)中引入的(de)整合機(jī)制(zhì)可(kě)以γ"幫助減輕二值化(huà)神經網絡中的(de)災難性πβ¥π遺忘，從(cóng)而開(kāi)發能(néng)夠在各種任務上(shàn♠↔​g)表現(xiàn)良好(hǎo)的(de) A©ε←​I 代理(lǐ)。這(zhè)項研究強調了(le)在嘗£‌₩試開(kāi)發性能(néng)更好(hǎo)的(de) AI 代¥♥ 理(lǐ)時(shí)從(cóng)神經科 >(kē)學理(lǐ)論中汲取靈感的(de)價值。