講座主題：基于局部近似的Stein變分梯度下降方法
特邀專(zhuān)家：閆亮 副教授
講座時(shí)間：2021年6月21日 10:30
講座地點(diǎn)：主樓A1-513學(xué)術(shù)討論室
專(zhuān)家介紹：閆亮，東南大學(xué)副教授。東南大學(xué)“至善青年學(xué)者”。主要從事不確定性量化、貝葉斯反問(wèn)題理論與算法的研究。主持自然科學(xué)基金項(xiàng)目，江蘇省自然科學(xué)基金青年項(xiàng)目等。已在SISC、IP、JCP等刊物上發(fā)表論文20多篇。
講座摘要：貝葉斯計(jì)算在現(xiàn)代機(jī)器學(xué)習(xí)和統(tǒng)計(jì)中對(duì)不確定性進(jìn)行推理有重要應(yīng)用。貝葉斯推理中一個(gè)關(guān)鍵的計(jì)算挑戰(zhàn)是開(kāi)發(fā)有效的近似技術(shù)，或從后驗(yàn)分布中抽取樣本。SVGD已被證明是一個(gè)強(qiáng)大的近似推理算法。然而，普通SVGD需要計(jì)算目標(biāo)密度的梯度，當(dāng)梯度不可用或評(píng)估代價(jià)太大時(shí)，不能應(yīng)用該梯度。本講座我們探討一種解決這一挑戰(zhàn)的方法，即為目標(biāo)分布構(gòu)造一個(gè)局部代理，以一種計(jì)算上更可行的方式獲得梯度。更具體地說(shuō)，我們使用一個(gè)深度神經(jīng)網(wǎng)絡(luò)(DNN)來(lái)近似前向模型，該網(wǎng)絡(luò)是在一個(gè)精心選擇的訓(xùn)練集上訓(xùn)練的，這也決定了代理的質(zhì)量。為此，我們提出了一種通用的自適應(yīng)算法，在不破壞SVGD收斂性的情況下在線(xiàn)改進(jìn)局部逼近。這大大降低了SVGD的計(jì)算成本，并產(chǎn)生了一套易于實(shí)現(xiàn)的算法。在一組具有挑戰(zhàn)性的貝葉斯反問(wèn)題上給出了新算法，數(shù)值實(shí)驗(yàn)表明標(biāo)準(zhǔn)SVGD的性能和適用性有了明顯的提高。
