題目:Stochastic Second-Order Methods For Deep Learning
內(nèi)容簡(jiǎn)介:Stochastic Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a structured stochastic quasi-Newton method and a sketchy empirical natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.
報(bào)告人:北京大學(xué)文再文研究員
報(bào)告人簡(jiǎn)介:北京大學(xué)北京國(guó)際數(shù)學(xué)研究中心研究員,主要研究最優(yōu)化算法與理論及其在機(jī)器學(xué)習(xí)、人工智能和信號(hào)處理中的應(yīng)用。2013年獲得基金委優(yōu)秀青年科學(xué)基金。 2015年獲得中組部青年拔尖人才計(jì)劃。 2016年獲中國(guó)青年科技獎(jiǎng)。2020年獲國(guó)家萬人計(jì)劃科技創(chuàng)新領(lǐng)軍人才,現(xiàn)為中國(guó)運(yùn)籌學(xué)會(huì)常務(wù)理事,中國(guó)運(yùn)籌學(xué)會(huì)數(shù)學(xué)規(guī)劃分會(huì)副理事長(zhǎng)。
時(shí)間:2020年12月13日(周日)上午10:00開始
地點(diǎn):騰訊會(huì)議(會(huì)議ID:907 710 399、點(diǎn)擊鏈接入會(huì):https://meeting.tencent.com/s/kMK6XeqR1ahO)
熱烈歡迎廣大師生參加!
信息科學(xué)技術(shù)學(xué)院
2020年12月7日