数値解析セミナー

過去の記録 ~09/24次回の予定今後の予定 09/25~

開催情報 火曜日 16:30~18:00 数理科学研究科棟(駒場) 056号室
担当者 齊藤宣一
セミナーURL http://www.infsup.jp/utnas/

2021年06月22日(火)

17:00-18:30   オンライン開催
鈴木大慈 氏 (東京大学大学院情報理工学系研究科)
深層ニューラルネットワークの近似理論と適応能力 (Japanese)
[ 講演概要 ]
ReLU活性化関数を用いた深層ニューラルネットワークの学習能力について,特にスパース推定との関係を通して理論解析結果を述べる.深層学習の学習能力の高さは,その基底を対象の関数に合わせて生成するところにあり,それはモデルが非凸であることが本質的に重要である.これはスパース推定による基底選択と共通点が多く,縮小ランク回帰やL0-正則化学習といった,モデルが非凸であるスパース推定と結び付けてその優位性を調べることが可能である.本研究では,そのような視点に基づき,深層学習のBesov空間における近似精度および推定精度を解析する.また,非等方的平滑性や変動平滑性を持つBesov空間といった種々のBesov空間の変種における近似理論およびそれを用いた推定理論を紹介し,深層学習がいかに対象の関数の情報を用いてその他の推定量を優越しうるかを説明する.時間があれば,無限次元勾配ランジュバン動力学を用いた勾配法の離散時間近似および収束理論も紹介し,それを用いた推定量の推定精度解析と深層学習の特徴量学習による優位性についても述べる.
[ 参考URL ]
https://forms.gle/HwetNGXCzbCyMC7B7