NeuralODE舵
速度場 dy/dt = f(y, t) を描いて、開始点から目標点へ軌跡を着陸させる連続時間ニューラルODE。
Neural ODE (Chen et al. 2018) は離散層のニューラル網を 連続時間の常微分方程式 へ書き換える発想:
画面で速度場をドラッグしてベクトルを編集し、青の出発点から赤の目標まで軌跡を導こう。
dy/dt = f_θ(y, t)。Forward は ODE ソルバ(ここでは RK4)で積分し、随伴法でメモリ定数の逆伝播ができる。可逆ニューラル網(RevNet 系)の連続版。画面で速度場をドラッグしてベクトルを編集し、青の出発点から赤の目標まで軌跡を導こう。
y(t) trajectory
t0.00
距離 d(y,target)—
∫‖f‖dt (作用)0.00
solverRK4
ブラシ(速度場の編集モード)
ステージ
着陸成功! 速度場から定義したODEで目標に届いた。
この場 f(y) を小さなNNで表現したものが Neural ODE。Forward = ODE 積分、Backward = 随伴 ODE。離散層 (ResNet) の極限と見なせる。
可逆ResNet (RevNet) の連続版で、横山研の可逆計算研究と直結する。
この場 f(y) を小さなNNで表現したものが Neural ODE。Forward = ODE 積分、Backward = 随伴 ODE。離散層 (ResNet) の極限と見なせる。
可逆ResNet (RevNet) の連続版で、横山研の可逆計算研究と直結する。
操作・教材ポイント
左キャンバスの上でドラッグすると、現在のブラシで速度場を編集できる。→ベクトルはドラッグ方向に矢印を置く。積分ボタンで青→赤の軌跡を描く。
y(T) = y(0) + ∫₀ᵀ f_θ(y(t), t) dt (RK4: y_{n+1} = y_n + Δt/6 ·(k1+2k2+2k3+k4))ODE ソルバが 適応的に深さを決めるのがNeural ODEの肝。離散ResNetの「層数=ハイパラ」を「許容誤差=ハイパラ」に置換した。横山研RevNet研究の自然な延長。