Caffe学習チューニングメモ: batch_size変更の注意点

GPUモードで動かすと、環境によってはout of memoryで怒られる場合がある。
その場合は train_val.prototxt ファイル内の batch_size を小さく変更する事で避けられる。
しかし、TRAINフェーズのbatch_size に合わせて solver.prototxt ファイル内の base_lr も小さくする必要がある。

base_lr: 0.01 * sqrt(X)
X: batch_size / 256

つまり、batch_sizeを64にしたなら、base_lrは:

base_lr = 0.01 * sqrt(64 / 256) = 0.005

闇すぎるよCaffeちゃん!

参考

投稿者:

Takuya

Digital crafts(man|dog). Love photography. Always making otherwise sleeping. born in 1984.

コメントを残す