5.3. Optimization Algorithm

Video tersebut menjelaskan berbagai algoritma optimisasi untuk memperbarui bobot dalam pelatihan jaringan saraf, termasuk SGD, Momentum, Adagrad, RMSprop, dan Adam, serta bagaimana masing-masing algoritma menangani masalah gradien dan laju pembelajaran untuk meningkatkan efisiensi pelatihan. Berikut adalah poin-poin ringkas dalam video.

• 0:05-0:15 - Penjelasan tentang algoritma optimisasi yang digunakan untuk mencari minimum fungsi kerugian dalam jaringan saraf, setelah backpropagation menghitung gradien.
• 1:05-2:00 - Penjelasan ulang tentang jaringan saraf: data masuk di lapisan input dan keluar di lapisan output, dengan fungsi kerugian dihitung untuk melatih bobot melalui gradien.
• 2:00-3:20 - Masalah ketika dataset besar dan solusinya
• 3:20-4:00 - Stochastic Gradient Descent: bobot (W) diperbarui dengan gradien yang diskalakan oleh learning rate (η). Laju pembelajaran adalah hiperparameter penting yang bisa memengaruhi performa.
• 4:00-5:00 - Learning rate rendah memperlambat pelatihan, bisa membuat bobot terjebak di local minima. Learning rate tinggi bisa membantu bobot keluar dari local minima tapi berisiko melewati target minimum.
• 5:00-6:30 - Momentum ditambahkan ke SGD untuk mempercepat pembaruan bobot, membantu melompati local minima dan mengurangi fluktuasi stokastik.
• 6:30-8:00 - Adagrad: metode ini menyesuaikan learning rate dengan skala akar kuadrat dari gradien yang ditemukan sebelumnya, membantu parameter yang kurang sering diperbarui untuk mendapatkan peningkatan.
• 8:00-10:00 - RMSprop: memperbaiki kekurangan Adagrad dengan memungkinkan learning rate meningkat atau menurun selama pelatihan, menggunakan parameter diskon untuk menyimpan gradien sebelumnya.
• 10:00-12:00 - Adam (Adaptive Moment Estimation): menggabungkan kelebihan RMSprop dan momentum untuk mendapatkan pembaruan learning rate yang lebih adaptif dan efisien.