2.3.1. Gradient Based Optimization

Video ini menjelaskan konsep dan teknik gradient based optimization, termasuk metode penurunan gradien untuk meminimalkan fungsi, mengidentifikasi titik kritis, serta penerapannya dalam fungsi multivariate dan pembelajaran mendalam, dengan rincian:

• 0:03 : Pengenalan tentang gradien based optimisation dalam algoritma pembelajaran mendalam.
• 0:27 : Optimasi bertujuan meminimalkan fungsi dengan mengubah variabel $X$. Fungsi yang dimaksud dapat berupa fungsi tujuan, biaya, atau kesalahan.
• 1:47 : Turunan fungsi ($f'$) menunjukkan perubahan pada output akibat perubahan kecil pada input. Teknik penurunan gradien digunakan untuk mencari minimum fungsi.
• 2:30 : Algoritma gradient descent menggunakan turunan untuk menuju minimum fungsi. Titik kritis di mana turunan sama dengan nol dapat berupa minimum lokal, maksimum lokal, atau titik saddle.
• 2.35 : Ada soal yang harus kalian kerjakan
• 3:55 : Contoh iterasi gradient descent dengan fungsi $f(x) = \frac{1}{2}x^2$. Proses iteratif dengan learning rate untuk mendekati minimum global.
• 5:24 : Iterasi menunjukkan proses pembaruan nilai $x$ hingga mendekati titik minimum global $x = 0$.
• 7:14 : Jenis titik kritis: minimum lokal, maksimum lokal, dan titik saddle. Minimum global adalah nilai terendah absolut dari fungsi.
• 8:43 : Gradient adalah vektor turunan parsial untuk fungsi multivariate. Titik kritis di mana gradien sama dengan nol.
• 10:44 : Turunan arah menunjukkan perubahan fungsi dalam arah tertentu. Metode penurunan gradien paling curam mencari arah gradien negatif.
• 12:31 : Penurunan gradien dengan ukuran langkah atau pencarian garis. Dalam beberapa kasus, solusi langsung dapat digunakan jika gradien sama dengan nol.