4.3. Parameter Norm Penalties

Video tersebut menjelaskan perbedaan antara regularisasi L1 (Lasso) dan L2 (Ridge) dalam machine learning, termasuk cara keduanya mengendalikan overfitting dan efeknya terhadap distribusi bobot fitur serta kekuatan dan kelemahan masing-masing metode. Adapun poin-poin penting yang dibahas dalam video adalah sebagai berikut:

• 0:03 - 0:15: Penjelasan tentang L1 dan L2 regularisasi sebagai teknik tambahan untuk mengendalikan overfitting, setelah menerapkan teknik seperti bagging, dropout, dan early stopping.
• 0:19 - 1:02: Regularisasi L1 (Lasso): Memperkenalkan penalti berdasarkan nilai absolut bobot ke fungsi kerugian, membantu mengurangi kompleksitas fitur dan mencegah overfitting.
• 1:07 - 1:43: Regularisasi L2 (Ridge): Memperkenalkan penalti berdasarkan kuadrat bobot ke fungsi kerugian, mendorong distribusi bobot secara merata dan mengurangi ketergantungan pada fitur tertentu.
• 1:49 - 3:34: Perbandingan kontur plot antara L1 dan L2. L1 menghasilkan bentuk diamond yang mendorong beberapa bobot menjadi nol, sedangkan L2 menghasilkan bentuk lingkaran yang menjaga bobot tetap tersebar merata.
• 3:37 - 4:09: Penjelasan tentang bagaimana regularisasi mempengaruhi nilai loss dan bobot. L1 cenderung membuat beberapa bobot nol, sedangkan L2 cenderung menyebarkan bobot secara merata.
• 4:12 - 5:34: Perbedaan antara L1 dan L2 dalam hal seleksi fitur dan sparsity. L1 lebih cenderung mengurangi beberapa bobot menjadi nol, sedangkan L2 lebih menyeimbangkan bobot di seluruh fitur.
• 5:37 - 7:31: Kelebihan dan Kelemahan dari L1: Keuntungan - seleksi fitur, robust terhadap outliers, model sederhana. Kelemahan - sulit dioptimalkan pada titik nol, bisa menyebabkan underfitting. dan L2: Keuntungan - menangani multikolinearitas, model lebih stabil, distribusi bobot lebih merata. Kelemahan - tidak melakukan seleksi fitur, kurang robust terhadap outliers.