Deep Learning: Kuliah Teori dan Matematika Recurrent Neural Network (RNN)

Ringkasan

Kuliah ini memperkenalkan Recurrent Neural Network (RNN) sebagai jaringan saraf yang memproses urutan data dengan membawa informasi dari langkah sebelumnya ke langkah berikutnya. RNN merupakan salah satu metode deep learning yang berguna untuk data berurutan, terutama teks dan data yang berubah dari waktu ke waktu.

Gagasan utama

• RNN memiliki koneksi berulang. Pada setiap langkah waktu, jaringan menerima input saat itu dan menggunakan state dari langkah sebelumnya. Dengan demikian, informasi sebelumnya dapat memengaruhi pemrosesan berikutnya.
• RNN dapat diterapkan pada berbagai tugas, seperti penerjemahan teks, pemrosesan bahasa, pemberian caption pada objek, klasifikasi, dan peramalan.
• Kuliah menyebut RNN sebagai metode supervised learning: model belajar dari data berlabel atau bertarget dengan membandingkan hasil prediksi terhadap target.
• RNN memiliki dasar yang sejalan dengan metode jaringan saraf lain, tetapi menambahkan mekanisme untuk menangani urutan. LSTM dan GRU disebut sebagai pengembangan atau variasi yang berkaitan dengan gagasan RNN.
• RNN dapat dimodifikasi, misalnya dengan memilih fungsi aktivasi yang berbeda, selama pilihan dan hasilnya dapat diuji secara ilmiah.

Struktur dan alur pemrosesan

RNN dapat digambarkan sebagai satu unit yang berulang pada beberapa langkah waktu. Jika inputnya adalah (x_1, x_2, x_3, \dots), jaringan menghasilkan state (s_1, s_2, s_3, \dots). Setiap state bergantung pada input saat itu dan state sebelumnya.

Secara umum, alurnya adalah:

1. Tetapkan nilai awal untuk state sebelum pemrosesan dimulai.
2. Masukkan input pada langkah waktu pertama.
3. Gabungkan input tersebut dengan state sebelumnya menggunakan bobot jaringan.
4. Terapkan fungsi aktivasi untuk memperoleh state baru.
5. Ulangi proses pada input berikutnya dengan membawa state terbaru.
6. Gunakan keluaran jaringan untuk menghasilkan prediksi, lalu bandingkan dengan target dalam proses pembelajaran.

Dosen mengilustrasikan alur tersebut dengan tiga input dan menghitung state serta keluaran secara bertahap. Tujuan utama contoh ini adalah menunjukkan bahwa perhitungan berulang menggunakan input, bobot, state sebelumnya, dan fungsi aktivasi. Namun, transkrip otomatis tampak memuat kekeliruan atau ketidakjelasan dalam beberapa rumus dan angka contoh, sehingga hasil numeriknya tidak sebaiknya dianggap sebagai perhitungan yang terverifikasi.

Fungsi aktivasi yang dibahas

Kuliah menekankan pentingnya memahami fungsi aktivasi karena fungsi tersebut menentukan bagaimana nilai dalam jaringan diubah.

• Sigmoid: mengubah nilai ke rentang 0–1.
• Tanh (tangen hiperbolik): mengubah nilai ke rentang −1 hingga 1; disebut sebagai pilihan yang umum untuk RNN sederhana.
• ReLU: menghasilkan nol untuk input negatif dan mempertahankan nilai positif.
• Softmax: umumnya digunakan pada keluaran klasifikasi untuk mengubah skor menjadi distribusi probabilitas antar-kelas.

Pemilihan fungsi aktivasi bergantung pada bagian jaringan dan tugas yang dikerjakan. Kuliah juga menyebutkan bahwa LSTM menggunakan kombinasi fungsi, termasuk sigmoid dan tanh, dalam mekanisme gate-nya.

Catatan akurasi: Transkrip tampaknya salah menangkap beberapa istilah dan rumus. Misalnya, rumus tanh menggunakan fungsi eksponensial, bukan (\sin(x)/\cos(x)). Softmax secara umum membagi eksponensial suatu skor dengan jumlah eksponensial skor seluruh kelas.

Pembahasan pertanyaan peserta

Seorang peserta menanyakan cara menghitung keluaran untuk langkah waktu tertentu, termasuk apakah keluaran perlu menggunakan nilai state atau unit yang bersesuaian. Dosen menjelaskan bahwa nilai yang terlewat dalam contoh perlu dimasukkan ke rumus, tetapi mengakui kemungkinan ada bagian hitungan yang terlewat karena banyaknya angka. Pesan utamanya adalah memahami pola perhitungan berulang terlebih dahulu, lalu menerapkannya secara konsisten.

Pembicara dan sumber yang tampil

• Dosen/pengajar: Namanya tidak disebutkan dalam subtitle; menyampaikan kuliah dan contoh perhitungan RNN.
• Peserta kuliah: Namanya tidak disebutkan; mengajukan pertanyaan tentang perhitungan keluaran RNN.