Entri data individu disimpan dalam bentuk “ Tensor ” di PyTorch dan “ gradien ” Tensor dihitung menggunakan propagasi mundur dalam loop pelatihan model pembelajaran mendalam. Syarat ' tidak berskala ” berarti datanya mentah dan tidak ada prapemrosesan atau pengoptimalan yang terlibat. Gradien Tensor yang tidak berskala memberikan nilai perubahan sebenarnya pada fungsi kerugian yang ditentukan.
Di blog ini, kita akan membahas cara menghitung gradien Tensor yang tidak berskala di PyTorch.
Apa itu Gradien Tensor Tanpa Skala di PyTorch?
Tensor adalah array multidimensi yang berisi data dan dapat berjalan pada GPU di PyTorch. Tensor yang berisi data mentah dari kumpulan data tanpa pemrosesan awal, transformasi, atau pengoptimalan apa pun disebut tensor tidak berskala. Namun, sebuah “ Gradien Tanpa Skala ” berbeda dengan tensor tak berskala dan harus berhati-hati agar keduanya tidak tertukar. Gradien tensor yang tidak berskala dihitung sehubungan dengan fungsi kerugian yang dipilih dan tidak memiliki optimasi atau penskalaan lebih lanjut.
Bagaimana Menghitung Gradien Tensor Tanpa Skala di PyTorch?
Gradien Tensor yang tidak berskala adalah nilai aktual dari laju perubahan data masukan terkait fungsi kerugian yang dipilih. Data gradien mentah penting untuk memahami perilaku model dan perkembangannya selama loop pelatihan.
Ikuti langkah-langkah yang diberikan di bawah ini untuk mempelajari cara menghitung gradien tensor yang tidak berskala di PyTorch:
Langkah 1: Mulailah Proyek dengan menyiapkan IDE
Google Colaboratory IDE adalah salah satu pilihan terbaik untuk pengembangan proyek PyTorch karena menyediakan akses gratis ke GPU untuk pemrosesan lebih cepat. Buka Colab situs web dan klik pada “ Buku Catatan Baru ” opsi untuk mulai bekerja:
Langkah 2: Impor Perpustakaan Essential Torch
Semua fungsi kerangka PyTorch terkandung dalam “ Obor ' perpustakaan. Setiap proyek PyTorch dimulai dengan menginstal dan mengimpor perpustakaan ini:
!pip instal oborimpor obor
Kode di atas berfungsi sebagai berikut:
- “! pip ” adalah paket instalasi untuk Python yang digunakan untuk menginstal perpustakaan dalam proyek.
- “ impor Perintah ” digunakan untuk memanggil perpustakaan yang diinstal ke dalam proyek.
- Proyek ini hanya membutuhkan fungsionalitas “ obor ' perpustakaan:
Langkah 3: Tentukan Tensor PyTorch dengan Gradien
Menggunakan ' obor.tensor ()” metode untuk mendefinisikan tensor dengan gradien “ membutuhkan_grad=Benar ' metode:
A = torch.tensor([5.0], require_grad=True)Langkah 4: Tentukan Fungsi Kerugian Sederhana
Fungsi kerugian didefinisikan menggunakan persamaan aritmatika sederhana seperti yang ditunjukkan:
kehilangan_fungsi = A*5 
Langkah 5: Hitung Gradien dan Cetak ke Output
Menggunakan ' ke belakang ()” untuk menghitung gradien tak berskala seperti yang ditunjukkan:
kehilangan_fungsi.mundur()unscaled_grad = A.grad
print('Gradien Tensor PyTorch yang Tidak Berskala: ', unscaled_grad)
Kode di atas berfungsi sebagai berikut:
- Menggunakan ' ke belakang ()” untuk menghitung gradien tak berskala melalui propagasi mundur.
- Tetapkan “ A.grad ” ke “ unscaled_grad ' variabel.
- Terakhir, gunakan “ mencetak ()” untuk menampilkan keluaran gradien yang tidak berskala:
Catatan : Anda dapat mengakses Notebook Colab kami di sini tautan .
Tip Pro
Gradien tensor yang tidak berskala dapat menunjukkan hubungan yang tepat antara data masukan dengan fungsi kerugian untuk jaringan saraf dalam kerangka PyTorch. Gradien mentah yang belum diedit menunjukkan bagaimana kedua nilai terkait secara sistematis.
Kesuksesan! Kami baru saja menunjukkan cara menghitung gradien tensor yang tidak berskala di PyTorch.
Kesimpulan
Hitung gradien tensor yang tidak berskala di PyTorch dengan terlebih dahulu mendefinisikan tensornya, lalu menggunakan metode backward() untuk menemukan gradiennya. Hal ini menunjukkan bagaimana model pembelajaran mendalam menghubungkan data masukan dengan fungsi kerugian yang ditentukan. Di blog ini, kami telah memberikan tutorial langkah demi langkah tentang cara menghitung gradien tensor yang tidak berskala di PyTorch.