Di era ini, Transformers adalah model paling kuat yang telah memberikan hasil terbaik dalam berbagai operasi NLP (Natural Language Processing). Awalnya, ini digunakan untuk tugas pemodelan bahasa termasuk pembuatan teks serta klasifikasi, terjemahan mesin, dan banyak lagi. Namun sekarang, ini juga digunakan untuk pengenalan objek, klasifikasi gambar, dan berbagai tugas computer vision lainnya.
Pada tutorial kali ini kami akan memberikan tata cara melakukan klasifikasi teks menggunakan Transformers.
Bagaimana Melakukan Klasifikasi Teks Menggunakan Transformers?
Untuk melakukan klasifikasi teks menggunakan Transformers, pertama-tama instal “ transformator ” perpustakaan dengan menjalankan perintah yang disediakan:
! pip Install transformator
Seperti yang Anda lihat, perpustakaan yang ditentukan telah berhasil diinstal:
Kemudian, impor “ saluran pipa ' dari ' transformator ' perpustakaan:
dari pipa impor transformator
Di sini, “ saluran pipa ” akan mencakup tugas NLP yang perlu kita lakukan dan model transformator yang diinginkan untuk operasi ini bersama dengan tokenizer.
Catatan: Tokenizer digunakan untuk melakukan pemrosesan pada teks untuk dijadikan masukan model dengan memisahkan teks menjadi token.
Setelah itu, gunakan “ pipa() ” fungsi dan berikan “ klasifikasi zero-shot ” sebagai argumen. Selanjutnya, berikan parameter lain yang merupakan model kita. Kami menggunakan “ BART ” model trafo. Di sini, kami tidak menggunakan tokenizer karena dapat disimpulkan secara otomatis oleh model yang ditentukan:
text_classifier = saluran pipa ( 'klasifikasi zero-shot' , model = 'facebook/bart-besar-mnli' )
Sekarang, nyatakan “ seq ” Variabel yang menampung teks masukan kita yang perlu diklasifikasikan. Kemudian, kami menyediakan kategori yang ingin kami klasifikasikan teksnya dan simpan di “ laboratorium ” yang dikenal sebagai label:
laboratorium = [ 'memperbarui' , 'kesalahan' , 'penting' , 'verifikasi' ]
Terakhir, jalankan pipeline bersama dengan masukan:
Setelah menjalankan pipeline, seperti yang Anda lihat, model memperkirakan urutan yang kami sediakan akan diklasifikasikan:
Informasi tambahan: Jika Anda ingin mempercepat performa model, Anda perlu menggunakan GPU. Jika ya, maka, untuk tujuan tersebut, Anda dapat menentukan argumen perangkat ke alur dan menyetelnya ke “ 0 ” untuk memanfaatkan GPU.
Jika Anda ingin mengklasifikasikan teks pada lebih dari satu pernyataan teks urutan/masukan, Anda dapat menambahkannya ke daftar dan meneruskannya sebagai masukan ke saluran pipa. Untuk tujuan itu, lihat cuplikan kode:
seq = [ 'Proofreading dan pengeditan merupakan komponen penting untuk memastikan kejelasan, koherensi, dan konten bebas kesalahan' ,“Di era modern ini, optimasi SEO sangat penting agar artikel dapat mendapat peringkat yang baik dan menjangkau khalayak yang lebih luas” ]
pengklasifikasi_teks ( seq , laboratorium )
Keluaran
Itu dia! Kami telah menyusun cara termudah untuk melakukan klasifikasi teks menggunakan Transformers.
Kesimpulan
Transformer digunakan untuk melakukan tugas pemodelan bahasa, seperti pembuatan teks, klasifikasi teks, dan terjemahan mesin, serta tugas visi komputer termasuk pengenalan objek, dan klasifikasi gambar. Dalam tutorial ini, kami telah mengilustrasikan proses melakukan klasifikasi teks menggunakan Transformers.