Proyek ini berisi analisis tentang berbagai teknik Natural Language Processing (NLP) yang digunakan dalam pemodelan bahasa menggunakan library Transformers dari Hugging Face. Teknik yang dianalisis meliputi klasifikasi zero-shot, pembuatan teks, pengisian kata yang hilang (fill-mask), pengenalan entitas bernama (NER), menjawab pertanyaan (question-answering), analisis sentimen, ringkasan (summarization), dan terjemahan (translation).
===========================================================================
- 1. Zero-Shot Classification
- 2. Text Generation
- 3. Fill Mask
- 4. Named Entity Recognition (NER)
- 5. Question Answering
- 6. Sentiment Analysis
- 7. Summarization
- 8. Translation
===========================================================================
Zero-shot classification adalah metode yang memungkinkan model untuk mengidentifikasi teks ke dalam kategori yang belum dikenali sebelumnya, berdasar pada konteks dan label kandidat yang relevan. Pada contoh yang telah dibuat, model klasifikasi zero-shot berhasil menentukan kategori yang paling relevan dengan konten teks meski kategori tersebut tidak dilatih secara spesifik sebelumnya. Contohnya, model mampu mengidentifikasi bahwa tema mengenai kecerdasan buatan berhubungan dengan "teknologi" atau bahwa diskusi tentang perubahan iklim sejalan dengan label "pemanasan global." Dengan demikian, model ini mampu secara adaptif menentukan label yang paling akurat tanpa memerlukan pelatihan tambahan, sehingga ideal untuk situasi yang memerlukan klasifikasi yang cepat dan fleksibel.
===========================================================================Text generation menciptakan teks baru berdasarkan input yang diberikan. Dengan menggunakan model yang berbeda, contoh ini menunjukkan kemampuan model untuk menghasilkan kalimat yang relevan dan kreatif, menyoroti fleksibilitas dalam menghasilkan konten.
===========================================================================Fill-mask digunakan untuk memprediksi kata yang hilang dalam sebuah kalimat. Dalam analisis ini, model dapat dengan tepat mengisi kata yang hilang berdasarkan konteks kalimat, menunjukkan pemahaman model terhadap struktur bahasa.
===========================================================================NER mengidentifikasi dan mengklasifikasikan entitas dalam teks. Contoh ini menunjukkan bagaimana model dapat mengenali nama orang, tempat, dan organisasi dalam kalimat, sangat berguna dalam analisis data teks.
===========================================================================Question-answering memungkinkan pengguna untuk mendapatkan jawaban atas pertanyaan berdasarkan konteks yang diberikan. Dua contoh menunjukkan kemampuan model untuk menjawab pertanyaan dengan akurat, mendemonstrasikan penerapan dalam bidang pendidikan dan kesehatan.
===========================================================================Sentiment analysis mengidentifikasi emosi dalam teks, seperti positif, negatif, atau netral. Analisis menunjukkan bagaimana model dapat mengenali dan mengklasifikasikan perasaan dalam kalimat secara otomatis.
===========================================================================Summarization menghasilkan ringkasan dari teks panjang, menjaga informasi penting. Dalam contoh ini, model berhasil merangkum dampak AI pada berbagai sektor, memberikan pandangan singkat yang berguna.
===========================================================================Translation menerjemahkan teks dari satu bahasa ke bahasa lain. Contoh ini menunjukkan bagaimana model dapat menerjemahkan kalimat dari bahasa Prancis ke bahasa Inggris dengan akurasi yang tinggi.
===========================================================================- Clone repositori ini ke komputer Anda.
- Pastikan Anda memiliki Python dan library Transformers terinstal atau untuk lebih mudahnya bisa gunakan Google Collab.
- Jalankan skrip di dalam direktori proyek untuk melihat hasil analisis.