Klasifikasi Pengaduan Pelayanan Fakultas Teknik Universitas Muhammadiyah Makassar menggunakan Natural Language Processing
Kata Kunci:
Naïve Bayes, Klasifikasi Pengaduan, TF-IDF, Analisis Sentimen, Natural Language Processing (NLP)Abstrak
Penelitian ini dilakukan di Fakultas Teknik Universitas Muhammadiyah Makassar dengan tujuan mengembangkan model klasifikasi pengaduan pelayanan menggunakan teknik Natural Language Processing (NLP). Tahapan penelitian melibatkan pengumpulan data pengaduan dari sistem informasi akademik (SIMAK), pre-processing data teks menggunakan teknik seperti tokenisasi, stemming, lemmatization, serta pembobotan teks dengan metode TF-IDF. Model klasifikasi dibangun menggunakan algoritma Naïve Bayes, yang menunjukkan performa yang cukup baik dengan akurasi sebesar 91%. Evaluasi model dilakukan menggunakan confusion matrix untuk menghitung metrik akurasi, recall, precision, dan F1-Score, yang menunjukkan bahwa beberapa kategori seperti "Fasilitas Kampus" dan "Fasilitas Parkir" memiliki nilai precision dan recall yang tinggi, sementara kategori lain seperti "Keuangan dan Pembayaran" membutuhkan peningkatan. Model yang dikembangkan berhasil mengklasifikasikan keluhan mahasiswa dengan baik, menunjukkan kemampuan yang andal untuk diimplementasikan dalam sistem pengaduan pelayanan di Fakultas Teknik Universitas Muhammadiyah Makassar. Selain itu, model ini mampu mengidentifikasi dan mengklasifikasikan saran dan kritik dengan tingkat akurasi yang memuaskan berkat penggunaan metode TF-IDF untuk ekstraksi fitur. Meskipun demikian, terdapat beberapa kategori yang masih memerlukan peningkatan akurasi, seperti "Keuangan dan Pembayaran" serta "Tata Usaha/Pelayanan Administrasi", yang menunjukkan adanya ruang untuk pengembangan lebih lanjut. Saran untuk penelitian selanjutnya termasuk eksplorasi algoritma lain seperti Support Vector Machine (SVM) atau Random Forest untuk membandingkan performa model, peningkatan ukuran dan keragaman dataset untuk meningkatkan generalisasi model, dan penambahan analisis sentimen untuk memberikan wawasan lebih mendalam tentang keluhan mahasiswa. Selain itu, penggunaan teknik NLP lainnya seperti word embeddings (misalnya Word2Vec atau GloVe) dapat diterapkan untuk meningkatkan representasi teks dan akurasi klasifikasi. Hasil penelitian ini memberikan kontribusi penting dalam pengelolaan pengaduan pelayanan di lingkungan akademik dan menjadi dasar untuk perbaikan layanan serta referensi bagi penelitian selanjutnya.
Referensi
Alkaff, M., Baskara, A. R., & Maulani, I. (2021). Klasifikasi Laporan Keluhan Pelayanan Publik Berdasarkan Instansi Menggunakan Metode LDA-SVM. Jurnal Teknologi Informasi dan Ilmu Komputer, 8(6).
Anam, C., Indriati, I., & Marji, M. (2020). Klasifikasi Pengaduan Pelayanan Dispendukcapil Kota Malang Menggunakan Metode Naive Bayes dan Seleksi Fitur Glasgow-II. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 4(9), 3264-3271.
Chandra, A. Y., Kurniawan, D., & Musa, R. (2020). Perancangan Chatbot Menggunakan Dialogflow Natural Language Processing (Studi Kasus: Sistem Pemesanan pada Coffee Shop). Jurnal Media Informatika Budidarma, 4(1), 208-215.
Mahawardana, P. P. O., Sasmita, G. A., & Pratama, I. P. A. E. (2022). Analisis Sentimen Berdasarkan Opini Dari Media Sosial Twitter Terhadap “Figure Pemimpin” Menggunakan Python. Jurnal Ilmiah Teknologi dan Komputer, 3(1), 810-820.
Melani, Y. I. (2019). Sistem Pengaduan Layanan Akademik Menggunakan Responsive Web Design. Jurnal Sisfokom (Sistem Informasi Dan Komputer), 8(1), 39-45.
Muliyono, M. (2021). Identifikasi Chatbot dalam Meningkatkan Pelayanan Online Menggunakan Metode Natural Language Processing (Doctoral dissertation, Universitas Putra Indonesia YPTK).
Nalendro, G. (2019). Sistem Informasi Pengaduan Layanan Universitas.
Puspasari, I., & Rusmin, P. H. (2022). Klasifikasi Wazan pada Kata-Kata Al Qur’an Menggunakan Natural Language Processing. Journal of Technology and Informatics (JoTI), 3(2), 41-48.
Septian, A. N. (2021). IMPLEMENTASI FRAMEWORK FLUTTER UNTUK PENGADUAN MAHASISWA UNIVERSITAS XYZ. Inovasi Pembangunan: Jurnal Kelitbangan, 9(03), 311-311.
Siddik, M., Hendri, H., Putri, R. N., Desnelita, Y., & Gustientiedina, G. (2020). Klasifikasi Kepuasan Mahasiswa Terhadap Pelayanan Perguruan Tinggi Menggunakan Algoritma Naï ve Bayes. INTECOMS: Journal of Information Technology and Computer Science, 3(2), 162-166.
Surya, D. P. (2023). MENGINTEGRASIKAN TEKNIK NLP DAN MACHINE LEARNING UNTUK MENINGKATKAN ANALISIS SENTIMEN. Jurnal Teknologi Pintar, 3(11).
Tanggraeni, A. I., & Sitokdana, M. N. (2022). Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma Naïve Bayes. JATISI (Jurnal Teknik Informatika dan Sistem Informasi), 9(2), 785-795.
Usmany, R., Hermadi, I., & Nurdiati, S. (2022). PENGEMBANGAN CHATBOT PENGADUAN DAN TROUBLESHOOTING TEKNOLOGI INFORMASI DENGAN PENDEKATAN NLP (Studi Kasus: POLITEKNIK NEGERI AMBON). JURNAL SIMETRIK, 12(2), 575-583.
Wati, R., & Ernawati, S. (2021). Analisis Sentimen Persepsi Publik Mengenai PPKM Pada Twitter Berbasis SVM Menggunakan Python. Jurnal Teknik Informatika UNIKA Santo Thomas, 240-247.
Yuliana, D., & Supriyanto, C. (2018). Klasifikasi Teks Pengaduan Masyarakat Dengan Menggunakan Algoritma Neural Network. Jurnal KomTekInfo, 5(3), 92-116.
