PENERAPAN INDOBERT UNTUK ANALISIS SENTIMEN BERBASIS ASPEK PADA EVALUASI APLIKASI LAYANAN PUBLIK

Muhammad Rafli; Badieah Assegaf

doi:10.31949/infotech.v12i1.17555

Authors

Muhammad Rafli Universitas Islam Sultan Agung, Indonesia
Badieah Assegaf Universitas Islam Sultan Agung, Indonesia

DOI:

https://doi.org/10.31949/infotech.v12i1.17555

Abstract

Ulasan pengguna pada aplikasi layanan publik digital seperti Mobile JKN, M-Paspor, dan SIGNAL menyimpan wawasan penting bagi peningkatan kualitas layanan. Namun, analisis sentimen konvensional belum mampu mengidentifikasi aspek spesifik yang menjadi sumber kepuasan maupun keluhan pengguna. Penelitian ini mengembangkan sistem Aspect-Based Sentiment Analysis (ABSA) berbasis IndoBERT dengan pendekatan token classification. Sistem dirancang untuk mengekstraksi tiga aspek utama, yaitu Usability, Reliability, dan Efficiency, sekaligus mengklasifikasikan kategori sentimen. Metode penelitian meliputi pengumpulan data scraping, pra-pemrosesan, dan fine-tuning model IndoBERT. Hasil pengujian menunjukkan kinerja yang sangat baik dengan akurasi pada aspek Usability 0.98, Reliability 0.97, Efficiency 0.99 untuk Mobile JKN. Untuk M-Paspor mendapatkan akurasi aspek Usability 0.99, Reliability 0.98, Efficiency 0.99. Dan untuk SIGNAL mendapatkan akurasi aspek Usability 0.99, Reliability 0.98, Efficiency 0.97. Analisis kurva loss mengungkap adanya indikasi overfitting ringan pada model Mobile JKN yang disebabkan oleh kompleksitas dan keberagaman domain layanan kesehatan, sementara model M-Paspor dan SIGNAL juga mengalami overfitting namun dengan tingkat yang lebih rendah berkat karakteristik domain yang lebih spesifik dan jumlah data pelatihan yang lebih besar. Analisis lebih lanjut mengungkap bahwa aspek Efficiency secara konsisten menjadi yang paling mudah diklasifikasi dengan F1-Score di atas 0.94, sementara aspek Reliability menjadi tantangan utama dengan pola kesulitan berbeda pada setiap dataset. Temuan ini menunjukkan bahwa sistem yang dibangun efektif dalam memberikan wawasan terperinci guna mendukung peningkatan berkelanjutan layanan publik digital.

Keywords:

Analisis sentimen, Multi Aspek, IndoBERT, Token Classification, Fine-Tuning

Downloads

Download data is not yet available.

References

Badan Pusat Statistik. (2024). Statistik Telekomunikasi Indonesia 2023.

Chandradev, V., Made, I., Dwi Suarjaya, A., Putu, I., & Bayupati, A. (2023). Chandradev, Analisis Sentimen Review Hotel Menggunakan Metode Deep Learning Bert 107 Analisis Sentimen Review Hotel Menggunakan Metode Deep Learning Bert.

Filemon Haganta Kaban, A., & Yudistira, N. (2021). Analisis Sentimen Aplikasi E-Goverment Berdasarkan Ulasan Pengguna Menggunakan Metode Maximum Entropy Dan Seleksi Fitur Mutual Information (Vol. 5, Number 4). http://j-ptiik.ub.ac.id

Hakim, G., Fatyanosa, T. N., & Widodo, A. W. (2024). Analisis Sentimen Masyarakat Terhadap Kereta Cepat Whoosh Pada Platform X Menggunakan Indobert (Vol. 8, Number 10). http://j-ptiik.ub.ac.id

Hisyam Pradhana, A., Daniati, E., Muzaki, M. N., & Informasi, S. (2025). Penerapan Bi-Lstm Untuk Named Entity Recognition Pada Teks Bahasa Indonesia. Ijcsr: The Indonesian Journal Of Computer Science Research E. https://doi.org/10.37905

Husada, H. C., & Paramita, A. S. (2021). Analisis Sentimen Pada Maskapai Penerbangan Di Platform Twitter Menggunakan Algoritma Support Vector Machine (Svm). Teknika, 10(1), 18–26. https://doi.org/10.34148/teknika.v10i1.311

Nur Karimah, & Anna Baita. (2024). Multi-Aspect Sentiment Analysis Pada Review Film Menggunakan Metode Bidirectional Encoder Representations From Transformers (Bert). Komputika : Jurnal Sistem Komputer, 13(1), 63–72. https://doi.org/10.34010/komputika.v13i1.11098

Nuryadi, D., Metandi, F., Alam Hadiwijaya, N., Zainul Rohman, M., Hartanto, S., Syafrizal, A., Yadie Teknologi Informasi, E., Negeri Samarinda Jl Cipto Mangunkusumo, P., Seberang, S., & Timur, K. (2025). Fine Tuning Indobert Untuk Analisis Sentimen Pada Ulasan Pengguna Aplikasi Tiket.Com Di Google Play Store. In Jurnal Mahasiswa Teknik Informatika) (Vol. 9, Number 2).

Nyoman Saputra Wahyu Wijaya, I., Agus Seputra, K., & Putu Novita Puspa Dewi, N. (2025). Fine Tunning Model Indobert Untuk Analisis Sentimen Berita Pariwisata Indonesia. Jurnal Pendidikan Teknologi Dan Kejuruan, 22(2). https://www.detik.com/search/searchall?query=Wisata&Siteid=3&Sortby=Time&Fromdatex=01/01/2022&

Radiena, G., & Nugroho, A. (2023). Analisis Sentimen Berbasis Aspek Pada Ulasan Aplikasi Kai Access Menggunakan Metode Support Vector Machine. In Jurnal Pendidikan Teknologi Informasi (Jukanti) (Number 1).

Rahman, I. F., Hasanah, A. N., & Heryana, N. (2024). Analisis Sentimen Ulasan Pengguna Aplikasi Samsat Digiital Nasional (Signal) Dengan Menggunakan Metode Naïve Bayes Classifier. Jurnal Informatika Dan Teknik Elektro Terapan, 12(2). https://doi.org/10.23960/jitet.v12i2.4073

Safitri, T., Umaidah, Y., & Maulana, I. (2023). Analisis Sentimen Pengguna Twitter Terhadap Bts Menggunakan Algoritma Support Vector Machine. In Journal Of Applied Informatics And Computing (Jaic) (Vol. 7, Number 1). http://jurnal.polibatam.ac.id/index.php/jaic

Sari, P. W. S., Firmansyah, F., & Kadafi, A. R. K. (2025). Perbandingan Algoritma Random Forest Dan Naïve Bayes Dalam Menganalisis Sentimen Ulasan Pada Produk Skincare Lokal Di Media Sosial Tiktok. Jurnal Informatika Dan Teknik Elektro Terapan, 13(3s1). https://doi.org/10.23960/jitet.v13i3s1.8150

Truşcǎ, M. M., & Frasincar, F. (2023). Survey On Aspect Detection For Aspect-Based Sentiment Analysis. Artificial Intelligence Review, 56(5), 3797–3846. https://doi.org/10.1007/s10462-022-10252-y

Widiansyah, M., Frazna Az-Zahra, F., & Pambudi, A. (2024). Fine-Tuning Model Indobert (Indonesian Bidirectional Encoder Representations From Transformers) Untuk Analisis Sentimen Berbasis Aspek Pada Aplikasi M-Paspor. In Journal Of Informatic Engineering (Joutica). https://doi.org/10.30736/informatika.v9i2.1310

Zhou, J., Huang, J. X., Chen, Q., Hu, Q. V., Wang, T., & He, L. (2019). Deep Learning For Aspect-Level Sentiment Classification: Survey, Vision, And Challenges. In Ieee Access (Vol. 7, Pp. 78454–78483). Institute of Electrical and Electronics Engineers Inc. https://doi.org/10.1109/access.2019.2920075