PENGEMBANGAN INTELLIGENT DATA COLLECTOR UNTUK ANALISIS BIG DATA ARTIKEL BERITA ONLINE

Big datan telah menjadi salah satu topik yg paling menarik dalam dunia teknologi informasi sekarang ini. Salah satu sumber big data yang tersedia dan bebas diakses adalah artikel berita online. Dalam sehari, sebuah situs berita populer bisa menghasilkan lebih dari 100 artikel berita baru. Bayangkan berapa banyak jumlah halaman berita yang tersedia untuk kita baca sekarang ini. Sementara itu, tahap awal untuk melakukan analisis big data terhadap artikel berita online adalah data storing dan preprocessing. Berdasarkan pemikiran tersebut maka perlu dikembangkan suatu aplikasi yang bisa mengumpulkan artikel berita online secara otomatis untuk kemudian di analisis lebih lanjut. Penelitian ini bermaksud mengembangkan suatu aplikasi yang diberi nama dengan intelligent data collector (IDC) yang memudahkan kita untuk mengumpulkan artikel berita online. Aplikasi IDC ini mengumpulkan artikel berita online kemudian melakukan preprocessing terhadap artikel-artikel tersebut dan menyimpannya dalam database lokal. Database ini kemudian bisa digunakan lebih lanjut untuk berrbagai macam data mining proses seperti opinion mining (sentiment analysis), topic classification, text summarization dan lain sebagainya.