“Comma-Separated Values (CSV) adalah salah satu format data yang paling serbaguna dan mudah digunakan. Ini adalah format data ringan yang memungkinkan pengembang dan aplikasi untuk mentransfer dan mengurai data dari satu sumber ke sumber lainnya.
Data CSV menyimpan data dalam format tabel di mana setiap kolom dipisahkan dengan koma, dan catatan baru dialokasikan ke baris baru. Ini menjadikannya pilihan yang sangat baik untuk mengekspor database seperti database SQL, data Cassandra, dan lainnya.
Oleh karena itu, tidak mengherankan jika Anda akan menemukan skenario di mana Anda perlu mengimpor file CSV ke dalam database Anda.
Tujuan dari tutorial ini adalah untuk menunjukkan kepada Anda metode cepat dan sederhana untuk mengimpor file CSV ke dalam cluster Elasticsearch Anda menggunakan dasbor Kibana.”
Ayo masuk.
Persyaratan
Sebelum menyelam, pastikan Anda memiliki persyaratan berikut:
- Cluster Elasticsearch dengan status kesehatan hijau.
- Server Kibana terhubung ke cluster Elasticsearch Anda.
- Izin yang memadai untuk mengelola indeks di cluster Anda.
Contoh File CSV
Seperti biasa, persyaratan pertama adalah file CSV sumber Anda. Sebaiknya pastikan bahwa data dalam file CSV Anda diformat dengan baik dan tidak mengandung kesalahan.
Untuk tujuan ilustrasi, kami akan menggunakan kumpulan data gratis yang berisi film dan Acara TV dari Amazon Prime.
Buka browser Anda dan navigasikan ke sumber daya di bawah ini:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Ikuti prosedur untuk mengunduh kumpulan data ke mesin lokal Anda. Anda dapat mengekstrak arsip yang diunduh dengan perintah:
$ buka ritsleting a~ / Unduhan / arsip.zip
Impor File CSV
Setelah file sumber Anda siap, kami dapat melanjutkan dan mendiskusikan cara mengimpornya.
Mulailah dengan menuju ke dasbor beranda Kibana Anda dan pilih opsi 'unggah file'.
Temukan file CSV target yang ingin Anda impor di jendela peluncur.
Pilih file sumber Anda dan klik unggah.
Izinkan Elasticsearch dan Kibana untuk menganalisis file yang diunggah. Ini akan mengurai file CSV dan menentukan format data, bidang, tipe data, dll.
CATATAN: Tergantung pada konfigurasi cluster dan ukuran data Anda, proses ini mungkin memakan waktu cukup lama. Pastikan bahwa master node merespons untuk menghindari timeout.
Setelah proses selesai, Anda harus mendapatkan sampel konten file Anda dan statistik file seperti yang dianalisis oleh Elastic.
Anda dapat menyesuaikan banyak parameter, misalnya, pembatas, baris header, dll. Misalnya, kita dapat menyesuaikan output di atas untuk memberi tahu Elastic bahwa file CSV kita berisi file header.
Kami kemudian dapat mengklik terapkan dan menganalisis ulang data. Ini harus memformat data dalam format yang benar, termasuk bidang.
Selanjutnya, kita dapat mengklik impor untuk melanjutkan ke dasbor yang diimpor.
Di sini, kita perlu membuat indeks di mana data CSV disimpan. Anda dapat mengalokasikan nama apa pun yang didukung ke file index.
Jika Anda ingin menyesuaikan properti indeks Anda, seperti jumlah pecahan, replika, pemetaan, dll. Pilih opsi lanjutan dan sesuaikan pengaturan Anda sesuai keinginan hati Anda.
Terakhir, klik impor dan saksikan saat Kibana melakukan 'keajaibannya'. Setelah selesai, Anda dapat mengakses indeks Anda melalui Elasticsearch API atau menggunakan dasbor Kibana.
Dan kamu selesai!!
Kesimpulan
Dalam posting ini, kami membahas proses mengambil dan mengimpor dataset CSV Anda ke dalam cluster Elasticsearch Anda menggunakan dasbor Kibana.
Terima kasih telah membaca & Selamat coding!!