Panduan ini akan menjelaskan cara membuat crawler untuk mengambil data dari bucket S3.
Bagaimana Cara Membuat Perayap untuk Mengambil Data Dari S3 Bucket?
Untuk membuat perayap di AWS, kunjungi “ Lem AWS ” layanan dari dasbor Amazon:
Klik pada ' Database ” dari bagian Katalog Data untuk membuat database:
Klik pada ' Tambahkan basis data ” tombol untuk memulai konfigurasi:
Masukkan nama database dan biarkan semuanya apa adanya sebelum mengklik ' Buat basis data ' tombol:
Database telah berhasil dibuat:
Setelah itu, cukup menuju ke “ Perayap ” halaman dengan mengkliknya dari panel kiri:
Klik pada ' Buat perayap ' tombol:
Ketik nama perayap dan klik “ Berikutnya ' tombol:
Klik pada ' Tambahkan sumber data ” tombol untuk memilih sumber data:
Untuk memeriksa jalur penyimpanan data, kunjungi layanan S3:
Masuk ke bucket S3 tempat data diunggah. Pengguna bisa membuat ember dan mengunggah data di dalamnya dari dasbor AWS S3:
Klik pada ' Telusuri S3 ” untuk memilih jalur data:
Pilih folder yang berisi data, lalu klik tombol “ Memilih ' tombol:
Jalur S3 telah dipilih, sekarang klik “ Tambahkan sumber data S3 ' tombol:
Setelah sumber data ditambahkan, cukup klik pada “ Berikutnya ' tombol:
Tambahkan peran IAM lalu klik “ Berikutnya ' tombol:
Masukkan database target yang dibuat sebelumnya dan kemudian ketikkan nama untuk tabel:
Pilih jadwal On demand untuk crawler dan klik “ Berikutnya ' tombol:
Tinjau perayap dan klik “ Buat perayap ' tombol:
Perayap telah berhasil dibuat, klik ' Berlari ” setelah memilihnya:
Butuh beberapa saat untuk menjalankan perayap dan akan mengambil data serta membuat tabel untuk menyimpan data:
Kepala ke ' Tabel ” halaman dari dasbor Glue:
Pilih tabel dengan mengklik namanya:
Detail kisah telah ditampilkan yang berisi metadata dari data yang diambil:
Gulir ke bawah halaman dan pilih bagian untuk melihat tabel yang berisi data:
Itu semua tentang membuat crawler untuk mengambil data dari bucket S3.
Kesimpulan
Untuk membuat perayap untuk mengambil data dari bucket S3, buat database di AWS Glue tempat data yang dirayapi akan disimpan. Konfigurasikan crawler dari dasbor Glue dengan menyediakan sumber data (bucket S3) dan database target. Jalankan crawler dan ambil data dari bucket S3 ke tabel database seperti yang telah dijelaskan panduan ini secara menyeluruh.