Panduan ini akan menjelaskan perayap daftar di AWS.
Apa itu Perayap Daftar di AWS?
Perayap adalah komponen AWS Glue yang digunakan untuk merayapi lokasi data dan menyimpulkan informasi itu kembali ke katalog. Informasi yang dikumpulkan perayap dapat berupa tipe data dari data, struktur skema, atau dengan kata lain, ia mengumpulkan metadata. Perayap juga dapat digunakan dengan Katalog data yang digunakan saat data dipindahkan di dalam ekosistem Glue saat menggunakan pekerjaan ETL, dll.
Apa itu Layanan Lem Amazon?
AWS Glue adalah layanan Amazon Extract Transform and Load yang memungkinkan pengguna mengatur, menemukan, memindahkan, dan mengubah semua data. AWS Glue tidak memiliki server karena pengguna tidak perlu menyediakan dan mengonfigurasi server atau mengelola siklus hidup. Katalog dan perayap data adalah komponen dari AWS Glue yang bertindak sebagai penyimpanan metadata persisten:
Bagaimana Cara Membuat Perayap di AWS?
Untuk membuat perayap di AWS, kunjungi layanan AWS Glue dari AWS Management Console:
Kepala ke ' Perayap ” halaman dengan mengklik namanya dari panel kiri:
Klik pada ' Buat perayap ' tombol:
Ketik nama perayap dan klik “ Berikutnya ' tombol:
Pilih opsi pemetaan untuk tabel lem dan klik “ Tambahkan sumber ” tombol untuk mendapatkan data dari:
Pilih layanan S3 dan klik “ Telusuri S3 ” tombol untuk mendapatkan lokasi sumber:
Cukup pilih folder S3 dan klik “ Memilih ' tombol:
Setelah lokasi ditambahkan ke sumber, cukup klik ' Tambahkan sumber data S3 ' tombol:
Klik pada ' Berikutnya ' tombol:
Klik pada ' Buat peran IAM baru ' tombol dari ' Konfigurasikan pengaturan keamanan ' bagian:
Masukkan nama peran dan klik ' Membuat ' tombol:
Setelah itu, cukup klik “ Berikutnya ' tombol:
Pilih database target dan ketikkan nama yang akan digunakan untuk tabel:
Jadwalkan perayap untuk “ Sesuai permintaan ” dan klik pada “ Berikutnya ' tombol:
Tinjau konfigurasi dan klik “ Buat perayap ' tombol:
Perayap telah berhasil dibuat dan dapat digunakan untuk mengambil data dari sumber dengan mengeklik tombol “ Berlari ' tombol:
Itu semua tentang perayap daftar di AWS.
Kesimpulan
ListCrawler adalah komponen layanan AWS Glue yang dapat digunakan untuk merayapi informasi dari sumber dan kembali ke katalog. Katalog dan perayap data dapat digunakan untuk mengumpulkan data untuk mendapatkan informasi tentang data yang dikenal sebagai metadata. Pengguna juga dapat membuat perayap dari AWS Glue untuk mendapatkan data dari layanan S3 atau sumber lain dan menempatkan pembuatan tabel di database. Panduan ini telah menjelaskan ListCrawlers di AWS dan cara membuatnya.