Glue Crawler mencampur schema kalau isi folder beda bentuk

Kejadiannya

Saya mengarahkan Glue Crawler ke folder S3 berisi dua layout CSV yang berbeda. Hasilnya satu tabel dengan campuran kolom dari keduanya.

Pelajarannya

Crawler menganggap satu folder sebagai satu tabel. File yang strukturnya beda wajib tinggal di folder yang beda, kalau tidak Data Catalog ikut berantakan.

Aturan yang saya pegang

Satu folder, satu schema, satu layout. Rapi sejak awal, atau mahal betulinnya belakangan.