Dimensi yang Berubah Secara Perlahan (SCD) adalah dimensi yang menyimpan dan mengelola data terkini dan historis dari waktu ke waktu di gudang data. Ini dianggap dan diterapkan sebagai salah satu tugas ETL paling penting dalam melacak sejarah catatan dimensi.
SCD2 adalah dimensi yang menyimpan dan mengelola data terkini dan historis dari waktu ke waktu di gudang data. Tujuan dari SCD2 adalah untuk melestarikan sejarah perubahan. Jika seorang pelanggan mengubah alamatnya, misalnya, atau atribut lainnya, SCD2 memungkinkan analis untuk menghubungkan fakta kembali ke pelanggan dan atributnya dalam keadaan pada saat peristiwa tersebut terjadi.
Diagram berikut mengilustrasikan skema bintang dengan tabel fakta Penjualan dan tabel dimensi Pelanggan, yang dikelola sebagai tabel SCD2.
Mari kita lihat lebih dalam skema tabel dimensi Pelanggan. Anda dapat mengategorikan kolom menjadi tiga grup berbeda:
Kunci: customer_dim_key, juga disebut kunci pengganti, memiliki nilai unik yang dihasilkan secara otomatis. Ini digunakan sebagai kunci asing untuk tabel fakta penjualan. Atribut: id_pelanggan, nama_depan, nama_belakang, kota, dan negara memiliki nilai bisnis yang digunakan dalam laporan intelijen bisnis (BI). Metadata SCD2: eff_start_date, eff_end_date, dan is_current dirancang untuk mengelola status rekaman. eff_start_date dan eff_end_date berisi interval waktu saat pencatatan efektif. Metadata: stempel waktu adalah waktu sebenarnya ketika catatan pelanggan dibuat.
Mari kita lihat kodenya untuk melihat bagaimana Anda dapat membangun kelas SCD2 kustom Anda dan menerapkan perubahan dengan cara yang cepat dan efisien. Mari kita sebut kelas ini sebagai ScdTwo.
Untuk menemukan perubahannya, kita akan menggunakan metode __get_dataframe_hash(). Metode ini akan mengembalikan gabungan hash kunci dan data. Metode ini akan digunakan untuk mendeteksi perubahan antara data saat ini dengan data baru yang masuk.
Kami memiliki metode lain yang disebut _get_changes(), yang akan menemukan catatan baru, catatan yang diperbarui, catatan yang tidak diubah, dan catatan yang dihapus. Catatan baru akan memiliki start_at yang ditetapkan sebagai waktu tanggal saat ini; catatan yang diperbarui akan memiliki waktu_akhir yang ditetapkan sebagai waktu tanggal saat ini. Catatan apa pun yang tidak diubah akan tetap tidak berubah, dan tidak ada tanggal mulai atau akhir yang akan diperbarui. Setiap catatan yang dihapus oleh sumber akan ditandai kedaluwarsa dengan tanggal akhir sebagai waktu tanggal sekarang lagi.
Di bawah ini adalah kode rinci untuk referensi Anda:
dari pyspark.sql.functions impor * kelas ScdTwo(): def __init__(mandiri, data_saat ini, perubahan_masuk, kunci, non_kunci, stempel waktu_perbarui, __END_AT_col=”__END_AT”, __START_AT_col=”__START_AT”) -> Tidak ada: mandiri.data_saat ini = data_saat ini sendiri .incoming_changes = masuk_changes self.keys = kunci self.non_keys = non_keys self.__END_AT_col = __END_AT_col self.__START_AT_col = __START_AT_col self.hashLength = 256 self.update_timestamp = update_timestamp def __get_dataframe_hash(self, df): hashed_df = (df.withColumn(“data_hash”, sha2(concat_ws('', *((col (c)) untuk c masuk self.non_keys)), self.hashLength)) .withColumn(“key_hash”, sha2(concat_ws('', *(col(c) untuk c di self.keys)), self.hashLength))) mengembalikan hashed_df.withColumn (“gabungan_hash”, concat_ws('', hashed_df.key_hash, hashed_df.data_hash)) def _get_changes(self): current_data_hash = self.__get_dataframe_hash(self.current_data) coming_changes_hash = self.__get_dataframe_hash(self.incoming_changes) current_key_hash = current_data_hash.selectExpr(“key_hash”) current_data_hash = current_data_hash.selectExpr(“data_hash”) ada_combined_hash = current_data_hash.selectExpr(“combined_hash”) new_key_hash = masuk_changes_hash.selectExpr(“key_hash”) masuk_changes_hash = masuk_changes_hash.selectExpr(“data_hash”) new_combined_hash = masuk_perubahan_hash.selectExpr(“combined_hash”) matched_combined_hash = new_combined_hash.subtract(new_combined_hash.subtract(Existing_combined_hash)) matched_data = current_data_hash.join(matched_combined_hash, “combined_hash”, “inner”) matched_key_hash = matched_data.selectExpr(“key_hash”) brand_new_key_hash = new_key_hash.subtract(current_key_hash) brand_incoming_changes = masuk_changes_hash.join(brand_new_key_hash, “key_hash”, “inner”) delete_key_hash = current_key_hash.subtract(new_key_hash) Records_marked_for_deletion = current_data_hash.join(deleted_key_hash, “key_hash”, “inner”) delete_data = catatan_marked_for_deletion.withColumn(self.__END_AT_col, expr(f”cast('{self.update_timestamp}' sebagai stempel waktu) – interval 1 milidetik”)) unmatched_key_hash = current_key_hash .kurangi(kunci_hash_baru) unmatched_data = current_data_hash.join(unmatched_key_hash, “key_hash”, “inner”) update_key_hash = (current_key_hash.join(new_key_hash, “key_hash”, “inner”)). , “batin”) expired_data_prep = current_data_hash.join(updated_key_hash,”key_hash”, “inner”) expired_data = expired_data_prep.withColumn(self.__END_AT_col, expr(f”cast('{self.update_timestamp}' sebagai stempel waktu) – interval 1 milidetik”)) kembali (matched_data.drop(“data_hash”).drop(“key_hash”).drop(“combined_hash”), brand_incoming_changes.drop(“data_hash”).drop(“key_hash”).drop(“combined_hash”), delete_data.drop (“data_hash”).drop(“key_hash”).drop(“gabungan_hash”), update_data.drop(“data_hash”).drop(“key_hash”).drop(“combined_hash”), expired_data.drop(“data_hash”).drop(“key_hash”).drop(“combined_hash”)) Kesimpulan
Menerapkan Dimensi yang Berubah Secara Perlahan Tipe 2 (SCD2) dari awal menawarkan fleksibilitas, penyesuaian, dan pemahaman mendalam tentang proses manajemen data. Meskipun membangun solusi SCD2 Anda sendiri memerlukan desain dan pengkodean yang cermat, hal ini memungkinkan logika yang disesuaikan khusus untuk kebutuhan bisnis, termasuk strategi pembaruan khusus, pelacakan historis, dan optimalisasi kinerja.
Beberapa poin penting meliputi:
Integritas data: Pelacakan historis yang akurat memastikan analisis data yang andal. Kustomisasi: Aturan khusus bisnis dapat diintegrasikan dengan lancar. Skalabilitas: Implementasi SCD2 yang dirancang dengan baik berskala dengan kumpulan data yang terus bertambah.
Namun, berhati-hatilah terhadap potensi tantangan seperti ketidakseimbangan data, hambatan kinerja, dan overhead pemeliharaan. Menggabungkan praktik terbaik seperti partisi, pengindeksan, dan pemrosesan tambahan dapat membantu mengatasi hambatan ini.
unity software
unity software information
software information
ADVERTISEMENT:
Informasi mengenai king slot
king selot
king slot
king slot
kingselot
pg king slot
merek 88
merek 88
mantan99
mantan88
maksimal88
maksimal88
liburan88
indodax88
indah99
indah88
ikn88
ibukota88
huawei88
hot888
hot88
dingin88
citra88
binance88
best99
best88
tradisional 88
tradisional 88
tombol88
tombol88
survey88
survey88
start88
start88
obatkuat88
obatkuat88
mcb88
mcb88
master99
master888
master88
live88
live88
libra88
kompresor88
kompresor88
kesimpulan88
kesimpulan88
kapasitor88
kapasitor88
kacamata88
kacamata88
jamu88
jamu88
jam88
jam88
follow88
follow88
dinamo88
dinamo88
baterai88
baterai88
miegacoan
miegacoan
gacoan
gacoan
website88
waweb88
waweb88
translate88
translate88
tempur888
tempur888
tambang99
tambang99
support88
support88
support88
sogoslot88
siap88
siap88
rog88
rog77
pt88
pt88
pln88
pln88
oke99
oke88
mining88
livechat88
livechat88
listrik88
listrik88
listrik88
freeport88
freeport88
free88
free88
domain88
domain88
dokter888
dokter888
bmkg88
bmkg88
asn88
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama https://merek88.net/
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama https://merek88.com/
mantan99 permainan paling top dan garansi imbal balik hasil besar bersama https://mantan99.asia/
mantan88 permainan paling top dan garansi imbal balik hasil besar bersama https://mantan88.asia/
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama https://maksimal88.biz/
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama https://maksimal88.asia/
liburan88 permainan paling top dan garansi imbal balik hasil besar bersama https://liburan88.com/
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama https://indodax88.org/
indah99 permainan paling top dan garansi imbal balik hasil besar bersama https://indah99.asia/
indah88 permainan paling top dan garansi imbal balik hasil besar bersama https://indah88.asia/
ikn88 permainan paling top dan garansi imbal balik hasil besar bersama https://ikn88.asia/
ibukota88 permainan paling top dan garansi imbal balik hasil besar bersama https://ibukota88.com/
huawei88 permainan paling top dan garansi imbal balik hasil besar bersama https://huawei88.asia/
hot888 permainan paling top dan garansi imbal balik hasil besar bersama https://hot888.asia/
hot88 permainan paling top dan garansi imbal balik hasil besar bersama https://hot88.sale/
dingin88 permainan paling top dan garansi imbal balik hasil besar bersama https://dingin88.net/
citra88 permainan paling top dan garansi imbal balik hasil besar bersama https://citra88.asia/
binance88 permainan paling top dan garansi imbal balik hasil besar bersama https://binance88.net/
best99 permainan paling top dan garansi imbal balik hasil besar bersama https://best99.info/
best88 permainan paling top dan garansi imbal balik hasil besar bersama https://best88.asia/
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama https://tradisional88.net/
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama https://tradisional88.com/
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama https://tombol88.org/
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama https://tombol88.net/
survey88 permainan paling top dan garansi imbal balik hasil besar bersama https://survey88.net/
survey88 permainan paling top dan garansi imbal balik hasil besar bersama https://survey88.com/
start88 permainan paling top dan garansi imbal balik hasil besar bersama https://start88.org/
start88 permainan paling top dan garansi imbal balik hasil besar bersama https://start88.asia/
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama https://obatkuat88.net/
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama https://obatkuat88.com/
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama https://mcb88.info/
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama https://mcb88.asia/
master99 permainan paling top dan garansi imbal balik hasil besar bersama https://master99.biz/
master888 permainan paling top dan garansi imbal balik hasil besar bersama https://master888.asia/
master88 permainan paling top dan garansi imbal balik hasil besar bersama https://master88.asia/
live88 permainan paling top dan garansi imbal balik hasil besar bersama https://live88.bio/
live88 permainan paling top dan garansi imbal balik hasil besar bersama https://live88.asia/
libra88 permainan paling top dan garansi imbal balik hasil besar bersama https://libra88.net/
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kompresor88.net/
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kompresor88.com/
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama https://kesimpulan88.net/
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama https://kesimpulan88.com/
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kapasitor88.net/
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kapasitor88.com/
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama https://kacamata88.net/
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama https://kacamata88.com/
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama https://jamu88.info/
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama https://jamu88.asia/
jam88 permainan paling top dan garansi imbal balik hasil besar bersama https://jam88.info/
jam88 permainan paling top dan garansi imbal balik hasil besar bersama https://jam88.asia/
follow88 permainan paling top dan garansi imbal balik hasil besar bersama https://follow88.org/
follow88 permainan paling top dan garansi imbal balik hasil besar bersama https://follow88.net/
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama https://dinamo88.net/
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama https://dinamo88.info/
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama https://baterai88.net/
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama https://baterai88.com/
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama https://miegacoan.life/
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama https://miegacoan.asia/
gacoan permainan paling top dan garansi imbal balik hasil besar bersama https://gacoan.org/
gacoan permainan paling top dan garansi imbal balik hasil besar bersama https://gacoan.asia/
website88 permainan paling top dan garansi imbal balik hasil besar bersama https://website88.org/
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama https://waweb88.net/
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama https://waweb88.com/
translate88 permainan paling top dan garansi imbal balik hasil besar bersama https://translate88.net/
translate88 permainan paling top dan garansi imbal balik hasil besar bersama https://translate88.com/
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama https://tempur888.info/
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama https://tempur888.asia/
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama https://tambang99.news/
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama https://tambang99.asia/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.org/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.net/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.asia/
sogoslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://sogoslot88.asia/
siap88 permainan paling top dan garansi imbal balik hasil besar bersama https://siap88.news/
siap88 permainan paling top dan garansi imbal balik hasil besar bersama https://siap88.asia/
rog88 permainan paling top dan garansi imbal balik hasil besar bersama https://rog88.asia/
rog77 permainan paling top dan garansi imbal balik hasil besar bersama https://rog77.info/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.info/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.asia/
pln88 permainan paling top dan garansi imbal balik hasil besar bersama https://pln88.biz/
pln88 permainan paling top dan garansi imbal balik hasil besar bersama https://pln88.asia/
oke99 permainan paling top dan garansi imbal balik hasil besar bersama https://oke99.asia/
oke88 permainan paling top dan garansi imbal balik hasil besar bersama https://oke88.asia/
mining88 permainan paling top dan garansi imbal balik hasil besar bersama https://mining88.org/
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama https://livechat88.info/
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama https://livechat88.asia/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.org/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.info/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.asia/
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama https://freeport88.net/
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama https://freeport88.com/
free88 permainan paling top dan garansi imbal balik hasil besar bersama https://free88.org/
free88 permainan paling top dan garansi imbal balik hasil besar bersama https://free88.asia/
domain88 permainan paling top dan garansi imbal balik hasil besar bersama https://domain88.org/
domain88 permainan paling top dan garansi imbal balik hasil besar bersama https://domain88.asia/
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama https://dokter888.net/
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama https://dokter888.asia/
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama https://bmkg88.net/
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama https://bmkg88.com/
asn88 permainan paling top dan garansi imbal balik hasil besar bersama https://asn88.org/
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah king slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru
