Big data telah berkembang secara signifikan sejak diperkenalkan pada akhir tahun 2000an. Banyak organisasi dengan cepat beradaptasi dengan tren ini dan membangun platform data besar mereka menggunakan alat sumber terbuka seperti Apache Hadoop. Belakangan, perusahaan-perusahaan ini mulai menghadapi kesulitan dalam mengelola kebutuhan pemrosesan data yang berkembang pesat. Mereka menghadapi tantangan dalam menangani perubahan tingkat skema, evolusi skema partisi, dan kembali ke masa lalu untuk melihat data.
Saya menghadapi tantangan serupa saat merancang sistem terdistribusi berskala besar pada tahun 2010-an untuk perusahaan teknologi besar dan pelanggan layanan kesehatan. Beberapa industri memerlukan kemampuan ini untuk mematuhi peraturan perbankan, keuangan, dan layanan kesehatan. Perusahaan-perusahaan besar yang berbasis data seperti Netflix juga menghadapi tantangan serupa. Mereka menemukan format tabel yang disebut “Iceberg”, yang berada di atas file data yang ada dan memberikan fitur-fitur utama dengan memanfaatkan arsitekturnya. Ini dengan cepat menjadi proyek ASF teratas karena mendapatkan minat yang besar dalam komunitas data. Saya akan menjelajahi 5 fitur utama Apache Iceberg di artikel ini dengan contoh dan diagram.
1. Perjalanan Waktu
Gambar 1: Perjalanan waktu dalam format tabel Apache Iceberg (gambar dibuat oleh penulis)
Fitur ini memungkinkan Anda menanyakan data Anda sebagaimana adanya kapan saja. Hal ini akan membuka kemungkinan baru bagi analis data dan bisnis untuk memahami tren dan bagaimana data berkembang seiring waktu. Anda dapat dengan mudah mengembalikan ke keadaan sebelumnya jika terjadi kesalahan. Fitur ini juga memfasilitasi pemeriksaan audit dengan memungkinkan Anda menganalisis data pada titik waktu tertentu.
— perjalanan waktu ke 5 Oktober 1978 pukul 07:00:00 SELECT * FROM prod.retail.cusotmers TIMESTAMP AS OF '1978-10-05 07:00:00'; — perjalanan waktu menggunakan ID snapshot tertentu: SELECT * FROM prod.retail.customers VERSON AS OF 949530903748831869; 2. Evolusi Skema
Evolusi skema Apache Iceberg memungkinkan perubahan pada skema Anda tanpa usaha besar atau migrasi yang mahal. Seiring berkembangnya kebutuhan bisnis Anda, Anda dapat:
Tambahkan dan hapus kolom tanpa waktu henti atau penulisan ulang tabel. Perbarui kolom (pelebaran). Ubah urutan kolom. Ganti nama kolom yang ada.
Perubahan ini ditangani pada tingkat metadata tanpa perlu menulis ulang data yang mendasarinya.
— menambahkan kolom baru ke tabel ALTER TABLE prod.retail.customers ADD COLUMNS (email_address STRING); — menghapus kolom yang ada dari tabel ALTER TABLE prod.retail.customers DROP COLUMN num_of_years; — ganti nama kolom yang ada ALTER TABLE prod.retail.customers UBAH KOLOM email_address KE email; — gunung es memungkinkan pembaruan tipe kolom dari int ke bigint, float ke double ALTER TABLE prod.retail.customers ALTER COLUMN customer_id TYPE bigint; 3. Evolusi Partisi
Dengan menggunakan format tabel Apache Iceberg, Anda dapat mengubah strategi partisi tabel tanpa menulis ulang tabel pokok atau memigrasikan data ke tabel baru. Hal ini dimungkinkan karena kueri tidak mereferensikan nilai partisi secara langsung seperti di Apache Hadoop. Iceberg menyimpan informasi metadata untuk setiap versi partisi secara terpisah. Hal ini memudahkan untuk melakukan pemisahan saat menanyakan data. Misalnya, membuat kueri tabel berdasarkan rentang tanggal, sedangkan tabel menggunakan bulan sebagai kolom partisi (sebelum) sebagai satu pemisahan dan hari sebagai kolom partisi baru (setelah) sebagai pemisahan lainnya. Ini disebut perencanaan terpisah. Lihat contoh di bawah ini.
— membuat tabel pelanggan yang dipartisi berdasarkan bulan dari tanggal_pembuatan awalnya CREATE TABLE local.retail.customer ( id BIGINT, nama STRING, STRING jalan, STRING kota, STRING negara bagian, tanggal_pembuatan TANGGAL MENGGUNAKAN gunung es PARTITIONED BY (bulan(tanggal_buat)); — masukkan beberapa data ke dalam tabel INSERT INTO local.retail.customer VALUES (1, 'Alice', '123 Maple St', 'Springfield', 'IL', TANGGAL('10-01-2024')), (2, 'Bob', '456 Oak St', 'Salem', 'ATAU', TANGGAL('15-02-2024' )), (3, 'Charlie', '789 Pine St', 'Austin', 'TX', DATE('20-02-2024') — mengubah partisi skema dari bulan ke tanggal ALTER TABLE local.retail.customer REPLACE PARTITION FIELD bulan(tanggal_buat) DENGAN hari(tanggal_buat); — masukkan beberapa catatan lagi INSERT INTO local.retail.customer VALUES (4, 'David', '987 Elm St.) ', 'Portland', 'ME', TANGGAL('2024-03-01')), (5, 'Eve', '654 Birch St', 'Miami', 'FL', DATE('2024-03-02')); — pilih semua kolom dari tabel SELECT * FROM local.retail.customer WHERE create_date BETWEEN DATE('2024-01-01 ') DAN TANGGAL('31-03-2024'); — keluaran 1 Alice 123 Maple St Springfield IL 10-01-2024 5 Eve 654 Birch St Miami FL 02-03-2024 4 David 987 Elm St Portland ME 01-03-2024 2 Bob 456 Oak St Salem ATAU 02-2024- 15 3 Charlie 789 Pinus St Austin TX 20-02-2024 — Lihat detail partisi PILIH partisi, jalur_file, jumlah_catatan DARI file lokal.retail.pelanggan. — keluaran {“create_date_month”:null,”create_date_day”:2024-03-02} /Users/rellaturi/warehouse/retail/customer/data/create_date_day=2024-03-02/00000-6-ae2fdf0d-5567-4c77-9bd1-a5d9f6c83dfe-0-00002.parquet 1 {“create_date_month”:null,”create_date_day”:01-03-2024 /Pengguna/rvellaturi/warehouse/retail/customer/data/create_date_day=2024-03-01/00000-6-ae2fdf0d-5567-4c77-9bd1-a5d9f6c83dfe-0-00001.parquet 1 {“create_date_month”:648,”create_date_day “:batal} /Pengguna/rvellaturi/warehouse/retail/customer/data/create_date_month=2024-01/00000-3-64c8b711-f757-45b4-828f-553ae9779d14-0-00001.parquet 1 {“create_date_month”:649,”create_date_day”: batal} /Users/rvellaturi/warehouse/retail/customer/data/create_date_month=2024-02/00000-3-64c8b711-f757-45b4-828f-553ae9779d14-0-00002.parquet 2 4. Transaksi ACID
Iceberg memberikan dukungan kuat untuk transaksi dalam hal Atomicity, Consistency, Isolation, dan Durability (ACID). Hal ini memungkinkan beberapa operasi penulisan bersamaan, yang akan memungkinkan throughput tinggi dalam pekerjaan intensif data yang berat tanpa mengorbankan konsistensi data.
— Memulai transaksi MULAI TRANSAKSI; — Masukkan catatan baru MASUKKAN KE NILAI pelanggan (1, 'John'), (2, 'Mike'); — Perbarui catatan yang ada UPDATE pelanggan SET kolom1 = 'Josh' WHERE id = 1; — Hapus catatan HAPUS DARI pelanggan WHERE id = 2; — Melakukan transaksi COMMIT;
Semua operasi di Iceberg bersifat transaksional, artinya data tetap konsisten meskipun terjadi kegagalan atau modifikasi pada data secara bersamaan.
— Pembaruan atom di beberapa tabel MULAI TRANSAKSI; UPDATE pesanan SET status=”diproses” WHERE order_id = 100; MASUKKAN KE dalam pesanan_diproses PILIH * DARI pesanan WHERE order_id = 100; MELAKUKAN;
Ini juga mendukung tingkat isolasi yang berbeda, yang memungkinkan Anda menyeimbangkan kinerja dan konsistensi berdasarkan kebutuhan.
— Menetapkan tingkat isolasi (sintaks dapat bervariasi tergantung pada mesin kueri) SET TINGKAT ISOLASI TRANSAKSI SERIALISASI; — Lakukan operasi SELECT * FROM pelanggan WHERE id = 1; PERBARUI pelanggan SET rec_status=”updated” WHERE id = 1; MELAKUKAN;
Berikut adalah ringkasan yang menunjukkan bagaimana Iceberg menangani pembaruan dan penghapusan tingkat baris.
Gambar 2: Proses penghapusan catatan di Apache Iceberg (gambar dibuat oleh penulis)
5. Operasi Tabel Tingkat Lanjut
Iceberg mendukung operasi tabel tingkat lanjut seperti:
Membuat/mengelola snapshot tabel: Ini memberikan kemampuan untuk memiliki kontrol versi yang kuat. Perencanaan dan eksekusi kueri yang cepat dengan metadata yang sangat optimal. Alat bawaan untuk pemeliharaan tabel, seperti pemadatan dan pembersihan file yatim piatu
Iceberg dirancang untuk bekerja dengan semua penyimpanan cloud utama, seperti AWS S3, GCS, dan Azure Blob Storage. Selain itu, Iceberg terintegrasi dengan mudah dengan mesin pengolah data seperti Spark, Presto, Trino, dan Hive.
Pikiran Terakhir
Fitur-fitur unggulan ini memungkinkan perusahaan untuk membangun data lake yang modern, fleksibel, terukur, dan efisien, yang dapat melakukan perjalanan waktu, menangani perubahan skema dengan mudah, mendukung transaksi ACID, dan evolusi partisi.
unity software
unity software information
software information
ADVERTISEMENT:
Informasi mengenai king slot
king selot
king slot
king slot
kingselot
pg king slot
merek 88
merek 88
mantan99
mantan88
maksimal88
maksimal88
liburan88
indodax88
indah99
indah88
ikn88
ibukota88
huawei88
hot888
hot88
dingin88
citra88
binance88
best99
best88
tradisional 88
tradisional 88
tombol88
tombol88
survey88
survey88
start88
start88
obatkuat88
obatkuat88
mcb88
mcb88
master99
master888
master88
live88
live88
libra88
kompresor88
kompresor88
kesimpulan88
kesimpulan88
kapasitor88
kapasitor88
kacamata88
kacamata88
jamu88
jamu88
jam88
jam88
follow88
follow88
dinamo88
dinamo88
baterai88
baterai88
miegacoan
miegacoan
gacoan
gacoan
website88
waweb88
waweb88
translate88
translate88
tempur888
tempur888
tambang99
tambang99
support88
support88
support88
sogoslot88
siap88
siap88
rog88
rog77
pt88
pt88
pln88
pln88
oke99
oke88
mining88
livechat88
livechat88
listrik88
listrik88
listrik88
freeport88
freeport88
free88
free88
domain88
domain88
dokter888
dokter888
bmkg88
bmkg88
asn88
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama https://merek88.net/
merek 88 permainan paling top dan garansi imbal balik hasil besar bersama https://merek88.com/
mantan99 permainan paling top dan garansi imbal balik hasil besar bersama https://mantan99.asia/
mantan88 permainan paling top dan garansi imbal balik hasil besar bersama https://mantan88.asia/
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama https://maksimal88.biz/
maksimal88 permainan paling top dan garansi imbal balik hasil besar bersama https://maksimal88.asia/
liburan88 permainan paling top dan garansi imbal balik hasil besar bersama https://liburan88.com/
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama https://indodax88.org/
indah99 permainan paling top dan garansi imbal balik hasil besar bersama https://indah99.asia/
indah88 permainan paling top dan garansi imbal balik hasil besar bersama https://indah88.asia/
ikn88 permainan paling top dan garansi imbal balik hasil besar bersama https://ikn88.asia/
ibukota88 permainan paling top dan garansi imbal balik hasil besar bersama https://ibukota88.com/
huawei88 permainan paling top dan garansi imbal balik hasil besar bersama https://huawei88.asia/
hot888 permainan paling top dan garansi imbal balik hasil besar bersama https://hot888.asia/
hot88 permainan paling top dan garansi imbal balik hasil besar bersama https://hot88.sale/
dingin88 permainan paling top dan garansi imbal balik hasil besar bersama https://dingin88.net/
citra88 permainan paling top dan garansi imbal balik hasil besar bersama https://citra88.asia/
binance88 permainan paling top dan garansi imbal balik hasil besar bersama https://binance88.net/
best99 permainan paling top dan garansi imbal balik hasil besar bersama https://best99.info/
best88 permainan paling top dan garansi imbal balik hasil besar bersama https://best88.asia/
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama https://tradisional88.net/
tradisional 88 permainan paling top dan garansi imbal balik hasil besar bersama https://tradisional88.com/
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama https://tombol88.org/
tombol88 permainan paling top dan garansi imbal balik hasil besar bersama https://tombol88.net/
survey88 permainan paling top dan garansi imbal balik hasil besar bersama https://survey88.net/
survey88 permainan paling top dan garansi imbal balik hasil besar bersama https://survey88.com/
start88 permainan paling top dan garansi imbal balik hasil besar bersama https://start88.org/
start88 permainan paling top dan garansi imbal balik hasil besar bersama https://start88.asia/
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama https://obatkuat88.net/
obatkuat88 permainan paling top dan garansi imbal balik hasil besar bersama https://obatkuat88.com/
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama https://mcb88.info/
mcb88 permainan paling top dan garansi imbal balik hasil besar bersama https://mcb88.asia/
master99 permainan paling top dan garansi imbal balik hasil besar bersama https://master99.biz/
master888 permainan paling top dan garansi imbal balik hasil besar bersama https://master888.asia/
master88 permainan paling top dan garansi imbal balik hasil besar bersama https://master88.asia/
live88 permainan paling top dan garansi imbal balik hasil besar bersama https://live88.bio/
live88 permainan paling top dan garansi imbal balik hasil besar bersama https://live88.asia/
libra88 permainan paling top dan garansi imbal balik hasil besar bersama https://libra88.net/
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kompresor88.net/
kompresor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kompresor88.com/
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama https://kesimpulan88.net/
kesimpulan88 permainan paling top dan garansi imbal balik hasil besar bersama https://kesimpulan88.com/
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kapasitor88.net/
kapasitor88 permainan paling top dan garansi imbal balik hasil besar bersama https://kapasitor88.com/
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama https://kacamata88.net/
kacamata88 permainan paling top dan garansi imbal balik hasil besar bersama https://kacamata88.com/
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama https://jamu88.info/
jamu88 permainan paling top dan garansi imbal balik hasil besar bersama https://jamu88.asia/
jam88 permainan paling top dan garansi imbal balik hasil besar bersama https://jam88.info/
jam88 permainan paling top dan garansi imbal balik hasil besar bersama https://jam88.asia/
follow88 permainan paling top dan garansi imbal balik hasil besar bersama https://follow88.org/
follow88 permainan paling top dan garansi imbal balik hasil besar bersama https://follow88.net/
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama https://dinamo88.net/
dinamo88 permainan paling top dan garansi imbal balik hasil besar bersama https://dinamo88.info/
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama https://baterai88.net/
baterai88 permainan paling top dan garansi imbal balik hasil besar bersama https://baterai88.com/
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama https://miegacoan.life/
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama https://miegacoan.asia/
gacoan permainan paling top dan garansi imbal balik hasil besar bersama https://gacoan.org/
gacoan permainan paling top dan garansi imbal balik hasil besar bersama https://gacoan.asia/
website88 permainan paling top dan garansi imbal balik hasil besar bersama https://website88.org/
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama https://waweb88.net/
waweb88 permainan paling top dan garansi imbal balik hasil besar bersama https://waweb88.com/
translate88 permainan paling top dan garansi imbal balik hasil besar bersama https://translate88.net/
translate88 permainan paling top dan garansi imbal balik hasil besar bersama https://translate88.com/
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama https://tempur888.info/
tempur888 permainan paling top dan garansi imbal balik hasil besar bersama https://tempur888.asia/
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama https://tambang99.news/
tambang99 permainan paling top dan garansi imbal balik hasil besar bersama https://tambang99.asia/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.org/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.net/
support88 permainan paling top dan garansi imbal balik hasil besar bersama https://support88.asia/
sogoslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://sogoslot88.asia/
siap88 permainan paling top dan garansi imbal balik hasil besar bersama https://siap88.news/
siap88 permainan paling top dan garansi imbal balik hasil besar bersama https://siap88.asia/
rog88 permainan paling top dan garansi imbal balik hasil besar bersama https://rog88.asia/
rog77 permainan paling top dan garansi imbal balik hasil besar bersama https://rog77.info/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.info/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.asia/
pln88 permainan paling top dan garansi imbal balik hasil besar bersama https://pln88.biz/
pln88 permainan paling top dan garansi imbal balik hasil besar bersama https://pln88.asia/
oke99 permainan paling top dan garansi imbal balik hasil besar bersama https://oke99.asia/
oke88 permainan paling top dan garansi imbal balik hasil besar bersama https://oke88.asia/
mining88 permainan paling top dan garansi imbal balik hasil besar bersama https://mining88.org/
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama https://livechat88.info/
livechat88 permainan paling top dan garansi imbal balik hasil besar bersama https://livechat88.asia/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.org/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.info/
listrik88 permainan paling top dan garansi imbal balik hasil besar bersama https://listrik88.asia/
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama https://freeport88.net/
freeport88 permainan paling top dan garansi imbal balik hasil besar bersama https://freeport88.com/
free88 permainan paling top dan garansi imbal balik hasil besar bersama https://free88.org/
free88 permainan paling top dan garansi imbal balik hasil besar bersama https://free88.asia/
domain88 permainan paling top dan garansi imbal balik hasil besar bersama https://domain88.org/
domain88 permainan paling top dan garansi imbal balik hasil besar bersama https://domain88.asia/
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama https://dokter888.net/
dokter888 permainan paling top dan garansi imbal balik hasil besar bersama https://dokter888.asia/
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama https://bmkg88.net/
bmkg88 permainan paling top dan garansi imbal balik hasil besar bersama https://bmkg88.com/
asn88 permainan paling top dan garansi imbal balik hasil besar bersama https://asn88.org/
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah king slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru
