Veri ambarı (data warehouse), temizlenmiş ve yapılandırılmış veriyi SQL ile raporlamaya uygun tablolarda tutar ve verinin yapısını yükleme sırasında kontrol eder (schema-on-write). Veri gölü (data lake) ise veritabanı dökümleri, JSON olay kayıtları, loglar, PDF'ler ve görseller gibi her türden ham dosyayı nesne depolamada ucuza saklar; yapı ancak veri okunurken uygulanır (schema-on-read). Asıl ihtiyacınız herkesin güvenebileceği raporlarsa veri ambarı kurun. Ham ya da yapılandırılmamış veriyi saklamanız veya makine öğrenmesini beslemeniz gerekiyorsa ve bu hacmi ambarda tutmak pahalıya geliyorsa, yanına bir veri gölü ekleyin.
Açıkçası küçük ekiplerin çoğu için doğru cevap "şimdilik yalnızca veri ambarı", bazıları için de "PostgreSQL yeter".
Bir bakışta farklar
| Veri ambarı | Veri gölü |
|---|---|---|
İçine ne girer | Temizlenmiş, modellenmiş tablolar (yeni ürünlerde JSON sütunları da) | Orijinal biçimindeki ham dosyalar: CSV, JSON, Parquet, loglar, belgeler, görseller |
Yapı ne zaman uygulanır | Yüklerken (schema-on-write) | Okurken (schema-on-read) |
Veri nerede durur | Ambar ürününün içinde: BigQuery, Snowflake, Redshift | Nesne depolamada: Amazon S3, Google Cloud Storage, Azure Data Lake Storage |
Kim kullanır | Analistler, finans ekibi, BI panoları | Veri mühendisleri, veri bilimciler, makine öğrenmesi pipeline'ları |
Para nereye gider | Sorguların işlem gücüne (taranan bayt ya da çalışma süresi) | Depolama ucuz; para sorgu motorlarına ve düzeni koruyan insanlara gider |
Nasıl bozulur | Her yeni kaynak önce modelleme ister, ekipler CSV indirip etrafından dolaşmaya başlar | Kimsenin güvenmediği bir "veri bataklığına" dönüşür |
Tablonun göstermediği bir şey var: ikisi arasındaki çizgi bulanıklaştı. BigQuery ve Snowflake nesne depolamadaki dosyaları doğrudan sorgulayabiliyor, açık tablo formatları da bir veri gölünü veri ambarı gibi kullanılabilir hale getiriyor. Bu birleşime lakehouse deniyor (Türkçe kaynaklarda "veri gölü evi" diye de geçiyor); aşağıda ayrı bir başlıkta ele alıyoruz.
Veri ambarı ne işe yarar?
Veri ambarı, nasıl kullanılacağına önceden karar verdiğiniz veriyi tutar. Sütunların tipi bellidir ve tablolar genellikle iş sorularına göre modellenir: ortada siparişlerin ya da ödemelerin tutulduğu bir olgu (fact) tablosu, etrafında müşteri, ürün ve tarih gibi boyut (dimension) tabloları. Yapı yüklemede kontrol edildiği için hatalı bir tarih, gelecek ayın ciro grafiğini sessizce bozmaz; yükleme hata verir.
Ambarın asıl değeri burada: bir rakamın doğru olduğunu kontrol edip gösterebileceğiniz yer orası. Hamburg merkezli kupon şirketi Savings United, satış ortaklığı (affiliate) ağları üzerinden komisyon kazanıyor ve her ağdan gelen ödeme verisi veri ambarıyla tutmadan raporlara güvenilemiyor. Kıdemli veri mühendisimiz 2020-2024 arasında şirketin BI ekibinde çalıştı ve bu karşılaştırmayı otomatikleştirdi: önce CJ ve Awin, sonra CJ, eBay ve Impact ödemeleri için. Tradedoubler ödeme verisinin ham veriden ara katmana (staging), oradan ambara ve Looker'a uzanan hattını da biz dokümante ettik. 2024'te de maliyet olgu tablosunun SQL Server'dan BigQuery'ye taşınmasını doğruladık.
Seçim yapmadan önce bilinmesi gereken iki nokta:
- "Veri ambarı yalnızca yapılandırılmış veri tutar" bilgisi eskidi. Snowflake'te VARIANT, BigQuery'de JSON tipi var; yarı yapılandırılmış olay verisi düzleştirilmeden ambara girebiliyor.
- Bulut ambarlarında depolama ve işlem gücü ayrı faturalanır, faturayı büyüten de işlem gücüdür. Ne kadar hızlı büyüdüğünü maliyet bölümünde gösteriyoruz.
Yaygın seçenekler Google BigQuery, Snowflake ve Amazon Redshift. Küçük bir ekipseniz ayrı bir analitik şeması (ya da okuma replikası) olan bir PostgreSQL ve dönüşümler için dbt, en büyük tablolarınızdaki sorgular yavaşlayana kadar veri ambarı işini gayet iyi görür.
Veri gölü ne işe yarar?
Veri gölü, nesne depolamada açık formatlarda dosyalar tutan bir ya da birkaç bucket ile bu dosyaların ne olduğunu kaydeden bir katalogdan oluşur. Depolama ucuzdur: Amazon S3 Standard, us-east-1 bölgesinde ilk 50 TB için GB başına aylık 0,023 dolar tutuyor. Göle yazılmadan önce hiçbir şeyin modellenmesi gerekmez ve aynı dosyaları birçok motor okuyabilir: Spark, Trino, DuckDB, Amazon Athena, harici tablolar (external table) üzerinden de BigQuery ve Snowflake.
Şu durumlarda işinize yarar:
- Ham geçmişi, henüz yazmadığınız bir mantıkla ileride yeniden işlemek için saklamanız gerekiyorsa.
- Veri zaten dosya biçimindeyse: PDF, görsel, ses kaydı, sensör dökümü.
- Ambar fiyatıyla saklamaya değmeyecek hacimde olay ya da log verisi topluyorsanız.
- Veri bilimcilerin, analistlerin özet tablolarında kaybolan ham kayıtlara ihtiyacı varsa.
Küçük ekipler en çok ilk maddeyi hafife alıyor. Tribute Technology için geliştirdiğimiz veri taşıma platformunda cenaze evlerinin eski sistemlerinden gelen veri (MSSQL yedekleri, MySQL veritabanları, CSV, JSON ve XML) önce ham haliyle MongoDB'ye yazılıyordu. Tribute çalışanları alanları sürümlü eşlemelerle (mapping) dönüştürüyor, bir eşlemeyi kopyalayıp yeniden çalıştırabiliyor ve sonucu dışa aktarmadan önce onaylıyor ya da reddediyordu. Veri gölü fikrinin küçük ölçekteki hali bu: dokunulmamış ham kopya durduğu sürece hatalı bir eşlemeyi düzeltmek için kaynak sisteme geri dönmeniz gerekmez, eşlemeyi düzeltip yeniden çalıştırırsınız.
Veri gölü nasıl bataklığa döner?
Veri gölü sessizce bozulur. Uyarı işaretleri şunlar:
- Gerçek sipariş verisinin hangi klasörde olduğunu kimse söyleyemiyor, farklı tarihli üç kopya dolaşıyor.
- Dosyalar tarihe ya da sık kullanılan başka bir alana göre bölümlenmediği (partitioning) için her sorgu bütün bucket'ı okuyor.
- Çoğunlukla akış (streaming) işlerinin yazdığı milyonlarca küçük dosya her sorguyu yavaşlatıyor.
- Kişisel veri ham dosyalarda duruyor ve tek bir kişinin kayıtlarını silmenin, dosyaları baştan yazmaktan başka yolu yok.
Çözümler sıkıcı ama işe yarıyor: her veri setinin belirli bir sorumlusu olduğu bir katalog (AWS Glue, Unity Catalog ya da platformunuz ne sunuyorsa), sabit bir klasör ve bölümleme düzeni, küçük dosyaları birleştiren compaction işleri ve ham verinin bir kez yazılıp asla elle düzeltilmemesi kuralı. Sahiplik tarafını veri yönetişimi yazımızda anlatıyoruz.
Lakehouse: göl depolaması üzerinde ambar tabloları
Lakehouse, veriyi nesne depolamada açık dosyalar olarak tutar ve üzerine bir tablo katmanı ekler; böylece veri, ambardaki gibi sorgulanabilir ve güncellenebilir. Bu katman açık bir tablo formatıdır: Apache Iceberg, Delta Lake ya da Apache Hudi. Format, bir tablonun hangi veri dosyalarından (çoğunlukla Parquet) oluştuğunu takip eder; işlem (transaction) desteği, şema değişikliği, satır düzeyinde güncelleme ve silme, tablonun eski sürümlerini sorgulama (time travel) gibi özellikler ekler.
Son iki yılda değişen şey, büyük motorların Iceberg'de buluşması oldu. Spark, Trino ve Flink Iceberg tablolarını okuyup yazabiliyor; Snowflake, BigQuery, Athena ve Databricks de Iceberg tablolarını destekliyor. Böylece aynı veri, her motor için ayrı bir kopya tutulmadan birden fazla motordan sorgulanabiliyor.
Lakehouse projelerinde veri genellikle katmanlara ayrılır. Databricks bu düzene madalyon mimarisi (medallion architecture) diyor: ham veri için bronz, temizlenip doğrulanmış veri için gümüş, panoları ve modelleri besleyen, çoğu zaman boyutsal modelle kurulan rafine tablolar için altın katman. Bu düzen, yukarıdaki Savings United ödeme hattındaki ham veri, ara katman ve ambar sıralamasıyla aynı; değişen yalnızca isimler.
Lakehouse ancak veriniz büyükse, analistlerle veri bilimciler aynı veri üzerinde çalışıyorsa ve tablo bakımını (compaction, eski snapshot'ların temizlenmesi, yetkiler) işinin parçası sayan en az bir mühendisiniz varsa karşılığını verir. Birkaç yüz gigabayt veriniz ve tek bir analistiniz varsa, size hiçbir şey kazandırmadan yönetmeniz gereken parça sayısını artırır.
Maliyet nasıl oluşuyor: örnek hesap
Depolama her platformda faturanın ucuz kalemi. Faturayı, sorgularınızın ne kadar veri okuduğu ya da işlem gücünün ne kadar süre açık kaldığı belirliyor.
Bir e-ticaret şirketi düşünelim: toplam 500 GB veri var ve satış panosu, 50 GB'lık sipariş tablosu üzerinden 15 dakikada bir, yani günde 96 kez yenileniyor. Tabloya gün boyu yeni satır geldiği için sorgu motoru önbellekteki sonuçları kullanamıyor. Her yenileme tablonun tamamını okursa ayda yaklaşık 144 TB (131 TiB) veri taranıyor.
Kurulum | Aylık depolama | Aylık sorgu, tam tarama | Aylık sorgu, 2 GB'lık dilim |
|---|---|---|---|
BigQuery on-demand (us-central1) | yaklaşık 10,5 dolar | yaklaşık 810 dolar | yaklaşık 27 dolar |
S3 Standard ve Athena (us-east-1) | yaklaşık 11,5 dolar | yaklaşık 720 dolar | yaklaşık 29 dolar |
BigQuery'nin isteğe bağlı (on-demand) fiyatı taranan TiB başına 6,25 dolar ve her ay ilk 1 TiB ücretsiz. us-central1 bölgesinde aktif depolama, ücretsiz ilk 10 GiB'den sonra GiB başına aylık yaklaşık 0,023 dolara geliyor. Athena ise taranan TB başına 5 dolar alıyor. Son sütun, tablonun tarihe göre bölümlendiğini ve panonun yalnızca son bir ayı, yani yaklaşık 2 GB'ı okuduğunu varsayıyor. Son iki sütun arasındaki tek fark tarihe göre bölümleme ve bu, sorgu faturasını 25 ila 30 kat düşürüyor. İki motor da sütun bazlı (columnar) çalışır: yalnızca ihtiyaç duyduğu sütunları seçen bir sorgu tam taramadan daha az veri okur, SELECT * ise her şeyi okur. Athena'da bu yalnızca Parquet ya da ORC dosyalarında geçerli; CSV veya JSON üzerinde her sorgu dosyaların tamamını okur.
BigQuery'de bir tabloyu, bölümleme sütununa filtre koymayan her sorguyu reddedecek şekilde ayarlayabilir (require_partition_filter), tek bir sorguda faturalanacak bayt miktarına da üst sınır koyabilirsiniz. Panoya erişim açmadan önce ikisini de etkinleştirin.
Snowflake'te faturalama farklı işliyor: belirleyici olan, sanal ambarın (virtual warehouse) ne kadar süre çalıştığı. Gen1 X-Small bir ambar saatte 1 kredi harcar; her başlatmada en az 60 saniye, sonrasında saniye bazında faturalanır. Kredinin dolar karşılığı sürüme (edition) ve bölgeye göre değişir. Yeni standart ambarlar artık çoğu bölgede varsayılan olarak Gen2 oluşturuluyor ve Gen2'nin kredi oranları Snowflake'in tüketim tablosunda ayrıca listeleniyor; karşılaştırma yapmadan önce hangi nesli kullandığınıza bakın. Faturayı belirleyen ayar, otomatik askıya alma (auto-suspend) süresi; varsayılan değeri 600 saniye. Yukarıdaki panoda on saniyelik bir sorguyla her yenileme ambarı on dakikadan uzun süre açık tutar. Bu, günde 16 saatten fazla, ayda 500 saate yakın çalışma demek; Gen1 X-Small bir ambarda bu da 500 krediye yakın.
Bu senaryoda o boşta geçen dakikalar hiçbir işe yaramıyor. Bir sonraki yenileme geldiğinde ambar zaten askıya alınmış oluyor ve Snowflake, askıya alınan ambarın önbelleğini siliyor. Otomatik askıya almayı 60 saniyeye indirdiğinizde aynı pano ambarı ayda kabaca 60 ila 80 saat açık tutar. Aralığın sebebi, Snowflake'in boştaki ambarları yaklaşık 30 saniyede bir kontrol etmesi. Daha uzun süreler, sorguların bir iki dakika arayla geldiği ve sıcak önbellekten yararlanabildiği durumlarda anlamlı.
PostgreSQL'de hesap tersine işliyor: sunucu için sabit bir aylık bedel ödüyorsunuz, sorgu başına ücret yok. Yukarıdaki panonun ayda 2.880 yenilemesi, sunucu bu yükü kaldırdığı sürece faturaya hiçbir şey eklemez.
Türkiye'deki şirketler için KVKK tarafı
Mimariyi seçmeden önce verinin nerede duracağına karar vermek gerekiyor. Kişisel veri içeren bir ambarı ya da gölü yurt dışındaki bir bulut bölgesine kuruyorsanız KVKK'nın 9. maddesi devreye girer. Google Cloud, Turkcell ile birlikte Türkiye'de bir bölge açacağını Kasım 2025'te duyurdu; ancak Turkcell'in yatırımcı açıklamasına göre bu bölgenin 2028-2029 döneminde hizmete girmesi bekleniyor.
Kişisel Verilerin Yurt Dışına Aktarılmasına İlişkin Usul ve Esaslar Hakkında Yönetmelik, yurt dışına aktarımı kişisel verinin yurt dışındaki bir veri sorumlusuna ya da veri işleyene iletilmesi veya başka bir şekilde erişilebilir hale getirilmesi olarak tanımlıyor. Yurt dışındaki bir bölgede çalışan bulut hizmeti çoğu durumda bu tanıma girer. 2024'te 7499 sayılı Kanunla değişen düzende aktarımın bir yeterlilik kararına, standart sözleşme gibi uygun güvencelerden birine ya da kanundaki istisnai hallerden birine dayanması gerekiyor. Standart sözleşme imzaladıysanız, imzaların tamamlanmasından itibaren beş iş günü içinde Kuruma bildirmeniz gerekiyor.
Bunun mimariye iki pratik etkisi var. Birincisi, kişisel veriyi göle olduğu gibi dökmeyin; raporlarda ihtiyaç duyulmayan alanları hiç almayın, kimlik bilgilerini ayrı ve erişimi daha sıkı kısıtlanmış bir tabloda tutun. İkincisi, bir kişinin silme talebini nasıl karşılayacağınızı baştan planlayın. Değiştirilemeyen Parquet dosyalarından tek bir kişinin kayıtlarını silmek zordur; Iceberg ya da Delta Lake gibi satır düzeyinde silmeyi destekleyen bir tablo formatı bu işi yönetilebilir kılar. Yalnız silinen satırlar, eski snapshot'lara ait dosyalarda durmaya devam eder: Iceberg'de eski snapshot'ları düzenli olarak sona erdirmeniz (expire snapshots), Delta Lake'te VACUUM çalıştırmanız gerekir. Hukuki değerlendirmeyi bir KVKK uzmanıyla yapın; burada anlattığımız, teknik kararları etkileyen kısım.
Hangisini seçmeli?
Biz olsak şu kurallarla seçerdik:
- Veriniz birkaç yüz GB'ın altındaysa, çoğunlukla uygulama veritabanınızdan ve birkaç SaaS aracından geliyorsa ve amaç panolar ile finans raporlarıysa: bir veri ambarı ya da PostgreSQL ile dbt. Göl yok. İsterseniz ham dökümleri bir bucket'ta saklayın ama etrafına platform kurmayın.
- Saklamak zorunda olduğunuz ama henüz modellemediğiniz ham olaylar, loglar ya da dosyalar varsa veya ambar depolaması faturanın pahalı kalemine dönüştüyse: ambarın yanında, nesne depolamada Parquet dosyalarından ve bir katalogdan oluşan bir göl. Ambara yalnızca raporların ihtiyaç duyduğu veriyi yükleyin.
- Hem analistlerin hem veri bilimcilerin kullandığı büyük bir veri varsa ya da birden fazla motorun aynı kopyayı görmesi gerekiyorsa: Iceberg ya da Delta Lake üzerinde bir lakehouse ve tablo bakımından sorumlu, adı belli bir kişi.
- Bunlardan herhangi birinde kişisel veri varsa: formata karar vermeden önce verinin hangi bölgede duracağını ve tek bir kişinin kayıtlarını nasıl sileceğinizi netleştirin.
Verinin nasıl içeri girdiği, nereye girdiği kadar önemli. Dönüşümü yüklemeden önce mi sonra mı yapacağınız ETL ve ELT sorusu; ambarın etrafında genellikle kullanılan araçları da modern veri yığını yazımızda anlatıyoruz.
Sık sorulan sorular
BigQuery veri ambarı mı, veri gölü mü?
Veri ambarı. Cloud Storage'daki dosyaları ve Apache Iceberg tablolarını da sorgulayabildiği için çoğu zaman bir veri gölünün üzerinde SQL motoru olarak kullanılır.
Veri gölünde hangi dosya formatı kullanılmalı?
Tablo biçimindeki her şey için Parquet. Sütun bazlı ve sıkıştırılmış bir format; burada adı geçen bütün motorlar okuyabiliyor ve Athena gibi taranan bayta göre ücret alan motorlar yalnızca sorgunun kullandığı sütunları okuyor. Yeniden işleme ihtimaliniz varsa orijinal JSON ya da CSV dosyalarını ham bölümde saklayın, sorguları Parquet kopya üzerinden çalıştırın. Iceberg ve Delta Lake tablolarının altında da çoğunlukla Parquet dosyaları olduğu için ileride lakehouse'a geçerseniz bu tercih boşa gitmez.
Önce veri ambarı kurup veri gölünü sonra ekleyebilir miyim?
Evet, olağan sıra da bu. Yine de ham dökümleri erkenden nesne depolamaya kopyalamaya başlayın, şimdilik onları okuyan hiçbir şey olmasa bile. Saklamadığınız geçmişi sonradan geri getiremezsiniz.
Veri gölü ile veritabanı arasındaki fark nedir?
PostgreSQL ya da MySQL gibi bir veritabanı uygulamanızı çalıştırır: tutarlı kalması gereken çok sayıda küçük okuma ve yazma. Veri gölü ise analiz için büyük hacimde dosya saklar; bir uygulamanın işlemlerini taşımak için tasarlanmamıştır.
Bu kararı kendi ürününüz için veriyorsanız veri kaynaklarınıza ve sorgu düzeninize birlikte bakabiliriz; veri ve yapay zeka hizmetimizin sayfasından bize ulaşabilirsiniz.
İlgili Makaleler
MLOps Nedir? ML Modelini Canlıya Almanın Pratik Yolu
MLOps, bir modeli canlıya taşıyan ve orada işe yarar tutan pratiklerin toplamı. Hangi sırayla kurulacağını güncel MLflow ve DVC örnekleriyle anlattık, LLM tarafını da ekledik.
Devamını Oku: MLOps Nedir? ML Modelini Canlıya Almanın Pratik YoluBilgisayarlı Görü Uygulamaları: Nerede İşe Yarar, Nerede Zorlanır?
Fabrikadaki kalite kontrolden faturaya, tomografiden plaka tanımaya: bilgisayarlı görü nerede iş görüyor, nerede zorlanıyor, hazır modeller neyi değiştirdi?
Devamını Oku: Bilgisayarlı Görü Uygulamaları: Nerede İşe Yarar, Nerede Zorlanır?AI Agent Geliştirme: Ne Zaman Gerekir, Nasıl Kurulur?
AI agent, araçlarla döngü içinde çalışan bir dil modeli. Ne zaman gerektiğini, Python'da çalışan bir döngüyü, framework seçimini, güvenliği, KVKK'yı ve maliyeti anlattık.
Devamını Oku: AI Agent Geliştirme: Ne Zaman Gerekir, Nasıl Kurulur?
