LakeFS, veri göllerine dallanma getiriyor


Transform 2022’yi 19 Temmuz’da ve neredeyse 20 – 28 Temmuz’da geri getirmekten heyecan duyuyoruz. Bilgili görüşmeler ve heyecan verici ağ oluşturma fırsatları için yapay zeka ve veri liderlerine katılın. Bugün kayıt Ol!


İşletmeler, acımasız veri saldırısını organize etmenin daha iyi bir yolunu bulabilir mi? LakeFS cevabı düşünüyor: bir la Git sürümü. LakeFS, esasen geliştiricilerin kodu düzenlemek için kullandığı süreci taklit ederek farklı veri sürümlerini oluşturma ve izleme fırsatı sunar.

27 Haziran’da şirket, hizmetlerinin genel olarak kullanılabilir olduğunu duyurdu, LakeFS Bulut. Takımlar, kodlarının farklı versiyonlarında olduğu gibi, verilerinin çeşitli versiyonlarının gelişimini takip etmek için bunu kullanabilecekler.

“LakeFS aslında bir altyapı. Verilerin üstünde yer alır,” diye açıklıyor LakeFS’nin kurucu ortağı ve CEO’su Einat Orr. “Veri gölü ve uygulamalar arasında bir arayüzdür. Böylece herhangi bir uygulama, LakeFS’nin sunduğu Git benzeri işlemlerin keyfini çıkarabilir ve veriler, kuruluş için tutarlı tek bir arabirim aracılığıyla yönetilir.”

Uzun süredir geliştiriciler, yazılımlara ve verilere farklı davrandılar. Programcılar, çeşitli küçük ve büyük değişiklikleri izleyerek yazılım geliştirmeyi organize etmeye yardımcı olmak için Git gibi sürüm oluşturma sistemleri oluşturdular. Ekipler, birleştirme ve nihai sürümü gönderme zamanı gelene kadar farklı programcıların çalışmalarını ayrı tutmak için araca güveniyor. Yazılım ekipleri, dalları olan metaforik bir ağaçta düzenlenmiş düzinelerce, yüzlerce ve hatta binlerce farklı sürümle rutin olarak çalışır.

Bununla birlikte, veriler genellikle ayrı parçalarda depolanmıştır. Geliştiriciler genellikle farklı zamanlarda alınan farklı anlık görüntülerin veya yedeklerin tam kopyalarını oluşturur. Farklılıkları izlemek zordu ve kopyaların çoğalması kafa karışıklığına ve depolama için büyük faturalara neden oldu.

“Bulut, verilerin bulutlandığı konusunda bizi asla uyarmadı. Sonsuz depolamanın nimeti hızla yönetilemez bir karmaşa haline geldiğinden, verileri yeniden erişilebilir kılmak için LakeFS gibi teknolojilere ihtiyaç var” diye açıklıyor tıbbi teşhis şirketi CTO’su Sivan Bercovici Kariusyapay zeka ve veri toplama konusundaki çalışmalarıyla ürünü test ediyor.

LakeFS: Sistemler ve hizmetler

LakeFS, S3 gibi nesne depolarıyla ve Snowflake veya BigQuery gibi farklı veri yönetim sistemleriyle çalışmak üzere tasarlanmıştır. Hizmet, depolama ve alma için bir arabirim sunar ve ardından mevcut dallanmayı izlerken verileri AWS gibi bir arka uç hizmetine iletir. LakeFS, grupların birkaç farklı depolama sağlayıcısıyla çalışabileceğini hayal ediyor. bir gösteri oyun alanı kullanıcılara kodu yüklemeden deneme şansı sunar.

Sistem, farklı şubeleri takip ederek ve bunları yalnızca gerektiğinde birleştirerek ekiplere yardımcı olacaktır. Bir geliştirici, şu anda üretimde olan ana veri kümesinin bir dalını oluşturarak yeni bir özelliği denemeye başlayabilir. Test için tam bir kopya oluşturmaya gerek kalmayacak ve yeni deneylerin getirdiği değişiklikler ana üretim sürümünü etkilemeyecek ayrı bir dalda tutulacaktı.

Orr, “S3’te bir karışıklık yaratmak ve yıllarca kimsenin silmediği kopyaları bulundurmak çok kolay” dedi. “LakeFS ile çalıştığınızda, verilerinizi düzgün bir şekilde yönetmek için şeffaflığa ve bu şubenin kullanılmadığını bildiğiniz için elde tutma sürenizi iş gereksinimlerinize bağlama olanağına sahipsiniz. Bu dosyanın herhangi bir LakeFS şubesi tarafından gösterilmediğini biliyorsunuz.”

LakeFS, geliştiricilere farklı dallar oluşturma ve ardından bunları gerektiğinde birleştirme veya silme seçeneği sunar. Ayrıca, işlemlerin sürekli entegrasyon ve dağıtım için kullanılan bir dizi başka geliştirme hattı ile entegre edilebilmesi için web kancaları sunar.

“LakeFS’yi üretim veri ortamımıza tanıttığımızdan beri, veri boru hatlarımızda atomik ve izole operasyonların avantajlarından yararlandık. Bu, veri platformumuzun diğer yönlerini geliştirmek için daha fazla zaman harcamamıza ve yarış koşullarından ve kısmen başarısız operasyonlardan kaynaklanan serpintilerle daha az zaman harcamamıza izin verdi.” yazar Windward veri platformu ekip lideri Lior Resisi.

Veri gölü rakipleri

Diğer birkaç veritabanı şirketi de benzer yaklaşımları uygulamaya başlıyor. İkisi birden gezegen ölçeği ve Neonörneğin, MySQL veya PostgreSQL gibi açık kaynaklı veritabanları etrafında oluşturulmuş sistemlerinde depolanan verileri dallandırma veya çatallama fırsatı sunar. Sürümlerini yakın zamanda piyasaya sürdüler ve geliştiricilerin yıllar içinde alıştıkları aynı veritabanı arayüzünü sunmaya odaklandılar.

LakeFS, isteğe bağlı nesne depolama ile daha düşük bir düzeyde çalışmak üzere tasarlanmıştır. API, paketlerde depolanan veri bloklarına yönelik çağrıları kabul eder. Dallanma bilgileri metadata olarak depolanır ve gerektiğinde nesneleri birleştirmek veya silmek için kullanılır.

“Biçim agnostik olduğumuzu ve aşağıdakiler gibi açık tablo biçimlerini çok tamamlayıcı olduğumuzu vurgulamanın önemli olduğunu düşünüyorum. Delta Gölü veya Buzdağı“diye açıkladı Orr. Bu, geliştiricilerin genellikle farklı ürünler ve silolar arasında yayılan büyük, daha çeşitli veri kümeleriyle çalışmasına olanak tanır.

Ancak şirket, arayüzlerini diğer depolama seçenekleriyle çalışacak şekilde genişleteceklerine söz veriyor. LakeFS’nin geliştiricilerin kullanması için ortak bir API olabileceğini hayal ediyorlar. Zamandan tasarruf ve ekstra kopyalar için depolama ücretleri, ekstra maliyeti haklı çıkaracaktır.

Orr, “Bizim vizyonumuz bu” diyor. “Günün sonunda sadece nesne depoları üzerinde değil, sahip olduğunuz tüm veri kaynakları üzerinde çalışmaktır.”

Ürün, sponsorluğundaki açık kaynaklı bir proje olarak başladı. ağaç evreni2020 yılında Orr ve Oz Katz tarafından kurulmuş bir ABD şirketi. Yatırımcılar arasında Dell Technologies Capital, Norwest Venture Partners ve Zeev Ventures yer alıyor.

VentureBeat’in misyonu teknik karar vericilerin dönüştürücü kurumsal teknoloji ve işlemler hakkında bilgi edinmeleri için dijital bir şehir meydanı olmaktır. Üyelik hakkında daha fazla bilgi edinin.



Kaynak : https://venturebeat.com/2022/06/27/lakefs-brings-branching-to-data-lakes/

Yorum yapın