StarRocks’ın gerçek zamanlı analiz motoru buluta taşınıyor



Bulutta gerçek zamanlı analitik için son derece sıcak pazar, yeni bir giriş yaptı StarRocks Inc.‘nin bugün SQL çevrimiçi analitik işleme veritabanı motorunun bulutta yerel sürümünün duyurusu.

StarRocks Cloud, şirketin iki yıl önce geliştirdiği ve açık kaynak lisansı altında piyasaya sürdüğü platformun tam olarak yönetilen bir hizmet olarak yazılım sürümüdür. Şuna dayanmaktadır: Apaçi Doris kitlesel paralel işleme tabanlı etkileşimli SQL veri ambarı.

Mimari, hızlı çok tablolu birleştirme desteği ile çok sayıda eşzamanlı kullanıcı tarafından gerçek zamanlı veri analizi için özel olarak oluşturulmuştur. Motor, düz tablolar, yıldız ve kar tanesi şemaları dahil olmak üzere çeşitli şema modelleriyle çalışır. Gerçek zamanlı işlem verilerini geçmiş kayıtlarla birleştirmek için bir temel sağlar.

Şirket, 2020’nin başlarında kurulduğundan bu yana çoğunlukla radarın altında uçtu, ancak 60 milyon dolardan fazla risk sermayesi topladı ve Airbnb Inc. ve Lenovo Group Ltd. gibi büyük hesaplar da dahil olmak üzere 110 ödeme yapan müşteriye imza attı.

Büyüme pazarı

Küresel akış analizi pazarı, Yılda yaklaşık %29 büyümesi bekleniyor Grand View Research Inc.’e göre, 2025’e kadar nesnelerin interneti cihazlarının hızla yaygınlaşması ve iş liderlerinin en güncel verilere yönelik artan iştahı sayesinde.

Şirket, StarRocks’ın saniyede 10.000’den fazla sorguyu işleyebilen ve düğüm başına saniyede 100 megabayta kadar hızlarda veri alabilen bir motorla yüksek eşzamanlılık ve kullanılabilirliği desteklediğini söyledi.

Şirketin stratejiden sorumlu başkan yardımcısı Li Kang, gerçek zamanlı işlemenin hızlı bir şekilde yakalandığını, ancak gerçek zamanlı analitiklerin çekiş kazanmak için daha yavaş olduğunu söyledi. Sorunlardan biri, karmaşık ve zaman alıcı birleştirme ihtiyacını azaltmak için oluşturulan gereksiz tablolar olan analitik sorgularda denormalize tablolara duyulan ihtiyaçtır.

Kang, “Raporlar için uygun, ancak kullanıcılar bunu gerçek zamanlı kararlar için kullanmak istiyorsa çok yavaş” dedi. Denormalizasyon, iyi bir sorgu performansı sağlar ancak karmaşıklığı artırır, dedi. Örneğin, kendisine işaret eden birden çok yabancı anahtarı olan bir tablonun denormalize edilmesi, verilerin birden çok kopyasını oluşturur. Bu, her veri öğesinin benzersiz olması gerektiği şeklindeki temel bir normalleştirme ilkesini bozar.

Denormalizasyon cezaları

Kang, “Alım, ekstra donanım ve geliştirme maliyetlerindeki gecikmenin bedelini ödersiniz” dedi. “Ayrıca sınırlı eşzamanlılığınız var. Hem performans hem de iş gereksinimleri açısından birçok sorun var.”

StarRocks, CPU, bellek ve depolama genelinde veri yönünü satırlardan sütunlara değiştirmek için çok çekirdekli CPU’lardan yararlanan vektörleştirilmiş yürütmeyi kullanır. Sütunlu depolama, analitik sorgular için daha verimliyken, satır depolama, işlem işleme için daha iyidir.

Kang, StarRocks’ın başlıca rakiplerinin aşağıdakiler gibi gerçek zamanlı veri depoları üzerine kurulu ürünler olduğunu söyledi. Apaçi Büyücüsü, Apache Pinot ve Apache ClickHouse. Hepsinin denormalize edilmiş formda olmasını gerektirdiğini söyledi. “İşte bu yüzden bu teknolojilerle gerçek zamanlı bir altyapı inşa etmek çok zordu” dedi.

Şirket ayrıca Apache Presto ve Apache Trino projelerine dayalı dağıtılmış sorgu motorlarıyla da rekabet ediyor. Şirket, sorguları rakiplerinden üç ila beş kat daha hızlı işleyebileceğini söyledi.

Kang, “Konsepti sorgu motoruna alıyoruz, böylece sütunlu veriler üzerinde her bir CPU, bellek ve depolama katmanı için dönüştürmeden çalışabiliyoruz” dedi. “Sonuç olarak, tek tablolu bir sorgu veya yıldız şeması biçimindeki çok tablolu bir sorgu için çok daha iyi sorgu performansı elde ediyoruz ve aynı anda binlerce kullanıcıyı desteklemek için daha iyi paralel işleme kullanıyoruz.”

StarRocks, Amazon Web Services Inc.’in S3 ve Azure Blob depolaması gibi bulut veri göllerinden veri alabilir. Ayrıca, Apache Kafka tarafından yönetilen akış verilerini ve bir veritabanındaki verilerdeki değişiklikleri tanımlayan ve izleyen ilişkisel veritabanlarından gelen değişiklik verileri yakalama akışlarını destekler.

StarRocks Cloud, Google LLC’nin yakın gelecekte planlanan bulut desteğiyle başlangıçta AWS ve Azure bulutlarında kullanıma sunulacak. Standart SQL ve MySQL protokollerini ve SQL kullanan tüm iş zekası araçlarını destekler.

Resim: StarRocks

Uzmanlardan oluşan Cube Club ve Cube Event Topluluğumuza katılarak misyonumuza desteğinizi gösterin. Amazon Web Servisleri ve Amazon.com CEO’su Andy Jassy, ​​Dell Technologies’in kurucusu ve CEO’su Michael Dell, Intel CEO’su Pat Gelsinger ve daha birçok aydınlatıcı ve uzmanı içeren topluluğa katılın.



Kaynak : https://siliconangle.com/2022/07/14/starrocks-real-time-analytics-engine-moves-cloud/

Yorum yapın