OctoML, AI/ML modellerinin üretime alınmasını kolaylaştırıyor – Teknolojik Haberler


Kuruluşların modellerini optimize etmelerine ve dağıtmalarına yardımcı olan, iyi finanse edilen makine öğrenimi girişimi OctoML, bugün, geliştiricilerin ML modellerini uygulamalarına entegre etmelerini çok daha kolay hale getirecek büyük bir güncelleme başlattı. Bu yeni sürümle, OctoML artık ML modellerini geliştiricilerin tutarlı bir API aracılığıyla etkileşimde bulunabileceği taşınabilir yazılım işlevlerine dönüştürebilir. Bununla, bu modelleri mevcut DevOps iş akışlarına entegre etmek de daha kolay olacaktır.

OctoML kurucusu ve CEO’su Luis Ceze’nin bana söylediği gibi, bunun şirket için önemli bir an olduğuna inanıyor. Ceze, şirketin CTO’su Tianqi Chen, CPO’su Jason Knight, Baş Mimar Jared Roesch ve Teknoloji Ortaklıkları Başkan Yardımcısı Thierry Moreau ile birlikte şirketi ürün geliştirmek için kurdu. TVMML mühendislerinin modellerini belirli donanımlar için optimize etmesine yardımcı olan açık kaynaklı bir makine öğrenimi derleyici çerçevesi.

Resim Kredisi: OctoML

“Btavuk Biz başladı OctoML, Biz söz konusu: Haydi Yapmak TVM olarak a Shizmet,” dedi Ceze. “Be öğrendi a pay itibaren o ancak sonra dönüştü temizles Biz ile çalıştı daha fazla müşteriler o AI/ML dağıtım hala fazla sert.”

Son birkaç yılda verileri almak ve modeller oluşturmak için kullanılan araçlar geliştikçe, bu modellerin yapabilecekleri ile onları gerçekten uygulamalara entegre etme arasındaki farkın sadece büyüdüğünü kaydetti. Bu nedenle, modelleri esasen fonksiyonlara dönüştürerek, bu boşluk çoğunlukla ortadan kalkar. Bu yeni sistem, geliştiriciler için bu karmaşıklığın çoğunu soyutluyor ve bu da kesinlikle daha fazla modelin üretime alınmasına yardımcı olacak. Şu anda, kimin numaralarına güvendiğinize bağlı olarak, eğitimli ML modellerinin yarısından fazlası hiçbir zaman üretime geçmiyor.

OctoML, bu modelleri esasen her yerde çalıştıracak araçlar sunduğundan, bir modelin nereye dağıtılacağına ilişkin bu seçeneklerin çoğu artık otomatikleştirilebilir. “Bşapka bizi diğer tüm çözümlerden ayıran en kabiliyet ile almak en model için konuşlandırın, entegre edin en başvuru – ve sonra koşmak üzerinde hiç uç nokta,” dedi Ceze ve bunun, mühendislerin modeli gerektiğinde farklı performans özelliklerine sahip CPU’lara ve hızlandırıcılara taşıyabilen otomatik ölçeklendirme sistemleri oluşturmasına olanak tanıdığından, bunun otomatik ölçeklendirme için de bir oyun değiştirici olduğunu kaydetti.

Bununla birlikte, işlevler olarak modeller yeteneği, şirketin bugün yaptığı duyuruların yalnızca bir parçasıdır. Ayrıca platformda yeni olan, OctoML’nin makine öğrenimi modellerini optimize etmek için makine öğrenimini kullanmasına yardımcı olan yeni bir araçtır. Hizmet, bağımlılıkları otomatik olarak algılayıp çözebilir ve model kodunu temizleyebilir ve optimize edebilir. Ayrıca yeni bir yerel OctoML komut satırı arabirimi ve Nvidia’nın yeni işlev olarak model hizmetiyle kullanılabilen Triton çıkarım sunucusu desteği de var.

OctoMl CTO’su Jared Roesch, “NVIDIA Triton, kullanıcıların hem CPU hem de NVIDIA GPU’da birden çok derin öğrenme çerçevesinden ve hızlandırma teknolojilerinden yararlanmalarına olanak tanıyan güçlü bir soyutlamadır” dedi. “Ayrıca, NVIDIA Triton’u OctoML ile birleştirerek, kullanıcıların Triton destekli işlevleri daha kolay seçmesini, entegre etmesini ve dağıtmasını sağlıyoruz. OctoML iş akışı, OctoML hızlandırma teknolojisini sorunsuz bir şekilde entegre ederek Triton tabanlı dağıtımların kullanıcı değerini daha da artırıyor ve hem sunum hem de model katmanlarından en iyi şekilde yararlanmanıza olanak tanıyor.”

İleriye baktığımızda Ceze, 2020’den bu yana 20 çalışandan 140’ın üzerine çıkan şirketin, hizmetini akıllı telefonlar ve Qualcomm ile olan ortaklığı sayesinde diğer Snapdragon destekli cihazlar dahil olmak üzere daha uç cihazlara getirmeye odaklanacağını kaydetti.

“To zamanlama öyle gibi Sağ çünkü olarak Biz konuşmak ile millet o vardır konuşlandırma ile en bulut, şimdi onlar tüm söyle onlara Sahip olmak planlar ile dağıtmak üzerinde en kenar, da” dedi.



Kaynak : https://techcrunch.com/2022/06/22/octoml-makes-it-easier-to-put-ai-ml-models-into-production/

Yorum yapın