Bobidi, şirketlerin AI modellerini test eden geliştiricileri ödüllendirmek için başlattı – Teknolojik Haberler


Yapay zeka sistemleri oluşturmak, test etmek ve dağıtmak için acele eden işletmeler, sistemlerini tam olarak doğrulamak ve hatasız olmalarını sağlamak için genellikle kaynak ve zamandan yoksundur. 2018 yılında bildiriGartner, yapay zeka projelerinin %85’inin verilerdeki, algoritmalardaki veya bunları yönetmekten sorumlu ekiplerdeki önyargı nedeniyle hatalı sonuçlar vereceğini öngördü. Büyük Teknoloji şirketleri bile tuzaklara karşı bağışık değil – bir müşteri için, IBM sonuçta 4 yılda 62 milyon dolara mal olan yapay zeka destekli bir kanser teşhis sistemi sunmayı başaramadı.

böcek ödülü” programları, Jeong-Suh Choi ve Soohyun Bae kurdu Bobidi, sistemleri küresel veri bilimi topluluğuna sunarak şirketlerin yapay zeka sistemlerini doğrulamalarına yardımcı olmayı amaçlayan bir platform. Bobidi ile Bae ve Choi, müşterilerin bir API aracılığıyla AI sistemlerini hata avcısı topluluğuyla “güvenli” bir şekilde bağlamasını sağlayan bir ürün geliştirmeye çalıştı.

Choi, bir e-posta röportajında, geliştiricilerin doğrulama için gereken süreyi azaltmak için AI sistemlerini ve önyargıları – yani sistemlerin kötü performans gösterdiği uç durumları – test etmesine izin vermek olduğunu açıkladı. Bae daha önce Google’da kıdemli bir mühendisti ve Niantic’te artırılmış gerçeklik haritalamasına liderlik ederken, Choi eBay’de kıdemli bir yöneticiydi ve Facebook’ta “insan mühendisliği” ekibine başkanlık ediyordu. İkili, yaklaşık 10 yıl önce bir teknoloji endüstrisi işlevinde bir araya geldi.

Choi, “Modelden önyargı veya kusurlar ortaya çıktığında, hasar zaten geri döndürülemez” dedi. Örneğin, doğal dil işleme algoritmaları [like OpenAI’s GPT-3] nefret söylemi, ayrımcılık ve hakaretle ilgili olarak genellikle sorunlu yorumlar yaptıkları veya bu yorumlara yanlış yanıt verdikleri tespit edilmiştir. Bobidi’yi kullanarak topluluk, algoritmayı ‘ön test’ edebilir ve bu boşlukları bulabilir; bu, algoritmayı sürekli değişen sosyal ve politik bağlamları temsil eden belirli koşullar altında birçok insanla test edebileceğiniz için gerçekten çok güçlüdür.”

Modelleri test etmek için, geliştiricilerin Bobidi “topluluğu” belirli bir sistem için bir doğrulama veri seti oluşturur. Geliştiriciler sistemdeki boşlukları bulmaya çalıştıkça, müşteriler yanlış negatif ve pozitif kalıpları ve bunlarla ilişkili meta verileri (örneğin, uç durumların sayısı) içeren bir analiz alır.

Hassas sistemleri ve modelleri dış dünyaya maruz bırakmak bazı şirketlerin duraklamasına neden olabilir, ancak Choi, Bobidi’nin modelleri belirli bir süre sonra “otomatik olarak sona erdiğini” ve böylece tersine mühendislik yapılamayacaklarını iddia ediyor. Müşteriler, topluluk tarafından yapılan ve her 10 denemede bir dolara (0,99 $) çıkan “yasal” denemelerin sayısına göre hizmet için ödeme yapar.

Choi, geliştiricilerin Bobidi aracılığıyla saatte 10 ila 20 dolar arasında kazanabilecekleri para miktarının dünyanın birçok bölgesinde asgari ücretin önemli ölçüde üzerinde olduğunu belirtiyor. Choi’nin tahminlerinin aslında köklü olduğunu varsayarsak, Bobidi veri doğrulayıcılara ve etiketleyicilere düşük ödeme eğiliminde olan veri bilimi endüstrisindeki eğilimi karşılıyor. Bir araştırmaya göre, yaygın olarak kullanılan ImageNet bilgisayarlı görü veri setinin yorumlayıcıları, saatte 2 dolar ortalama ücret alırken, yalnızca %4’ü saatte 7,25 dolardan fazla kazanıyor.

Ödeme yapısı bir yana, kalabalığa dayalı doğrulama yeni bir fikir değil. 2017 yılında, Maryland Üniversitesi’ndeki Hesaplamalı Dilbilim ve Bilgi İşleme Laboratuvarı, Break It, Build It adlı bir platform başlattı ve araştırmacıların, onları yenmek için örnekler bulmakla görevli kullanıcılara modeller göndermesine izin verdi. Başka yerlerde Meta, kullanıcıların duyguları analiz etmek, soruları yanıtlamak, nefret söylemini tespit etmek ve daha fazlası için tasarlanmış “aptal” modellere sahip Dynabench adlı bir platforma sahiptir.

Ancak Bae ve Choi, “oyunlaştırılmış” yaklaşımın Bobidi’nin diğerlerinden öne çıkmasına yardımcı olacağına inanıyor. Satıcı, henüz erken olmasına rağmen, Seerslab, Deepixel ve Gunsens dahil olmak üzere artırılmış gerçeklik ve bilgisayarla görme girişimlerinde müşterileri olduğunu iddia ediyor.

Çekiş, birkaç yatırımcıyı girişime para vermeye ikna etmek için yeterliydi. Bugün Bobidi, Y Combinator, We Ventures, Hyundai Motor Group, Scrum Ventures, Meta’daki Yeni Ürün Deneyi (NPE), Lotte Ventures, Atlas Pac Capital ve açıklanmayan birkaç melek yatırımcının katılımıyla 5.5 milyon dolarlık bir başlangıç ​​turunu kapattı.

Unutulmamalıdır ki Bobidi, geçen yıl tüketiciye yönelik uygulamalar geliştirmekten yapay zeka odaklı girişimlere başlangıç ​​aşamasındaki yatırımlara geçiş yapan NPE’nin ilk yatırımları arasında yer alıyor. Yorum için iletişime geçildiğinde, NPE yatırımları başkanı Sunita Parasuraman e-posta yoluyla şunları söyledi: “Dünyanın dört bir yanındaki insanlar tarafından yönlendirilen yenilikçi bir çözümle şirketlerin AI modellerini daha iyi doğrulamalarına yardımcı olan Bobidi’nin yetenekli kurucularını desteklemekten heyecan duyuyoruz.”

Choi, “Bobidi, topluluk ve AI arasında bir karışım, paylaştığımız benzersiz bir uzmanlık kombinasyonudur” diye ekledi. “Büyük veri çağının sona erdiğine ve yeni kaliteli veri çağına girmek üzere olduğumuza inanıyoruz. Bu, odak noktasının veri kümeleriyle verilen en iyi modeli oluşturmaya olduğu çağdan, insanların tam tersi bir yaklaşımla verilen en iyi veri kümesini bulmakla görevlendirildiği yeni çağa geçtiğimiz anlamına geliyor.”

Choi, tohum turundan elde edilen gelirin işe alımlara – Bobidi’nin şu anda 12 çalışanı var – ve “müşteri içgörü deneyimleri” ve çeşitli “temel makine öğrenimi teknolojileri” oluşturmaya harcanacağını söyledi. Şirket, ekonomik olumsuzluklara rağmen yıl sonuna kadar ekibinin büyüklüğünü üç katına çıkarmayı umuyor.



Kaynak : https://techcrunch.com/2022/07/14/bobidi-launches-to-reward-developers-for-testing-companies-ai-models/

Yorum yapın