Founding Researcher

Fırsat

Kodun çoğunu artık kodlama ajanları yazıyor. Darboğaz yazmaktan etrafındaki her şeye kaydı: gözlemleme, izleme, hata ayıklama, kök neden bulma, on-call, neyin yayınlanmasının güvenli olduğuna karar verme. Yaşam döngüsü iki yarıya çöküyor. Bir yarısı niyet. Diğeri yürütme. Yürütme yarısı bu kadar zor olmamalı.

Polylane’i geliştiriyoruz: geliştiricilerin kendi kendini işleten yazılım yayınlamasını sağlayan platform. Üretimde kendini izleyen, sorunları inceleyen, kök nedenleri bulan ve kimse çağrı almadan düzeltmeleri yayınlayan yazılım. Kendi kendini işleten yazılım.

Ajanlar güvenilir olmadıkça bunların hiçbiri çalışmaz. Bu rolün hedefi, kendi kendini işleten yazılımın arkasındaki modelleri ve harness’leri iyileştirmek. Zor problem bir modelin düzeltme önermesini sağlamak değil; ajanın ne zaman haklı olduğunu, ne zaman tahmin ettiğini ve bu sınırı çalıştırmadan çalıştırmaya nasıl ileri taşıyacağını deneysel olarak bilmek. Bu, üretimde araştırma: deneylerin gerçek çalışma alanlarına yayınlanır ve geri bildirim döngüsü konferans döngüleriyle değil, günlerle ölçülür.

Ne üzerinde çalışırsın

• Modellerin kendilerini iyileştirmek: gerçek operasyonel veri üzerinde post-training, böylece üretim sistemlerini her çalıştırmada daha iyi incelerler.
• Harness’i iyileştirmek: ajan döngüsü, araçlar ve bağlam, böylece aynı model aynı olayda daha ileri gider.
• Ajan incelemelerini gerçek üretim olaylarından gelen kesin doğruya karşı puanlayan değerlendirme harness’leri kurmak.
• Bağlam mühendisliği deneyleri yürütmek: neyi, ne zaman ve ne kadar enjekte etmek; brifingler, bellek ve getirme boyunca.
• Araç kullanan ajanların uzun ufuklu operasyonel görevlerdeki hata modlarını incelemek ve onları düzeltmelere dönüştürmek.
• İçeride ve bizi daha keskin kıldığında dışarıda yayımlamak.

Kimi arıyoruz

LLM sistemleri yayınlamış ve onları demoların ve hislerin ötesinde ciddi biçimde ölçmüş olmalısın. Değerlendirme metodolojisinde akıcısın: veri kümeleri oluşturmak, metrikler tanımlamak, kontaminasyondan kaçınmak.

TypeScript veya Python’da üretim kalitesinde kod yazarsın ve yayınlamak için bir araştırma mühendisine ihtiyaç duymazsın. Ajan güvenilirliği, temellendirme ve bağlam pencereleri hakkında deneylerle desteklenmiş fikirlerin var.

Yanıt “henüz bilmiyoruz” olduğunda rahatsın ve öğrenmekte titizsin.

Coreplane Labs kim?

Küçük bir ekip ve Polylane’in arkasındaki şirket. Cloudflare ölçeğinde çalıştık; orada her gün milyonlarca geliştiricinin kullandığı gözlemlenebilirlik platformunu kurduk. Yıllarımızı üretim sistemlerini yazarak, işleterek ve bozarak geçirdik.

Coreplane sıradaki adım. San Francisco merkezli. Yüz yüze çalışıyoruz.