Founding Researcher
โอกาส
ตอนนี้เอเจนต์เขียนโค้ดเป็นผู้เขียนโค้ดส่วนใหญ่แล้ว คอขวดย้ายจากการพิมพ์ไปสู่ทุกอย่างรอบตัวมัน: การสังเกต การมอนิเตอร์ การดีบัก การหาสาเหตุที่แท้จริง การอยู่เวร on-call การตัดสินว่าอะไรปลอดภัยพอจะปล่อย วงจรชีวิตของซอฟต์แวร์กำลังยุบลงเหลือสองครึ่ง ครึ่งหนึ่งคือความตั้งใจ อีกครึ่งคือการลงมือทำ ครึ่งที่เป็นการลงมือทำไม่ควรยากขนาดนี้
เรากำลังสร้าง Polylane: แพลตฟอร์มที่ให้นักพัฒนาปล่อยซอฟต์แวร์ที่ดูแลตัวเองได้ ซอฟต์แวร์ที่เฝ้าดูตัวเองใน production สืบสวนปัญหา หาสาเหตุที่แท้จริง และปล่อยการแก้ไขก่อนที่ใครจะถูก page ซอฟต์แวร์ที่ดูแลตัวเอง
ทั้งหมดนั้นไม่มีทางได้ผลถ้าเอเจนต์ไม่น่าไว้วางใจ เป้าหมายของตำแหน่งนี้คือปรับปรุงโมเดลและ harness เบื้องหลังซอฟต์แวร์ที่ดูแลตัวเองได้ ปัญหาที่ยากไม่ใช่การทำให้โมเดลเสนอการแก้ไข แต่คือการรู้ในเชิงประจักษ์ว่าเอเจนต์ถูกเมื่อใด เดาเมื่อใด และจะขยับเส้นแบ่งนั้นได้อย่างไรในทุกการรัน นี่คือการวิจัยใน production: การทดลองของคุณถูกปล่อยสู่ workspace จริง และวงจรป้อนกลับวัดเป็นวัน ไม่ใช่รอบของงานประชุมวิชาการ
คุณจะได้ทำอะไร
- ปรับปรุงตัวโมเดลเอง: post-training บนข้อมูลปฏิบัติการจริง เพื่อให้มันสืบสวนระบบ production ได้ดีขึ้นทุกการรัน
- ปรับปรุง harness: วงจรของเอเจนต์ เครื่องมือ และบริบท เพื่อให้โมเดลเดิมไปได้ไกลขึ้นกับ incident เดิม
- สร้าง harness สำหรับประเมินผลที่ให้คะแนนการสืบสวนของเอเจนต์เทียบกับความจริงจาก incident ใน production จริง
- รันการทดลองด้าน context engineering: ฉีดอะไร เมื่อใด และมากแค่ไหน ทั้งใน briefing ความจำ และการดึงข้อมูล
- ศึกษารูปแบบความล้มเหลวของเอเจนต์ที่ใช้เครื่องมือในงานปฏิบัติการระยะยาว และเปลี่ยนมันเป็นการแก้ไข
- เผยแพร่ภายใน และภายนอกเมื่อมันทำให้เราคมขึ้น
เรามองหาอะไร
คุณควรเคยปล่อยระบบ LLM และวัดผลอย่างจริงจัง เกินกว่าเดโมและความรู้สึก คุณคล่องในระเบียบวิธีการประเมินผล: สร้างชุดข้อมูล กำหนด metric หลีกเลี่ยงการปนเปื้อน
คุณเขียนโค้ดคุณภาพระดับ production ใน TypeScript หรือ Python และไม่ต้องพึ่ง research engineer เพื่อปล่อยงาน คุณมีความเห็นเรื่องความน่าเชื่อถือของเอเจนต์ การยึดโยงกับข้อมูลจริง และ context window โดยมีการทดลองรองรับ
คุณสบายใจเมื่อคำตอบคือ “เรายังไม่รู้” และเข้มงวดในการหาคำตอบ
Coreplane Labs คือใคร
ทีมเล็ก ๆ และเป็นบริษัทเบื้องหลัง Polylane เราเคยทำงานในสเกลของ Cloudflare ที่ซึ่งเราสร้างแพลตฟอร์ม observability ที่นักพัฒนาหลายล้านคนใช้ทุกวัน เราใช้เวลาหลายปีเขียน ดูแล และทำระบบ production พังเป็นอาชีพ
Coreplane คือสิ่งที่มาต่อจากนั้น ตั้งอยู่ที่ซานฟรานซิสโก เราทำงานร่วมกันที่ออฟฟิศ