🛠️ Cât de bine repară programe
Modelul primește probleme reale din programe folosite de milioane de oameni și trebuie să le repare singur.
Clasament SWE-bench Verified
Rezultatele vor apărea în curând.
Ce măsoară, de fapt
Imaginează-ți că dai unui meseriaș o listă de defecțiuni reale dintr-o clădire și numeri câte a reparat corect, fără ajutor. Asta face acest test, dar cu programe de calculator: fiecare problemă a fost raportată cândva de un om într-un proiect real, iar oameni au verificat că poate fi rezolvată.
Scorul arată câte probleme din 100 a rezolvat modelul. Contează dacă vrei un asistent care să scrie sau să repare cod; spune mai puțin despre cât de bine scrie un email sau explică o rețetă.
Sursa oficială a testului: https://www.swebench.com