Агентът започва от празен проект и трябва да сглоби цял продукт, функция по функция. Така Replit мери ViBench 2.0.
Факт
Фактите: на 28 октомври 2026 г. Replit публикува ViBench 2.0, бенчмарк за дълги задачи по разработка на софтуер. Той има 17 продукта, 241 заявки за функции и 544 тестови плана. Оценяващ агент пуска плановете в истински браузър. По данни на Replit GPT-6.1 Sol води с pass@1 от 65%, след него са GPT-6 Astra с 60% и Opus 5.5 с 49%; pass@1 е дялът на сглобяванията, в които минават всички тестови планове. DeepSeek V4.1 Flash минава 77% от тестовите си планове при около 2,50 долара на сглобяване, а нито един модел с отворени тегла не минава цяло сглобяване. 8 от 17 продукта са публични в GitHub (хранилището vibench-public), 9 са скрити.
Две числа в тази история не бива да се смесват. На пръв поглед DeepSeek V4.1 Flash със своите 77% бие GPT-6.1 Sol с 65%. Не го бие. 65% е дял цели сглобявания, в които всичко е минало, а 77% е дял отделни тестови планове.
77% от плановете не е 77% от продукта.
Осем от 17 продукта са публични в GitHub, девет са скрити. Публичните може да пусне всеки. Докато някой друг не ги пусне, числата са на Replit.
Официални първоизточници
Replit - ViBench 2.0: A Benchmark for Long-Horizon Software Building, 28.10.2026Визуалът към статията е генериран код-арт, без чужди изображения.