На 20 август GitHub публикува разбор на срива от 17 август, който е държал платформата седем часа и 47 минути и е повалил github.com, автентикацията, Actions, програмните интерфейси и Copilot. По данни на компанията причината не е промяна в код или конфигурация, а недостигнал капацитет.
- Аварията на 17 август е продължила 7 часа и 47 минути и е засегнала github.com, автентикацията, Actions, програмните интерфейси, pull request-ите, issue-тата и Copilot.
- По данни на GitHub нито тя, нито отказът от 6 август идват от промяна в код или конфигурация. И двете са капацитетни.
- Месечните комити са пораснали от 1,4 милиарда през април до 2,9 милиарда през август.
Седем часа и 47 минути. Толкова е стояла повалена платформата, през която половината свят пуска софтуер, а три дни по-късно техническият директор на GitHub седна и написа разбора с изречение, което рядко се чете в корпоративен текст: ако си се опитвал да пуснеш софтуер онзи ден, ние те подведохме.
Обикновено такива текстове започват със "забелязахме повишени нива на грешки". Този започва с признание и продължава с числа. Заслужава да се прочете внимателно, защото числата са по-интересни от извинението.
Къде е тежкото в този разбор
Капацитетна авария е по-неудобната от двете възможни. Счупен код се връща назад. Лошата конфигурация се оправя за минути, понякога от един човек с един ключ. Свършил капацитет значи, че системата е работила точно както е построена, само че светът е дошъл по-голям от очакваното.
Имал съм вечери, на които дойдоха повече хора, отколкото бяхме преброили на хартия, и още на входа ставаше ясно, че проблемът няма да се реши с повече усилие вътре. Тесният вход не се разширява по време на събитието.
И тук идва частта, за която малцина говорят. Част от този растеж е агентски. Кодът, който се пише с машина до теб, се комитва по-често и в по-малки парчета, а всяко от тях иска автентикация, проверка, стартиране. Не съм видял GitHub да го разписва така в текста. Това е мой прочит и го казвам ясно.
Цикълът на повторните опити
Ето детайла, който бих закачил на стената. Клиентът на Copilot е получавал грешка и е опитвал пак. И пак. Хиляди инсталации по света са правили същото едновременно и са налели допълнителен трафик върху система, която тъкмо се вдига на крака.
Това е класика в занаята и все още хапе. Първата от двете незабавни мерки на GitHub е точно срещу нея: лимити, бюджети и променливи изчаквания при повторните опити между услугите. Втората е ревизия на алармите за процесор и памет, които са били с нисък приоритет и не са викали достатъчно силно.
Ако пишеш нещо, което говори с чужд програмен интерфейс, това е безплатният урок за деня. Провери какво прави твоят клиент, когато отсрещната страна почне да връща грешки.
Какво обещават
Над 3 милиона процесорни ядра и 120 петабайта бързо хранилище са вече добавени, а Azure днес носи около 58 на сто от натоварването на платформата срещу 12 на сто през май. Всичко това са данни на GitHub за самия GitHub, така че ги приемам като заявка и чакам да ги видя проверени под натиск. Обещават още изолиране на критичните системи и махане на споделените зависимости между тях. Дотогава имаме компания, която призна публично, че е закъсняла с мащабирането, и написа с числа колко е закъсняла. Това е рядко и си струва да се отбележи. Ще повярвам, като мине следващият връх.
За теб практичното е едно и е неудобно. Ако разработката, доставката и автентикацията ти минават през едно и също място, тримата ти доставчици всъщност са един. Знаеш какво правиш в деня, в който него го няма, или ще го измисляш на живо.