Сьогоднішня тема – це те, про що майже всі чули, але мало хто може насправді пояснити. GTOPS. Ви, мабуть, бачили цю згадку у вакансіях, на конференціях чи в документації Azure. Але що це таке насправді? Це просто черговий модний термін DevOps чи щось кардинально інше? Ось коротка відповідь. GTOPS – це робоча модель, де дід стає єдиним джерелом істини для всієї вашої інфраструктури, не лише коду додатків, а й усього, що забезпечує їхню роботу. Наприкінці цього епізоду ви зрозумієте, що таке GTOPS, чому він став стандартом для керування Кубанітас-Вежур і як він дозволяє робити відкати однією командою. Старий підхід – ручне розгортання та розбіжність конфігурацій. Почнімо з проблеми, яку вирішує GTOPS. Уявіть, що ви керуєте кластером Кубанітас-Вежур. Розробники надсилають код «CI-конвейер будує образи контейнерів, а хтось запускає кубикателл-аплай для їх розгортання». Можливо, ви, можливо, колега, або ви натискаєте кнопку в Azure DevOps, і так чи інакше розгортання відбувається. Це працює добре, поки не виникають проблеми. Ось що відбувається далі. Комусь із вашої команди потрібно швидко виправити помилку, тому він підключається по SSH до вузла, використовує портал Azure або запускає кубикател-едит безпосередньо для розгортання. Вони вносять невелику зміну, наприклад, правлять конфіг-меп або змінюють змінну середовища, і це здається безпечним. Принаймні, вони так думають. Проблема в тому, що ця зміна не потрапляє в діт, тому ваш кластер тепер має конфігурацію, яка не відповідає тому, що у вашому репозиторії. Це називається «розбіжність конфігурацій» або «дріфт». Розбіжність – це тихий вбивця, бо все працює до наступного розгортання, коли хтось запускає кубикател-аплай з оригінальним маніфестом і перезаписує це швидке виправлення. Або гірше – розбіжність викликає неочікувану поведінку, яку ніхто не може пояснити. Ви починаєте налагодження, перевіряєте логи, дивитесь на VAML, у діт, усе здається правильним, але кластер поводиться інакше. Ви не маєте уявлення, що змінилося, коли і хто це зробив. Я бачив, як це трапляється. Колега підключається по SSH до вузла, змінює конфігурацію для тесту, забуває повернути все назад і йде додому. Наступного дня розгортання ламається, і ніхто не може пояснити, чому. Репозиторій діт виглядає чистим, але в кластері хаос, і ви витрачаєте години, намагаючись з'ясувати, що сталося. Тож виникає питання. Що, якби існував спосіб змусити кластер завжди відповідати тому, що є в діт? Що, якби можна було гарантувати, що те, що знаходиться у вашому репозиторії, є саме тим, що працює у виробничому середовищі? Це і є головна ідея GTOPS. Що таке GTOPS насправді? Отже, що саме таке GTOPS? Ось найпростіше визначення, яке я можу дати. Діт стає вашим єдиним джерелом істини не лише для коду, а й для всього, що потрібно вашій інфраструктурі для роботи. Кожна конфігурація, кожен маніфест розгортання, кожна змінна середовища – усе це зберігається в діт. Ніщо не запускається у вашому кластері, якщо воно не визначено там. GTOPS – це не інструмент, який можна купити. Це операційна модель, як DevOps або DevSecOps. Набір принципів, що керують тим, як ви керуєте своєю інфраструктурою. Стандарт OpenDTops визначає чотири основні принципи, і я хочу пройтися по кожному з них. По-перше, ваша система має бути декларативною. Це означає, що ви описуєте кінцевий стан, а не кроки для його досягнення. Замість написання сценарію, створити розгортання, масштабувати до п'яти реплік, відкрити порт 8080, ви пишете в IAML-файл, у якому вказуєте «хочу п'ять реплік на порту 8080», а система сама визначає кроки. І це декларативний підхід. По-друге, він має бути версіонованим. Будь-яка зміна, яку ви вносите у стан свого кластера, є комітом у дід. Отже, ви отримуєте повну історію «хто, що, коли і чому змінив». Більше ніяких здогадок чи перегляду логів. По-третє, зміни витягуються автоматично. Кластер звертається до дід, щоб побачити щонового. Пізніше я поясню, чому це так важливо. І по-четверте, система постійно узгоджується. Усередині вашого кластера працює програмний агент, який постійно порівнює те, що в дід, із тим, що запущено насправді. Якщо вони не збігаються, він усуває розбіжність. Це і є цикл узгодження. Подумайте про це так. Дід – це креслення архітектора. У ньому точно описано, як має виглядати будівля. Кубанітаз – це будівельний майданчик. А G-Tops-оператор – це виконроб. Він ходить із кресленням, перевіряючи кожну стіну, кожну балку, кожне вікно. Якщо щось не збігається, він це виправляє. Якщо хтось із команди вносить несанкціоновану зміну, він помічає це і скасовує її. Креслення завжди є джерелом істини. Але саме тут відбувається справжній су. Як насправді працюють розгортання. У традиційному CI-CD ви проштовхуєте зміни в кластер. У G-Tops-кластер витягує їх, і ця різниця важливіша, ніж здається. Розгортання на основі витягування проти проштовхування. Поговорімо про те, як розгортання працюють насправді, бо саме тут G-Tops змінює все. У традиційній моделі проштовхування ваш CI-конвейер робить усе. Azure Pipelines Jenkins GitHub Actions. Він збирає контейнер, виконує тести, а потім відправляє образ безпосередньо у ваш Кубанітас-кластер. Конвейер містить облікові дані, які надають йому прямий доступ до ARRI-кластера. Він каже, ось нове розгортання. Застосуй його зараз. Це працює, але створює проблему з безпекою. Річ у тім, що якщо цей конвейер буде скомпрометовано, хтось впровадить шкідливий крок, витече токен або буде перехоплено залежність, цей конвейер матиме прямий вихід на ваш робочий кластер. Він може знищити розгортання, видалити простори імен, змінити конфігурації, і все це завдяки дозволам, які ви надали йому для виконання роботи. Тепер подивіться на модель GTOPS. Потік починається так само. CI збирає контейнер і відправляє його в реєстр, наприклад, Azure Container Registry. На цьому CI зупиняється. Він не торкається кластера. Натомість CI оновлює Git-репозиторій за допомогою нового тего-образу. Він змінює один рядок у VAML-файлі, версію образу, і фіксує цю зміну. Це все. Жодного прямого доступу до кластера. Потім оператор GTOPS, що працює всередині вашого кластера, бачить цю зміну. Він витягує останній стан із Git і застосовує його. Кластер звертається до Git, а не навпаки. Це пул-модель. Ваш кластер ніколи не відкриває свій ARRI зовнішнім системам. Він лише витягує дані з Git. Якщо хтось скомпрометує ваш CI-конвайер, максимум, що вони зможуть зробити, це змінити маніфест у репозиторії. Вони не можуть торкнутися кластера безпосередньо. Оператор вирішує, що і коли застосувати. Є ще одна перевага. Ви відокремлюєте збирання від розгортання. CI робить те, у чому він гарний – збирання, тестування, сканування. Оператор GTOPS займається розгортанням. Кожна система зосереджена на одній роботі. Якщо збирання не вдається, у кластері нічого не змінюється. Якщо розгортання не вдається, оператор робить повторну спробу або сповіщає вас. Чисте розділення. Отже, замість того, щоб конвайер штовхав зміни у ваш кластер, ваш кластер сам витягує бажаний стан із дід. Ця проста інверсія робить вашу інфраструктуру безпечнішою, контрольованішою та менш вразливою до випадкових поломок. Цикл узгодження. Отже, як оператор дізнається, коли оновлюватися. Він не чекає на сповіщення. Він запускає безперервний цикл, стежить за дід, порівнює з кластером, застосовує зміни за потреби, а потім робить це знову і знову нескінченно. Це називається циклом узгодження. Він працює постійно, кожні кілька секунд або хвилин, залежно від вашої конфігурації. Оператор ніколи не припиняє спостереження. Уявіть це як термостат у вашому домі. Ви встановлюєте бажану температуру, скажімо, 21 градус. Термостат постійно перевіряє фактичну температуру. Якщо вона опускається нижче 21, вмикається опалення. Якщо піднімається вище, опалення вимикається. Він постійно регулює роботу, щоб відповідати вашим налаштуванням. GTOPS оператор працює так само. DIT містить бажаний стан, кластер має фактичний стан, а оператор постійно порівнює їх і вносить корективи. Отже, що відбувається, коли хтось вручну редагує розгортання в кластері? Можливо, вони запускають кубик ато Edit, щоб змінити кількість реплік. Оператор виявляє цю різницю під час наступного циклу узгодження. У кластері тепер три репліки, але в DIT вказано п'ять. Тож оператор застосовує стан, визначений у DIT, і кластер повертається до п'яти реплік. Несанкціонувану зміну скасовано. Що відбувається, коли ви нацилаєте зміни до DIT? Той самий процес. Оператор виявляє різницю і застосовує її. Розробник зливає піар, який оновлює версію образу з V1.2 до V1.3. Оператор бачить новий маніфест, завантажує новий образ і запускає нові поди. Залічені секунди кластер знову відповідає DIT. Тут є важлива відмінність. Якщо подаваріно завершується, оператору байдуже. Це завдання Кубанітаз, яке виконує контролер реплікасет. DITOPS оператора цікавить лише конфігурація. Якщо маніфест розгортання вимагає п'ять реплік і образ V1.3, а в кластері працюють п'ять реплік V1.3, оператор задоволений. Його не хвилює чи перезавантажився конкретний под. Це звичайна поведінка Кубанітаз. Але якщо хтось змінює маніфест у DIT або безпосередньо в кластері, створюючи розбіжність, оператор діє. Саме це робить DITOPS самовідновлюваним. Він не просто розгортає зміни, він активно запобігає відхиленню вашої інфраструктури від визначеного стану. Отже, вам потрібен DITOPS оператор, що працює у вашому кластері. Ось тут на допомогу приходять AGO-CD та FLAX. AGO-CD проти FLAX. Отже, вам потрібен DITOPS оператор, і у вас є два основні варіанти, обидва чудові. AGO-CD та FLAX – це проєкти рівня CNCF, що означає, що вони пройшли найвищі критерії стабільності, спільноти та готовності до роботи. Але вони підходять до одного і того самого завдання з різних боків. AGO-CD був спочатку створений Intuit і постачається з веб-інтерфейсом. Коли ви встановлюєте AGO-CD, ви отримуєте панель керування, де можна бачити кожну програму, її статус синхронізації, стан та історії розгортання. Ви можете переглядати відмінності між DIT і кластером, вручну запускати процеси та схвалювати зміни. Він розроблений для команд, яким потрібні візуальні панелі керування та ручні точки контролю. Ви визначаєте все як спеціальні ресурси Кубанітаз. Ви створюєте об'єкт DIT-репозиторію, який каже «Стеж за цим репозиторієм». І об'єкт налаштування, який каже «Застосувати цей шлях». Flux підхоплює його та виконує узгодження. Це змушує вас прийняти DIT-орієнтовані робочі процеси, оскільки немає панелі керування, на яку можна покластися. Тепер про те, що важливо для користувачів Azure. Flux є стандартною опцією DITOPS у службі Azure Кубанітаз Service. Microsoft побудувала нативну інтеграцію навколо Flux V2. Коли ви вмикаєте DITOPS у кластері AKS через портал Azure, ви використовуєте Flux у фоновому режимі. Azure Arc також використовує Flux для керування кількома кластерами. Тож, якщо ви інженер Azure, Flux – це природна відправна точка. Але Ago CD має свої сильні сторони. Він популярніший для сценаріїв платформної інженерії, де потрібна центральна панель керування для кількох кластерів. Інтерфейс спрощує роботу командам, яким незручно користуватися командним рядком. І він тісно інтегрується з Ago Rollouts для поступової доставки, як от Canary розгортання, Blue Green розгортання тощо. Ключова архітектурна відмінність полягає в наступному. Ago CD працює як окремий додаток із власним ARRI сервером. Flux працює як набір контролерів Kubernetes, глибше вбудованих у сам кластер. Flux сприймається як частина вашої панелі керування Kubernetes, тоді як Ago CD, як окрема платформа поверх неї. Flux також значною мірою покладається на Customize, який є нативним інструментом шаблонізації Kubernetes. Ago CD може використовувати Customize, Helm або звичайні файли via YML. Обидва підтримують Helm, але у Flux є спеціальний контролер Helm, який обробляє релізи Helm нативно. Тут немає неправильного вибору. Обидва інструменти виконують одну й ту саму роботу. Але для інженерів Azure Flux це шлях найменшого спротиву. Ви можете ввімкнути D-Tops за допомогою Flux у кілька кліків через портал Azure, вказати на D-трепозиторі і він почне синхронізацію. Жодних додаткових інсталяцій, жодного окремого сервера для керування. D-Tops на Azure AKS, Azure Act та Azure DevOps. Отже, як це насправді виглядає, коли ви об'єднуєте все це в Azure? Почнемо з AKS. Azure Kubernetes Service має вбудовану підтримку D-Tops із використанням Flux V2. На порталі Azure ви переходите до свого кластера, знаходите розділ D-Tops і налаштовуєте його, вказуючи на D-трепозиторі. Azure Repose, GitHub, будь-де. Flux починає стежити, і будь-які маніфести, які ви додаєте до цього репозиторію, автоматично застосовуються до вашого кластера. Але AKS – це лише одна частина. Azure AKS розширює можливості D-Tops на кластери, які не знаходяться в Azure, локальні, в інших хмарах або на периферії. Підключіть їх до Azure AKS, і ви зможете керувати ними всіма за допомогою однієї конфігурації D-Tops. Один репозиторій, багато кластерів, узгоджений стан усюди. Ось що робить AKS. Тепер поговоримо про конвейер, пайплайн. Він створює образ контейнера, запускає тести, сканує на вразливості та надсилає образ до Azure Container Registry. Потім конвейер оновлює маніфести у вашому D-Tops репозиторії, змінюючи тех-образу з V1.2 на V1.3, фіксує цю зміну та відправляє її. Це все. Конвейер ніколи не звертається до кластера безпосередньо. Flux, що працює всередині AKS, виявляє зміни в D-T, завантажує новий маніфест, бачить оновлений тех-образу та застосовує розгортання. Запускаються нові поди, і кластер синхронізується. Ви можете використовувати GitHub Actions замість Azure Pipelines, якщо бажаєте. Шаблон залишається таким самим. CI займається збіркою та оновленням маніфестів, а D-Tops оператор відповідає за розгортання. Інструмент не має значення, важлива сама модель. Ось важлива деталь. Ніколи не зберігайте секрети безпосередньо в DIT, ні ключі ARRI, ні рядки підключення, ні сертифікати. Навіть у приватному репозиторії секрети в DIT це ризи. Замість цього використовуйте Azure Key Vault або зовнішній оператор секретів. Маніфест посилається на секрет за іменем, а оператор отримує фактичне значення зі сховища під час розгортання. Ви також можете накласти політику зверху. Azure Policy разом із Gatekeeper може встановлювати правила, наприклад, заборону привілейованих контейнерів або використання лише дозволених реєстрів. Якщо хтось спробує розгорнути маніфест, що порушує політику, Gatekeeper заблокує його до потрапляння в кластер. Реальна перевага тут – це масштабування. Маючи 50 кластерів AKS, ви не керуєте кожним окремо. Визначаєте бажаний стан в одному DIT-репозиторії, і кожен кластер підлаштовується під цей стан. Додайте новий кластер, вкажіть на репозиторій, і він налаштується сам. Потрібно оновити конфігурацію в усіх кластерах. Змініть один файл у DIT, і оператори зроблять усе інше. Це і є головна перевага DITOPS в Azure. Одне джерело істини – багато кластерів, жодних відхилень. Ключові переваги. Отже, усе це звучить добре в теорії, але що це насправді означає для вашої команди? Почнемо з того, що привертає найбільшу увагу. Відкати стають тривіальними. Погане розгортання здійснено, програма видає помилки, користувачі скаржаться. Раніше вам довелося б поспіхом шукати останню відому робочу конфігурацію, виконувати купу ручних команд і молитися, щоб нічого не пропустити. У DITOPS ви просто скасуєте git commit. Це все. Одна команда. Оператор бачить скасування, завантажує попередній стан, і кластер повертається до того, що працювало раніше. Жодних SSH, жодних кубикатл і, безумовно, жодної паніки. Аудиторський слід вбудовано автоматично. Кожна зміна вашої інфраструктури – це коміт. Ви знаєте, хто це зробив, коли і що саме змінив. Більше ніяких здогадок, чи редагував хтось розгортання о другій ночі і забув про це сказати. Історія наявна, незмінна та доступна для перегляду. Самолікування – ще одна річ, яка звучить як магія, доки не побачиш її в дії. Хтось вручну редагує розгортання в кластері. Можливо, молодший інженер намагається швидко щось виправити. Оператор виявляє відхилення під час наступного циклу узгодження та скасовує його. Кластер лікує себе сам, і ви навіть не знаєте, що це сталося, поки не перевірити логи. Узгодженість між середовищами стає автоматичною. Dev, Test, Staging, Production – усі вони беруть дані з одного діт-репозиторію. Різні гілки чи папки, але єдине джерело істини. Більше ніяких на моїй машині працює, бо ваш тестовий кластер тижні тому відхилився від продуктового. Безпека покращується, оскільки кластер забирає дані з діт, а не їх штовхають у нього. Ваш CI-конвейер ніколи не зберігає облікові дані для прямого доступу до продуктового середовища. Якщо хтось скомпрометує конвейер, він не зможе отримати доступ до кластера. Оператор сам вирішує, що і коли застосовувати. Принцип мінімальних привілеїв за дизайном. Це також підтверджується даними. Згідно з дослідженнями D.O.R.A., команди, що використовують GTOPS, бачать зменшення помилок розгортання на 25%, а середній час відновлення скорочується до 2 хвилин у добре налаштованих системах. Це не теорія, це звіти організацій. І є перевага в співпраці, яку легко не помітити. Зміни в інфраструктурі проходять через пул запити, рев'ю коду та автоматизовані тести, так само, як і код додатків. Ваші команди розробки та операції розмовляють однією мовою – діт. Жодних передач завдань, жодних – просто розгорний – це для мене. Усі працюють однаково. Але залишаються певні поширені непорозуміння, які варто прояснити. Поширені міфи та початок роботи. Почнімо з розвінчання кількох поширених міфів про GTOPS. По-перше, багато хто вважає, що GTOPS тільки для Кубанітаз. Звісно, на Кубанітаз він працює найкраще, тут немає питань. Кубанітаз побудований навколо декларативного стану та узгодження, тому це природний вибір. Але ось у чому річ. Ці самі принципи застосовні всюди, де є декларативні конфігурації. Ви можете використовувати GTOPS, стерафом, пулумі чи навіть ансібл. Просто зберігайте ці конфігурації в діт і дозвольте конвоєру застосовувати їх. Функція самолікування складніша поза Кубанітаз, але дисципліна єдиного джерела істини працює всюди. Інший міф полягає в тому, що для використання GTOPS обов'язково потрібні AGO-CD або FLAX. Якщо ви прагнете повної моделі, розгортання на основі витягування, пул, постійного узгодження та виявлення розбіжностей, то так, вам потрібен певний GTOPS оператор. Але почати можна простіше. Просто розмістіть усі свої маніфести в діт і використовуйте запити на злиття, пул реквестс для внесення змін. Вже це надасть вам більшість переваг аудиту та спільної роботи. Ви завжди зможете додати оператор пізніше, коли виникне потреба в автоматизації. І нарешті існує міф, що GTOPS повністю замінює CI-CD. Це не так. Він замінює лише частину CD. CI все ще збирає ваш код, запускає тести, сканує на вразливості та відправляє образи контейнерів у реєстр. Це все залишається незмінним. Змінюється лише спосіб розгортання цих образів. Замість того, щоб CI-конвейер проштовхував їх у кластер, GTOPS оператор витягує оновлені маніфести з діт. Отже, CI та GTOPS працюють разом, а не замість одне одного. Розпочати роботу насправді досить просто. Оберіть невеликий AKS-кластер і увімкніть FLAX через портал Azure. Це займає лише кілька кліків. Потім спрямуйте його на DIT-репозиторі, що містить простий VAML-файл розгортання, спостерігайте за синхронізацією і готово. Спробуйте змінити значення в VAML, зафіксуйте, коміт, зміни і подивіться, як оновиться кластер. Це ваш перший GTOPS-процес. Згодом ви зможете додавати середовище, вивчити Customize, оскільки FLAX активно його використовує, і налаштувати автоматичні оновлення образів за допомогою таких інструментів, як Renovate або Dependabot. Отже, GTOPS у двох словах – це все. Він перетворює вашу інфраструктуру на DIT-репозиторі, роблячи все відстежуваним, таким, що підлягає скасуванню, та здатним до самовідновлення. Якщо ви керуєте Кубані та Звежур, спробуйте GTOPS-інтеграцію в IKS вже сьогодні. Налаштування займає 10 хвилин і змінить ваше ставлення до розгортань. Підписуйтесь, щоб отримувати більше простих пояснень хмарних інструментів Microsoft.