DevOps en het continue leveringssysteem

Scene toepassen

Het software-ontwikkelingsteam stuit bijna onvermijdelijk op "leveringsknelpunten" in het proces van opschaling: de frequentie van de inzendingen van codes neemt toe, maar de snelheid van de toegang wordt langzamer; verschillende tools en processen worden ontwikkeld, getest en uitgevoerd op elkaar, waarbij handmatig contact tussen drie personen en het systeem tegelijk vereist is; milieuverschillen maken "run on my machine" een mondeling argument; en het falen van lijnlijnen, die een log aantal logs vereisen, en het verlies van gebruikers wanneer problemen worden gevonden.

Het probleem is niet dat het team niet hard werkt, maar dat is het wel.Gebrek aan een geautomatiseerd systeem en samenwerkingsnormen die ontwikkeling, testen, implementatie, vervoer en communicatie met elkaar verbinden. De scènes die hier beschreven zijn voor software teams die verwachten te bouwen gestandaardiseerde DevOps praktijken en continue levering mogelijkheden, en worden weergegeven op pagina'sZhiHua Tech (Shanghai e-Seok-shu Hsien-Shui Information Technology Ltd.)De beschikbare DevOps systeembouw en leveringsmethoden vertegenwoordigen niet de openbaarmaking van gegevens voor specifieke klanten.

Typische operationele uitdagingen

1. Lange release cyclus, meerdere handmatige operaties en hoge foutensnelheid

• Handmatig bouwen en implementerenHet handmatige pakket, handmatige upload server, handmatige herstart service nadat de code is ontwikkeld.. een eenvoudige versie kan een half uur duren om te updaten. Elke release is een stressvolle werking, en een licht lek kan mislukken.
• Milieu-incoherentieEr zijn verborgen verschillen tussen de ontwikkeling omgeving, de testomgeving, de pre-publication omgeving en de productieomgeving - de versie van het besturingssysteem, de tussenconfiguratie, het vertrouwen op de bibliotheek kleine versie nummers. Deze verschillen leiden tot het blijven optreden van eigenaardigheid nadat de code die door de test is goedgekeurd is ingezet op de productie.
• Gebrek aan gestandaardiseerde terugrolmechanismen: Wanneer een ernstige storing wordt gedetecteerd na de release, rollback is afhankelijk van handmatige operaties en zelfs van back-up herstel, en terugroltijd wordt gemeten in uren in plaats van minuten.

2. Vertraagde feedback van testen en handmatige bottom-up kwaliteit

• De testketting is een knelpunt.De testperiode kan een week duren na het ontwikkelen van de ingediende code. Het ontwikkelingsteam blijft de code naar voren schrijven, en tegen de tijd dat de test terugkeert, is de ontwikkeling een lange weg gegaan, gebaseerd op de oude code, en de reparatie van Bug is een pijnlijke "psychologische backsupposity" geworden.
• De regressietest is onvoldoende dekking• Handmatige terugloop gevallen vóór de release, beperkt tot tijd en mankracht, meestal alleen betrekking op het belangrijkste proces. Marginalisatie en afbraak worden vaak gedetecteerd na klachten van de gebruiker.

3. Laag waargenomen online en passieve storing respons

• Logs zijn verspreid en moeilijk te verbindenOnder de microservices architectuur, een gebruikersverzoek kan variëren van 5-10 service voorbeelden. Logs van diensten zijn verspreid over verschillende servers, en problemen worden gecontroleerd op een log-by-line basis, zonder een enkele trackID serie.
• We zijn te laat voor surveillance.: De regels van het alarm zijn breed. Vaak alleen wanneer het aantal gebruikers is aanzienlijk gedaald en de business is beschadigd.. en het alarm. Er is een gebrek aan een koppeling analyse en vroegtijdige waarschuwing voor operationele indicatoren (lagere hoeveelheid, succes van betalingen) en infrastructuur indicatoren.

Design van programma's

1. Bouwen van gestandaardiseerde CI/CD stroomlijnen

• Code-inschrijvingsactiveren: De ontwikkeling van een Push-code naar een specifieke tak activeert automatisch de bouw van een stroomlijn - compileren, testen, scannen van de code (SonarQube), veilige scan, spiegelconstructie. Als een link mislukt, ontvangt de ontwikkelaar een onmiddellijke melding in IDE of Enterprise IM.
• Milieu-zelfbediening: De testomgeving en de omgeving van de pre-release worden gedefinieerd door de standaarddefinitie van infrastructuur, of code (terraform/Ansible), en elk teamlid kan de volledige omgeving creëren door één sleutel.
• Grayscale release en kanarie-implementatie: Productie releases worden eerst ingezet 5-10 procent, en observatie van kernindicatoren (fouten, vertragingen, zakelijke gegevens) is normaal, en schaal tot volledig volume. Automatisch, terugdraaiingen worden geactiveerd wanneer afwijkingen optreden.

2. Invoering van geautomatiseerde teststratificatiesystemen

• Testpiramide: Een groot aantal unit tests (snel, geloofwaardig) Een goede integratie test Een klein aantal end-to-end tests. Elke streaming lijn wordt eerst uitgevoerd door middel van unit tests (seconden) en dan pas na het passeren is geïntegreerde testen.
• Automatisering van de regressietest: De prestatie-baseline van de sleutelinterface wordt automatisch getest in elke build. Als een indiening resulteert in een vertraging in een interface P99 die de drempel overschrijdt, wordt de build automatisch gemarkeerd als een storing.

3. Bouwen van volledige keten detecteerbaarheid

• Unified log and link tracking: Gebaseerd op ELK/Loki + OpenTelemetrie worden alle service logs verzameld en ingevoegd in TraceID. Voer een TraceID in wanneer u een vraag zoekt om de tijd te zien die nodig is om de volledige link en elk knooppunt te bellen.
• D.D. Kijk en slim alarm.Infrastructuurbewaking (CPU/RAM/disk/network) + Application monitoring (QPS/delayed/mistake) + Operationele monitoring (lower/payment succes) is gekoppeld aan drie lagen. De alarmregels ondersteunen dezelfde-to-symmetrisch/ring detectie om foutmeldingen en onderrapportage van vaste drempels te voorkomen.

Omvang van de systeemcapaciteit

Code en bouwbeheer

• GitFlow/Trunk-Based
• Geïntegreerd bouwen en vertrouwen op beheer voor multimoduleprojecten
• Code kwaliteit deurbalk: statische scan, veiligheidsgap detectie, test dekking inspectie
• Geïntegreerd beheer van het product magazijn (Dokterspiegel/JAR/WAR/NPM pakket)

• Bestaande integratie en inzet

• Jenkins / Gitlab CI / GitHub Acties Waterlijn
• Multi-milieuautomatisch gebruik (ontwikkeling/test/pre-publicatie/productie)
• Greyscale release, Blue Green implementatie, rolling update strategie
• Uitgifte van de goedkeuringsstroom en automatisering van de gegevens over wijzigingen

Automatiseringstest

• Moduletest / geïntegreerd test-/eind-eindtestlaagbeleid
• Prestatiebenchmark- en regressietests
• Interfacing contract test (Pact) om de intercompatibiliteit van diensten te waarborgen
• Chaos Mesh test om de veerkracht te controleren

• Waarneembare platforms

• ELK / Grafana Loki Centraal Log Platform
• Prometheus + Grafana Indicator Monitoring en Visualisatie
• OpenTelemetrie, volledige link tracking.
• + Multikanaalmelding (kruisen/micro/vliegenboek/PagerDuty)

Infrastructuur is code

• Terraform / Pulumi Cloud Resource Organization
• Ansible / SaltStack Configuration Management
• Kubernetes Cluster Management en Auto-Scalp
• Helmdiagram Standaardtoepassing

Leveringen

Beoogde waardeoriëntatie

• Frequentie en betrouwbaarheid van de afgifte: Tot en met nog vaker worden maandelijkse releases op aanvraag uitgegeven, waarbij elke release aanzienlijk wordt verminderd door een kleine verandering set.
• 70% +• Uitschakeling van kunstmatige verbindingen en wachtverbindingen via geautomatiseerde stroomlijnen.
• Gemiddelde tijd van reparatie van storingen (MTTR) gecomprimeerd van een ouder tot een minuut: volledige ketting volgen + slim alarm, positie root niet meer geraden.
• Teamwerken gingen van "series en ga zo maar door" naar "samen ploegen.": Milieu-zelfbediening, geautomatiseerde testfeedback, ontwikkeling en QA wachten niet langer op elkaar.