DevOps 및 연속 배달 시스템

딜리버리

소프트웨어 개발 팀은 거의 inevitably는 "delivery Bottlenecks"을 사기의 과정에서 발생한다. 코드 제출의 빈도가 증가하지만 액세스 속도가 느리게됩니다. 다른 도구와 프로세스는 개발되고 테스트되고, 각 다른 곳에서 실행되며, 수동 접촉을 필요로하는 3 명의 사람들과 시스템을 한 번에; 환경 차이는 "내 기계에 실행"동사적 인수; 그리고 라인 라인의 실패, 이는 사용자가 발견 할 때 손실의 로그 수를 필요로하는, 사용자의 문제.

문제는 팀이 열심히 작동하지 않는 것이 아니라, 그게 다야.자동화 시스템 및 협업 규범 연계 개발, 테스트, 배포, 수송 및 통신. 여기에 설명 된 장면은 표준화 된 DevOps 관행 및 지속적인 납품 기능을 구축 할 것으로 예상되는 소프트웨어 팀에 대한, 페이지에 표시된다ZhiHua Tech (상해 전자 Seok-shu Hsien-Shui 정보 기술 주식 회사)DevOps 시스템 구축 및 배송 방법은 특정 클라이언트에 대한 데이터의 공개를 나타내지 않습니다.

일반적인 작업 도전

1. 긴 방출 주기, 다수 수동 가동 및 높은 과실 비율

• 수동으로 빌드 및 배치수동 패키지, 수동 업로드 서버, 코드가 개발 된 후 수동 재시작 서비스 - 간단한 버전은 업데이트 할 시간 반 걸릴 수 있습니다. 각 릴리스는 스트레스가 좋은 작동이며 약간의 누출이 실패 할 수 있습니다.
• 환경 incoherence개발 환경, 테스트 환경, 사전 홍보 환경 및 생산 환경 사이의 숨겨진 차이는 - 운영 체제 버전, 중간 구성, 라이브러리 작은 버전 번호에 대한 신뢰성. 이러한 차이는 테스트가 생산에 배치 된 코드 후 소아의 지속적인 발생에 이어.
• 표준화 된 롤백 메커니즘의 Lack: 심각한 기능 장애가 방출 후 감지되면 롤백은 수동 조작에 따라 달라지고 백업 복구에도 롤백 시간이 몇 분 미만으로 측정됩니다.

2. 테스트 및 수동 하단 업 품질에서 지연 된 피드백

• 테스트 체인은 병목입니다.: 시험 기간은 제출 된 코드를 개발 한 후 일주일 동안 지속될 수 있습니다. 개발 팀은 계속해서 코드를 작성하고 테스트가 반환된 시간에 따라 개발은 오래된 코드를 기반으로 한 긴 길을 갔다, 버그의 수리는 고통스러운 "psychological backsupposity"가되었습니다.
• 회귀 시험 적용은 충분합니다• 수동 runback 케이스 출시 전에, 제한된 시간 및 인력, 일반적으로 주요 프로세스를 덮습니다. Marginalization 및 degradation은 사용자 불만 후 종종 감지됩니다.

3. 낮은 관찰 온라인과 수동 실패 응답

• 로그인하고 연결하기 어렵습니다.마이크로서비스 아키텍처에서 사용자 요청은 5-10 서비스 예를 경작 할 수 있습니다. 서비스의 로그는 다른 서버에서 흩어져 있으며 문제가 로그-by-line 기반에 체크되어 단일 트랙 ID 시리얼이 없습니다.
• 우리는 감시를 위해 늦게입니다.: 알람의 규칙은 크게 감소하고 비즈니스가 손상되어있을 때 종종 넓습니다. 경보가 부족합니다. 조작 지표 (낮은 수량, 지불의 성공률) 및 인프라 지표에 대한 링크 분석 및 조기 경고가 부족합니다.

프로그램 디자인 사고

1. 표준화된 CI/CD 흐름 선 건물

• Code 제출 트리거: 푸시 코드의 개발은 특정 지점으로 자동으로 스트림 라인의 구조를 트리거 - 컴파일, 테스트 단위, 코드를 스캔 (SonarQube), 안전한 스캔, 미러 건설. 어떤 링크가 실패하면 개발자는 IDE 또는 Enterprise IM의 즉각적인 알림을받습니다.
• 환경 셀프 서비스: 테스트 환경과 사전 해치 환경은 인프라의 표준 정의 또는 코드 (terraform/Ansible)에 의해 정의되며, 어떤 팀 구성원은 하나의 키로 완벽한 환경을 만들 수 있습니다.
• Grayscale 릴리스 및 운하 배포: 생산 출시는 첫 번째 배포 5 %, 핵심 지표의 관측 (미 스테이크, 지연, 비즈니스 데이터) 정상이며, 전체 볼륨까지 규모. 자동적으로, 롤백은 영향을 미칠 때 트리거됩니다.

2. 자동화된 테스트 stratification 체계의 설치

• 시험 Pyramid: 단위 테스트 (quick, credible)의 많은 수의 적절한 통합 테스트는 작은 수의 최종 테스트. 각 스트리밍 라인은 단위 테스트 (둘째)에 의해 처음 실행되고 그 후에 통과는 통합 테스트입니다.
• 회귀 시험의 자동화: 키 인터페이스의 성능 기준은 각 빌드에서 자동으로 테스트됩니다. 만약 임계값을 초과하는 인터페이스 P99의 지연으로 제출 결과가 발생하면, 빌드는 자동으로 실패로 표시됩니다.

3. 가득 차있는 사슬 탐지를 건축하십시오

• 통합 로그 및 링크 추적: ELK/Loki + OpenTelemetry를 기반으로 모든 서비스 로그는 TraceID로 수집하고 삽입됩니다. 전체 링크와 각 노드로 호출하는 시간을 볼 수 있도록 질문을 검색할 때 TraceID를 입력하십시오.
• D.D. 시계와 똑똑한 경보.인프라 모니터링 (CPU / RAM / 디스크 / 네트워크) + 응용 모니터링 (QPS / 지연 / 미사일) + 운영 모니터링 (lower / 지불 성공)은 세 개의 층과 연결됩니다. 알람 규칙은 고정 임계값의 전달 및 전달을 방지하기 위해 동일한 대칭 / 링 감지를 지원합니다.

시스템 용량 범위

Code 및 Build 관리

• GitFlow/트렁크 기반
• Multimodule 프로젝트 관리에 대한 통합 구축 및 의존
• 부호 질 doorbar: 정체되는 검사, 안전 간격 탐지, 시험 적용 검사
• 제품 창고 통합 관리 (Docker Mirror/JAR/WAR/NPM 패키지)

• 통합 및 배포

• Jenkins / Gitlab CI / GitHub 액션 워터 라인
• 멀티 환경 자동 배포 (개발 / 테스트 / 사전 / 제작)
• Greyscale release, 블루 그린 배포, 롤링 업데이트 전략
• 승인 흐름 및 변경 기록 자동화의 발급

자동화 테스트

• Module Test / 통합시험 / 엔드투엔드 테스트레이어 정책
• 성능 벤치 마크 및 회귀 테스트
• 계약 테스트(Pact)를 연동하여 서비스의 상호 호환성을 보장
• Chaos Mesh 시험은 탄력을 검증합니다.

• 관찰 가능한 플랫폼

• ELK / Grafana Loki Central Log 플랫폼
• Prometheus + Grafana 지표 모니터링 및 시각화
• OpenTelemetry, 전체 링크 추적.
• + 멀티채널 알림(cruising/micro/fly book/PagerDuty)

Infrastructure는 코드입니다

• Terraform / Pulumi Cloud 자원 조직
• Ansible / SaltStack 구성 관리
• Kubernetes 클러스터 관리 및 자동-Scalp
• Helm Chart 표준 응용 프로그램 배포

제품 정보

의 값 방향

• 방출의 빈도 그리고 신뢰성 둘 다: 최대 및 더 자주, 월별 릴리스는 수요에 발행되며, 각 릴리스는 작은 변경 세트로 크게 감소합니다.
• 70% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +10% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +2% +• 인공 연결의 제거 및 자동 흐름 라인을 통해 대기 링크.
• 부모에서 분당으로 압축된 기능 (MTTR)의 수리 평균 시간: 전체 체인 추적 + 스마트 알람, 위치 루트 더 이상 추측하지.
• 팀웍스는 "동물 등"에서 "동물"으로 갔다.: 환경 셀프 서비스, 자동화 테스트 피드백, 개발 및 QA는 서로 더 이상 대기하지 않습니다.