지원되는 Kubernetes 클러스터 버전

각 Azure용 GKE 출시 버전에는 Kubernetes 버전 노트가 제공됩니다. 이는 출시 노트와 비슷하지만 Kubernetes 버전에만 해당되며 더 자세한 기술 세부정보를 제공할 수 있습니다.

Azure용 GKE에서는 다음 Kubernetes 버전을 지원합니다.

Kubernetes 1.28

1.28.7-gke.1700

Kubernetes OSS 출시 노트

1.28.5-gke.1200

Kubernetes OSS 출시 노트

1.28.5-gke.100

Kubernetes OSS 출시 노트

1.28.3-gke.700

Kubernetes OSS 출시 노트

  • 브레이킹 체인지: 1.28부터 클러스터는 {GCP_LOCATION}-gkemulticloud.googleapis.com에 대한 아웃바운드 HTTPS 연결이 필요합니다. 프록시 서버 또는 방화벽에서 이 트래픽을 허용하는지 확인합니다.

  • 기능: 대부분의 기능에 대해 Google IAM 바인딩을 명시적으로 추가할 필요가 없습니다.

    1. 클러스터를 만들 때 더 이상 gke-system/gke-telemetry-agent에 바인딩을 추가할 필요가 없습니다.
    2. Google Managed Service for Prometheus에 관리형 데이터 수집을 사용 설정할 때 더 이상 gmp-system/collector 또는 gmp-system/rule-evaluator에 바인딩을 추가할 필요가 없습니다.

  • 기능: Ubuntu 22.04에서 이제 linux-azure 6.2 커널 버전을 사용합니다.

  • 버그 수정: 이제 gke-azure-encryption-provider 제어 영역 포드의 모니터링 측정항목이 kube-system 네임스페이스에 보고됩니다. 이전에는 기본 네임스페이스에서 실수로 보고되었습니다.

  • 버그 수정: 클러스터를 버전 1.28로 업그레이드하면 이전 버전(최대 1.25)에서 생성되었지만 더 이상 관련이 없는 오래된 리소스가 삭제됩니다. 네임스페이스 gke-system의 다음 리소스가 있으면 삭제됩니다.

    • daemonset fluentbit-gke-windows 및 gke-metrics-agent-windows
    • configmap fluentbit-gke-windows-config 및 gke-metrics-agent-windows-conf

  • 버그 수정: Azure용 Anthos 클러스터에서 Cloud Logging의 로그 수집이 향상되었습니다.

    • 타임스탬프 파싱 문제가 해결되었습니다.
    • anthos-metadata-agent의 오류 로그에 올바른 심각도 수준이 할당되었습니다.

  • 보안 수정사항

Kubernetes 1.27

1.27.11-gke.1600

Kubernetes OSS 출시 노트

1.27.10-gke.500

Kubernetes OSS 출시 노트

1.27.9-gke.100

Kubernetes OSS 출시 노트

1.27.7-gke.600

Kubernetes OSS 출시 노트

  • 버그 수정: Azure용 Anthos 클러스터에서 Cloud Logging의 로그 수집이 향상되었습니다.

    • 타임스탬프 파싱 문제가 해결되었습니다.
    • anthos-metadata-agent의 오류 로그에 올바른 심각도 수준이 할당되었습니다.

  • 보안 수정사항

1.27.6-gke.700

Kubernetes OSS 출시 노트

1.27.5-gke.200

Kubernetes OSS 출시 노트

  • 기능: Ubuntu 22.04에서 이제 linux-azure 6.2 커널 버전을 사용합니다.

  • 보안 수정사항

1.27.4-gke.1600

Kubernetes OSS 출시 노트

  • 지원 중단: 인증되지 않은 kubelet 읽기 전용 포트 10255가 중지되었습니다. 노드 풀이 버전 1.27로 업그레이드되면 해당 버전에서 실행중인 워크로드가 더 이상 포트 10255에 연결할 수 없습니다.

  • 기능: Azuredisk CSI 드라이버를 v1.28.1로 업그레이드했습니다.

  • 기능: Azurefile CSI 드라이버를 v1.28.1로 업그레이드했습니다.

  • 기능: snapshot-controller 및 csi-snapshot-validation-webhook이 v6.2.2로 업그레이드되었습니다. 새 버전에는 API에 대한 중요한 변경사항이 도입되었습니다. 특히 VolumeSnapshot, VolumeSnapshotContents, VolumeSnapshotClass v1beta1 API를 더 이상 사용할 수 없습니다.

  • 기능: API 생성 및 업데이트에서 새 admin-groups 플래그에 대한 지원이 추가되었습니다. 이 플래그를 사용하면 고객이 나열된 그룹을 클러스터 관리자로 쉽고 빠르게 인증할 수 있으므로 RBAC 정책을 수동으로 만들고 적용할 필요가 없습니다.

  • 기능: fluent-bit(로그 프로세서 및 전달자), gke-metrics-agent(측정항목 수집기), audit-proxy(감사 로그 프록시)에 대해 gzip 압축이 사용 설정되었습니다. fluent-bit는 제어 영역과 워크로드의 로그 데이터를 Cloud Logging으로 보내기 전에 압축하며 gke-metrics-agent는 제어 영역과 워크로드의 측정항목 데이터를 Cloud Monitoring으로 보내기 전에 압축합니다. audit-proxy는 감사 로그 데이터를 감사 로깅으로 보내기 전에 압축합니다. 이렇게 하면 네트워크 대역폭과 비용이 줄어듭니다.

  • 기능: 이제 노드 자동 복구가 정식 버전으로 제공됩니다.

  • 기능: Cloud Storage에서 다운로드한 Google 관리 바이너리 아티팩트의 파일 무결성 검사 및 디지털 지문 검증을 추가하여 보안이 향상되었습니다.

  • 기능: 제어 영역에서 etcd 및 etcd-events의 자동 주기적 디스크 조각 모음에 대한 지원이 추가되었습니다. 이 기능은 불필요한 디스크 스토리지를 줄이고 디스크 스토리지 문제로 인해 etcd 및 제어 영역을 사용할 수 없게 되는 것을 방지하는 데 도움이 됩니다.

  • 기능: Kubernetes 리소스 측정항목의 측정항목 이름에서 kubernetes.io/ 대신 kubernetes.io/anthos/ 측정항목 프리픽스를 사용하도록 변경되었습니다. 자세한 내용은 측정항목 참고 문서를 참조하세요.

  • 기능: 안정성이 향상될 수 있도록 기본 etcd 버전이 새 클러스터에서 v3.4.21로 변경되었습니다. 이 버전으로 업그레이드된 기존 클러스터는 etcd v3.5.6을 사용합니다.

  • 기능: kubelet의 리소스를 예약하여 노드 리소스 관리가 개선되었습니다. 이 기능은 시스템 및 Kubernetes 프로세스에 필요한 리소스가 있는지 확인하여 메모리 부족(OOM) 오류를 방지하는 데 중요하지만 워크로드 중단이 발생할 수 있습니다. kubelet의 리소스 예약은 사용 가능한 포드 리소스에 영향을 미쳐 기존 워크로드를 처리하기 위한 소규모 노드의 용량에 영향을 줄 수 있습니다. 고객은 이 새로운 기능을 활성화하여 소규모 노드에서 계속 워크로드를 지원할 수 있는지 확인해야 합니다.

    • 예약된 메모리 비율은 다음과 같습니다.
    • 메모리가 1GB 미만인 머신의 경우 255MiB
    • 처음 4GB 메모리 중 25%
    • 다음 4GB 중 20%
    • 다음 8GB의 10%
    • 다음 112GB의 6%
    • 128GB 이상의 메모리 중 2%
    • 예약된 CPU 비율은 다음과 같습니다.
    • 첫 번째 코어의 6%
    • 다음 코어의 1%
    • 다음 코어 2개의 0.5%
    • 4개를 넘는 코어의 0.25%

  • 보안 수정사항

Kubernetes 1.26

1.26.14-gke.1500

Kubernetes OSS 출시 노트

1.26.13-gke.400

Kubernetes OSS 출시 노트

1.26.12-gke.100

Kubernetes OSS 출시 노트

1.26.10-gke.600

Kubernetes OSS 출시 노트

  • 버그 수정: Azure용 Anthos 클러스터에서 Cloud Logging의 로그 수집이 향상되었습니다.

    • 타임스탬프 파싱 문제가 해결되었습니다.
    • anthos-metadata-agent의 오류 로그에 올바른 심각도 수준이 할당되었습니다.

  • 보안 수정사항

1.26.9-gke.700

Kubernetes OSS 출시 노트

1.26.8-gke.200

Kubernetes OSS 출시 노트

  • 기능: Ubuntu 22.04에서 이제 linux-azure 6.2 커널 버전을 사용합니다.

  • 보안 수정사항

1.26.7-gke.500

Kubernetes OSS 출시 노트

1.26.5-gke.1400

Kubernetes OSS 출시 노트

1.26.5-gke.1200

Kubernetes OSS 출시 노트

1.26.4-gke.2200

Kubernetes OSS 출시 노트

  • 버그 수정

    • Kubernetes가 지원 중단된 주석 volume.beta.kubernetes.io/storage-class가 있는 PersistentVolumeClaims에 기본 StorageClass를 잘못 적용하는 문제가 해결되었습니다.
    • Logging 에이전트가 점점 더 많은 양의 메모리를 사용하는 문제가 해결되었습니다.

  • 보안 수정사항

    • CVE-2023-1872가 수정되었습니다.
    • 네트워크 연결 모니터링을 담당하는 netfilter 연결 추적(conntrack)에 영향을 미치는 문제가 해결되었습니다. 이 수정은 conntrack 테이블에 새 연결을 올바르게 삽입하고 Linux 커널 버전 5.15 이상의 변경사항으로 인한 제한사항을 해결합니다.

1.26.2-gke.1001

Kubernetes OSS 출시 노트

  • 알려진 문제: Kubernetes 1.26.2는 지원 중단된 주석 volume.beta.kubernetes.io/storage-class가 있는 PersistentVolumeClaims에 기본 StorageClass를 잘못 적용합니다.

  • 기능: OS 이미지가 Ubuntu 22.04로 업데이트되었습니다. 이제 cgroupv2가 기본 제어 그룹 구성으로 사용됩니다.

    • Ubuntu 22.04는 기본적으로 cgroupv2를 사용합니다. 애플리케이션이 cgroup 파일 시스템에 액세스하는지 확인하는 것이 좋습니다. 이러한 경우 cgroupv2를 사용하도록 업데이트해야 합니다. cgroupv2와의 호환성을 보장하기 위해 업데이트가 필요할 수 있는 몇 가지 애플리케이션의 예시는 다음과 같습니다.
    • cgroup 파일 시스템에 의존하는 서드 파티 모니터링 및 보안 에이전트
    • cAdvisor가 포드 및 컨테이너 모니터링을 위한 독립형 DaemonSet로 사용되는 경우 버전 v0.43.0 이상으로 업데이트해야 합니다.
    • JDK를 사용하는 경우 버전 11.0.16 이상 또는 버전 15 이상을 사용하는 것이 좋습니다. 이러한 버전은 cgroupv2를 완벽하게 지원합니다.
    • uber-go/automaxprocs 패키지를 사용하는 경우 v1.5.1 이상 버전을 사용해야 합니다.
    • 자세한 내용은 Ubuntu 출시 노트를 참조하세요.

  • 기능: 제어 영역 구성요소의 측정항목을 Cloud Monitoring으로 보냅니다. 여기에는 kube-apiserver, etcd, kube-scheduler, kube-controller-manager의 Prometheus 측정항목 하위 집합이 포함됩니다. 측정항목 이름은 kubernetes.io/anthos/ 프리픽스를 사용합니다.

  • 기능: Google Cloud Platform으로 Kubernetes 리소스 메타데이터를 전송하여 사용자 인터페이스 및 클러스터 측정항목을 모두 개선할 수 있습니다. 메타데이터를 올바르게 수집하려면 고객이 Config Monitoring for Ops API를 사용 설정해야 합니다. 이 API는 Google Cloud 콘솔에서 사용 설정하거나 gcloud CLI에서 직접 opsconfigmonitoring.googleapis.com API를 사용 설정할 수 있습니다. 또한 고객은 Cloud Logging/Monitoring 승인 문서에 설명된 단계에 따라 필요한 IAM 바인딩을 추가해야 합니다. 해당하는 경우 opsconfigmonitoring.googleapis.com을 프록시 허용 목록에 추가합니다.

  • 기능: kubelet 단계적 노드 종료가 사용 설정되었습니다. 시스템 이외의 포드는 종료하는 데 15초가 주어지며 그 후 시스템 포드(system-cluster-critical 또는 system-node-critical 우선순위 클래스 포함)는 정상적으로 종료하는 데 15초가 걸립니다.

  • 기능: 미리보기 모드에서 노드 자동 복구 기능이 사용 설정되었습니다. 미리보기를 선택하려면 계정팀에 문의하세요.

  • 버그 수정: 새로 생성된 클러스터는 이제 안정성 향상을 위해 etcd v3.4.21을 사용합니다. 이전 버전의 기존 클러스터는 이미 etcd v3.5.x를 사용했으며 클러스터 업그레이드 중 v3.4.21로 다운그레이드되지 않습니다. 이 클러스터는 대신 v3.5.6을 사용합니다.

  • 보안 수정사항:

버전 지원 기간

지원되는 Kubernetes 버전의 출시일 및 지원 종료 날짜는 Azure용 GKE 버전 수명 페이지에 나와 있습니다.