限定公開クラスタを作成する

コンソール

ネットワークとサブネットを作成する

1. Google Cloud コンソールで [VPC ネットワーク] ページに移動します。
   

   [VPC ネットワーク] に移動

2. [add_box VPC ネットワークを作成] をクリックします。

3. [名前] に「my-net-0」と入力します。

4. [サブネット作成モード] で [カスタム] を選択します。

5. [新しいサブネット] セクションの [名前] に「my-subnet-0」を入力します。

6. [リージョン] リストで、目的のリージョンを選択します。

7. [IP アドレス範囲] に「10.2.204.0/22」と入力します。

8. [限定公開の Google アクセス] を [オン] に設定します。

9. [完了] をクリックします。

10. [作成] をクリックします。

限定公開クラスタを作成する

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. [add_box 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。

3. [名前] に private-cluster-0 を指定します。

4. ナビゲーション パネルで [ネットワーキング] をクリックします。

5. [ネットワーク] リストで [my-net-0] を選択します。

6. [ノードのサブネット] リストで [my-subnet-0] を選択します。

7. [限定公開クラスタ] をオンにします。

8. [外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオフにします。

9. （Autopilot の場合は省略可）: [コントロール プレーンの IP 範囲] を 172.16.0.32/28 に設定します。

10. [作成] をクリックします。

gcloud

• Autopilot クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create-auto private-cluster-0 \
      --create-subnetwork name=my-subnet-0 \
      --enable-master-authorized-networks \
      --enable-private-nodes \
      --enable-private-endpoint
  

• Standard クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create private-cluster-0 \
      --create-subnetwork name=my-subnet-0 \
      --enable-master-authorized-networks \
      --enable-ip-alias \
      --enable-private-nodes \
      --enable-private-endpoint \
      --master-ipv4-cidr 172.16.0.32/28
  

ここで

• --create-subnetwork name=my-subnet-0 を指定すると、GKE によって my-subnet-0 という名前のサブネットが自動的に作成されます。
• --enable-master-authorized-networks を指定すると、パブリック エンドポイントへのアクセスが承認された IP アドレス範囲に制限されます。

• --enable-ip-alias は、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。

• --enable-private-nodes は、クラスタのノードに外部 IP アドレスがないことを示します。
• --enable-private-endpoint は、クラスタがコントロール プレーン API エンドポイントの内部 IP アドレスを使用して管理されていることを示します。

• --master-ipv4-cidr 172.16.0.32/28 は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。

API

公開アクセス可能なコントロール プレーンなしでクラスタを作成するには、privateClusterConfig リソースの enablePrivateEndpoint: true フィールドを指定します。

gcloud

• Autopilot クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create-auto private-cluster-1 \
      --create-subnetwork name=my-subnet-1 \
      --enable-master-authorized-networks \
      --enable-private-nodes
  

• Standard クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create private-cluster-1 \
      --create-subnetwork name=my-subnet-1 \
      --enable-master-authorized-networks \
      --enable-ip-alias \
      --enable-private-nodes \
      --master-ipv4-cidr 172.16.0.0/28
  

ここで

• --create-subnetwork name=my-subnet-1 を指定すると、GKE によって my-subnet-1 という名前のサブネットが自動的に作成されます。
• --enable-master-authorized-networks を指定すると、パブリック エンドポイントへのアクセスが承認された IP アドレス範囲に制限されます。

• --enable-ip-alias は、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。

• --enable-private-nodes は、クラスタのノードに外部 IP アドレスがないことを示します。

• --master-ipv4-cidr 172.16.0.0/28 は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。

API

Cluster API リソースの privateClusterConfig フィールドを指定します。

{
  "name": "private-cluster-1",
  ...
  "ipAllocationPolicy": {
    "createSubnetwork": true,
  },
  ...
    "privateClusterConfig" {
      "enablePrivateNodes": boolean # Creates nodes with internal IP addresses only
      "enablePrivateEndpoint": boolean # false creates a cluster control plane with a publicly-reachable endpoint
      "masterIpv4CidrBlock": string # CIDR block for the cluster control plane
      "privateEndpoint": string # Output only
      "publicEndpoint": string # Output only
  }
}

コンソール

ネットワーク、サブネット、セカンダリ範囲の作成

1. Google Cloud コンソールで [VPC ネットワーク] ページに移動します。
   

   [VPC ネットワーク] に移動

2. [add_box VPC ネットワークを作成] をクリックします。

3. [名前] に「my-net-2」と入力します。

4. [サブネット作成モード] で [カスタム] を選択します。

5. [新しいサブネット] セクションの [名前] に「my-subnet-2」を入力します。

6. [リージョン] リストで、目的のリージョンを選択します。

7. [IP アドレス範囲] に「192.168.0.0/20」と入力します。

8. [セカンダリ IP 範囲を作成する] をクリックします。[サブネット範囲の名前] に「my-services」と入力し、[セカンダリ IP の範囲] に「10.0.32.0/20」と入力します。

9. [IP の範囲を追加] をクリックします。[サブネット範囲の名前] に「my-pods」と入力し、[セカンダリ IP の範囲] に「10.4.0.0/14」と入力します。

10. [限定公開の Google アクセス] を [オン] に設定します。

11. [完了] をクリックします。

12. [作成] をクリックします。

限定公開クラスタを作成する

サブネットを使用する限定公開クラスタを作成します。

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. [add_box 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。

3. [名前] に「private-cluster-2」と入力します。

4. ナビゲーション パネルで [ネットワーキング] をクリックします。

5. [限定公開クラスタ] をオンにします。

6. 承認済みの外部 IP 範囲からアクセス可能なコントロール プレーンを作成するには、[外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオンのままにします。

7. （Autopilot の場合は省略可）[コントロール プレーンの IP 範囲] を 172.16.0.16/28 に設定します。

8. [ネットワーク] リストで、[my-net-2] を選択します。

9. [ノードのサブネット] リストで [my-subnet-2] を選択します。

10. [セカンダリ範囲を自動的に作成する] チェックボックスをオフにします。

11. [Pod のセカンダリ CIDR 範囲] リストで [my-pods] を選択します。

12. [サービスのセカンダリ CIDR 範囲] リストで [my-services] を選択します。

13. [コントロール プレーン承認済みネットワークを有効にする] チェックボックスをオンにします。

14. [作成] をクリックします。

gcloud

ネットワークの作成

まず、クラスタ用のネットワークを作成します。次のコマンドによって、ネットワーク my-net-2 が作成されます。

gcloud compute networks create my-net-2 \
    --subnet-mode custom

サブネットとセカンダリ範囲の作成

次に、ポッドのセカンダリ範囲を my-pods、サービスのセカンダリ範囲を my-services に設定して、my-net-2 ネットワークに my-subnet-2 サブネットを作成します。

gcloud compute networks subnets create my-subnet-2 \
    --network my-net-2 \
    --range 192.168.0.0/20 \
    --secondary-range my-pods=10.4.0.0/14,my-services=10.0.32.0/20 \
    --enable-private-ip-google-access

限定公開クラスタを作成する

作成したネットワーク、サブネット、セカンダリ範囲を使用して、限定公開クラスタ private-cluster-2 を作成します。

• Autopilot クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create-auto private-cluster-2 \
      --enable-master-authorized-networks \
      --network my-net-2 \
      --subnetwork my-subnet-2 \
      --cluster-secondary-range-name my-pods \
      --services-secondary-range-name my-services \
      --enable-private-nodes
  

• Standard クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create private-cluster-2 \
      --enable-master-authorized-networks \
      --network my-net-2 \
      --subnetwork my-subnet-2 \
      --cluster-secondary-range-name my-pods \
      --services-secondary-range-name my-services \
      --enable-private-nodes \
      --enable-ip-alias \
      --master-ipv4-cidr 172.16.0.16/28 \
      --no-enable-basic-auth \
      --no-issue-client-certificate
  

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. [add_box 作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。

3. [名前] に「private-cluster-3」と入力します。

4. ナビゲーション パネルで [ネットワーキング] をクリックします。

5. [限定公開クラスタ] オプションを選択します。

6. [外部 IP アドレスを使用してコントロール プレーンにアクセス] チェックボックスをオンのままにします。

7. （Autopilot の場合は省略可）[コントロール プレーンの IP 範囲] を 172.16.0.32/28 に設定します。

8. [ネットワーク] と [ノードのサブネット] を default に設定したままにします。これにより、GKE によってクラスタのサブネットが生成されます。

9. [コントロール プレーン承認済みネットワークを有効にする] チェックボックスをオフにします。

10. [作成] をクリックします。

gcloud

• Autopilot クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create-auto private-cluster-3 \
      --create-subnetwork name=my-subnet-3 \
      --no-enable-master-authorized-networks \
      --enable-private-nodes
  

• Standard クラスタの場合は、次のコマンドを実行します。

  gcloud container clusters create private-cluster-3 \
      --create-subnetwork name=my-subnet-3 \
      --no-enable-master-authorized-networks \
      --enable-ip-alias \
      --enable-private-nodes \
      --master-ipv4-cidr 172.16.0.32/28
  

ここで

• --create-subnetwork name=my-subnet-3 を指定すると、GKE によって my-subnet-3 という名前のサブネットが自動的に作成されます。
• --no-enable-master-authorized-networks は、クラスタの承認済みネットワークを無効にします。

• --enable-ip-alias は、クラスタを VPC ネイティブにします（Autopilot の場合は不要）。

• --enable-private-nodes は、クラスタのノードに外部 IP アドレスがないことを示します。

• --master-ipv4-cidr 172.16.0.32/28 は、コントロール プレーンの内部 IP アドレス範囲を指定します（Autopilot の場合は任意）。この設定はこのクラスタでは永続的であり、VPC 内で一意であることが必要です。RFC 1918 以外の内部 IP アドレスの使用がサポートされています。

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. クラスタリストで、クラスタ名をクリックします。

[詳細] タブの [ネットワーキング] で、[コントロール プレーン アドレスの範囲] フィールドの値をメモしておきます。

gcloud

次のコマンドを実行します。

gcloud container clusters describe CLUSTER_NAME

CLUSTER_NAME は、使用する限定公開クラスタの名前に置き換えます。

コマンド出力で、masterIpv4CidrBlock フィールドの値をメモしておきます。

コンソール

1. Google Cloud コンソールの [ファイアウォール ポリシー] ページに移動します。

   [ファイアウォール ポリシー] に移動

2. [VPC ファイアウォール ルール] の [テーブルをフィルタリング] に「gke-CLUSTER_NAME」と入力します。

結果として出力される [ターゲット] フィールドの値をメモしておきます。

gcloud

次のコマンドを実行します。

gcloud compute firewall-rules list \
    --filter 'name~^gke-CLUSTER_NAME' \
    --format 'table(
        name,
        network,
        direction,
        sourceRanges.list():label=SRC_RANGES,
        allowed[].map().firewall_rule().list():label=ALLOW,
        targetTags.list():label=TARGET_TAGS
    )'

コマンド出力で、[ターゲット] フィールドの値をメモしておきます。

コンソール

1. Google Cloud コンソールの [ファイアウォール ポリシー] ページに移動します。

   [ファイアウォール ポリシー] に移動

2. [add_box ファイアウォール ルールを作成] をクリックします。

3. [名前] に、ファイアウォール ルールの名前を入力します。

4. [ネットワーク] リストで、関連するネットワークを選択します。

5. [トラフィックの方向] で [上り（内向き）] をクリックします。

6. [一致したときのアクション] で [許可] をクリックします。

7. [ターゲット] リストで、[指定されたターゲットタグ] を選択します。

8. [ターゲットタグ] に、先ほどメモしたターゲット値を入力します。

9. [ソースフィルタ] リストで、[IPv4 範囲] を選択します。

10. [ソース IPv4 の範囲] に、クラスタ コントロール プレーンの CIDR ブロックを入力します。

11. [プロトコルとポート] で [指定したプロトコルとポート] をクリックし、関連するプロトコル（tcpまたはudp）のチェックボックスを選択して、プロトコル フィールドにポート番号を入力します。

12. [作成] をクリックします。

gcloud

次のコマンドを実行します。

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
    --action ALLOW \
    --direction INGRESS \
    --source-ranges CONTROL_PLANE_RANGE \
    --rules PROTOCOL:PORT \
    --target-tags TARGET

次のように置き換えます。

• FIREWALL_RULE_NAME: ファイアウォール ルールに付ける名前。
• CONTROL_PLANE_RANGE: 前の手順で確認したクラスタ コントロール プレーンの IP アドレス範囲（masterIpv4CidrBlock）。
• PROTOCOL:PORT: ポートとそのプロトコル（tcp または udp）。
• TARGET: 以前に収集した目標（Targets）値。

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. クラスタのリストで、クラスタ名をクリックします。

3. Autopilot クラスタの場合は、[クラスタの基本] セクションで [外部エンドポイント] フィールドを確認します。値は [無効] です。

Standard クラスタの場合は、次の操作を行います。

1. [クラスタ] ページで、[ノード] タブをクリックします。
2. [ノードプール] でノードプールの名前をクリックします。
3. [ノードプールの詳細] ページの [インスタンス グループ] で、インスタンス グループの名前をクリックします。たとえば、gke-private-cluster-0-default-pool-5c5add1f-grp などです。
4. インスタンスのリストで、インスタンスに外部 IP アドレスが指定されていないことを確認します。

gcloud

次のコマンドを実行します。

kubectl get nodes --output wide

出力の EXTERNAL-IP 列は空になります。

STATUS ... VERSION        EXTERNAL-IP  OS-IMAGE ...
Ready      v.8.7-gke.1                 Container-Optimized OS
Ready      v1.8.7-gke.1                Container-Optimized OS
Ready      v1.8.7-gke.1                Container-Optimized OS

コンソール

クラスタの詳細ページで「VPC ピアリング」行を調べます。クラスタが VPC ピアリング接続を再利用している場合、出力は gke-n で始まります。例: gke-n34a117b968dee3b2221-93c6-40af-peer

gcloud

gcloud container clusters describe CLUSTER_NAME \
    --format="value(privateClusterConfig.peeringName)"

クラスタが VPC ピアリング接続を再利用している場合、出力は gke-n で始まります。例: gke-n34a117b968dee3b2221-93c6-40af-peer

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine のページに移動します。

   Google Kubernetes Engine に移動

2. 各クラスタを選択します。

3. [delete 削除] をクリックします。

gcloud

gcloud container clusters delete -q private-cluster-0 private-cluster-1 private-cluster-2 private-cluster-3

コンソール

1. Google Cloud コンソールで [VPC ネットワーク] ページに移動します。

   [VPC ネットワーク] に移動

2. ネットワークのリストで、my-net-0 をクリックします。

3. [VPC ネットワークの詳細] ページで、delete [VPC ネットワークの削除] をクリックします。

4. [ネットワークの削除] ダイアログで [削除] をクリックします。

gcloud

gcloud compute networks delete my-net-0