/// BANGBOO BLOG ///

※ARにコンテナを最初に置いておきたい場合は gcraneコマンドでコピーできる

■GCPディスク容量
コンソールからディスクに入り編集で容量追加

永続ディスクのサイズを増やす | Compute Engine ドキュメント | Google Cloud

　公開イメージのブートは自動変更される

　カスタムイメージや非ブートディスクは手動変更が必要

　手動方法は下記参照

/// BANGBOO BLOG /// - Linux cmd

■GCPでsudo apt-get updateができないとき

Google Cloud PackagesのGPGでエラー。2018/04/02 #googlecloud - Qiita

wget https://packages.cloud.google.com/apt/doc/apt-key.gpg

apt-key add apt-key.gpg

■GCEでの通信（GCEのサービスアカウントとホスト上のOSLoginユーザの違い）

Google APIはSAで行く（SAに各権限を付けておく）

ただgcloud compute start-iap-tunel はSAで行くが

　サービスアカウントユーザロールで実行者とSAを紐づけて行く？
　（サービスアカウントに操作するユーザのserviceAccountUserの権限が必要）

その他のhttpsアクセスやls等コマンドはホスト上の実行者で行く

■IAPトンネルで内部IPでも外部に出る設定
#権限
ユーザ利用のGCEのSAのIAPトンネル権限を踏み台IAPにつける
SAに利用ユーザに対するserviceAccountUserの権限を付ける

#GCEインスタンスにSSHをし下記を実行

#自分に通信するプロキシ

export http_proxy=http://localhost:3128

export https_proxy=http://localhost:3128

#それを転送する

gcloud compute start-iap-tunnel --zone asia-northeast1-a gce-host-proxy001 3128 --local-host-port=localhost:3128 --project=bangboo-kuso-proxy &

#外部通信

git clone xxx

#止める（止め方が分からん）

ps　からの　kill -kill <iap ps>　でできそうにない

gcloud auth revoke　からの gcloud auth login の再ログイン？

export -n http_proxy

■踏み台経由して他のインスタンスに接続

#踏み台に接続

gcloud compute ssh step-fumidai001 --project=bangboo-unco --zone=asia-notrheast2-a --tunnel-through-iap

#リストを出し該当ホストを見つける

gcloud compute instances list

#踏み台から他のへ接続

instance=bangboo-kami

gcloud compute ssh $instance --internal-ip --zone=asia-northeast2-a

#もしGKEなら接続前にstep-fumidai001でクレデンシャルが必要だったり、、、

gcloud container clusters get-credentials main -zone asia-northeast2-a --project bangboo-k8s

■curlで認証を受けながらのURLアクセス

●gcloud auth loginしていると、、

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" https://宛先

●SAキーをアップロードなら、、

export GOOGLE_APPLICATION_CREDENTIALS="/home/aho/sa-key.json"

　この環境変数はgcloudライブラリ/SDK等が認証情報として参照するようになっている

access_token=$(gcloud auth application-default print-access-token)

curl -H "Authorization: Bearer $access_token" https://kuso.com/api/endpoint

■Workload identity federation

使うサービスがIdPを持ってWIF対応していればSAキー無く使用できる(GCPの

SAは要る)

●GCP<-AWS,Github,EKS等OpenID connect/SAML2.0

事前設定）GCP SAを作成し権限付与

　GCPにWIプールを作成

　GCP WIプールで該当IdPを認証、外部アカウントを紐づける

1)UserがIdPにリクエスト

2)IdPがUserを割り当てたIDトークン(JWT)発行

3)IdPがIDトークンをGCPに検証

　組織を限定するGCP設定

　リポジトリを限定するGCP設定

4)GCPがWIF一時トークンを発行しUserがGCPリソースを使用

Workload Identity Federationを図で理解する - Carpe Diem (hatenablog.com)

●GCP<-GKEクラスタは他の方法もある

●●GKEのSA設定（WIF以外）

1)ノードに紐付いたサービスアカウントを使用する

　GKEクラスタ作成時にIAM SAを指定かGCEデフォSAが設定されるのでこれでGCP使用

　GKEノードのワークロード全てで同一のSAが使用されPod毎に権限を分けられない

　GKE のワークロードから GCP サービスへ安全にアクセスする〜 Workload Identity 入門〜 (zenn.dev)

　　GKEの中身はGCEなのでGCEインスタンスのSAを見る？GCEが無いかも

　　GKEがAutopilotならWIFが有効でノードSAがGoogleAPI用には使えない？

2)SAのキーを Kubernetes SecretリソースとしてGKEクラスタに登録

　IAM SA キーの有効期限が長く、手動でログローテーションが必要な点が懸念

　エクスポートした IAM SA の流出リスクがある

　　GCP SAとキーを作成しキーをマニフェストに設定

●●GKEのためのWIF利用（推奨）

GKE node SA @project.iam.serviceaccount.com を

pool name - namespace の WIプールで

GOP SA の pool-namespace@project.iam.serviceaccount.contに紐づける
　コマンドやマニフェストで詳しくはLink先で
　ブールを有効化するとノードSAが使えなくなるので注意

GKE クラスタ内のワークロードから Google Cloud APIs にアクセスする（Workload Identity） - G-gen Tech Blog

■ZOZOの新米Google cloud管理者
新米Google Cloud管理者の奮闘記のその後〜Organizationの秩序を維持する試み〜 - ZOZO TECH BLOG

■データ
次世代データ基盤：データレイクハウスを Google Cloud で実現する (zenn.dev)

BigQuery Data Transfer Service：
Cloud Storage や Amazon S3、Azure Blob Storage など格納されているデータを BigQuery に転送するマネージドサービスです。主に構造化データや半構造化データをバッチ処理にて BigQuery へ直接転送したい場合に使用します。
Storage Transfer Service：
Cloud Storage、Amazon S3、Azure Storage、オンプレミスデータなどに格納されているオブジェクトやファイルを Cloud Storage へ転送するマネージドサービスです。主にオブジェクトやファイルをバッチ処理にて Cloud Storage へ直接転送したい場合に使用します。
Datastream：
Oracle、MySQL、PostgreSQL といったデータベースのから BigQuery に対してシームレスにデータを複製できるサーバーレスな変更データキャプチャ（CDC）サービスです。データベースの内容をリアルタイムに BigQuery へ反映したい場合に使用します。
Cloud Data Fusion：
フルマネージドのデータパイプライン構築サービスであり、ノーコード・ローコードで ETL を実装できます。データ転送のみの用途でも使用可能であり、特にプラグインを使用することで、多種多様なデータソースに対応することが可能です。また、Datastream と同様に Oracle、MySQL、PostgreSQL から BigQuery への CDC 機能も提供されています。
Dataflow：
Apache Beam のプログラミングモデルを使用して、大規模なデータを処理できるフルマネージドでサーバーレスなデータ処理サービスです。データ転送のみの用途でも使用可能であり、Google 提供テンプレートを使用することで、簡単にデータ転送の仕組みを構築することができます。
Pub/Sub：
フルマネージドなメッセージキューイングサービスです。Cloud Storage サブスクリプションを使用すると、Pub/Sub メッセージを Cloud Storage に対して書き込むことが可能です。また BigQuery サブスクリプションを使用すると、Pub/Sub メッセージを BigQuery テーブルに直接書き込むことができ、さらに BigQuery CDC を使用するとテーブルの行単位で UPSERT（UPDATE, INSERT）、DELETE が可能です。
Database Migration Service：
MySQL や PostgreSQL から Cloud SQL や AlloyDB に対して、マネージドサービスへのリフトアンドシフト移行やマルチクラウドの継続的レプリケーションを行います。オンプレミスや他クラウドからのデータベース移行が必要な場合に使用します。

/// BANGBOO BLOG ///

GCP part2