■Cloud Loggingで調べる
ログ エクスプローラを使用したサンプルクエリ  |  Cloud Logging  |  Google Cloud
Logging のクエリ言語  |  Google Cloud

/// GCEのPyhon等のロギングを見る

/// コネクティッドシートでBQアクセスするスプシを調べるLoggingのクエリ

connected_sheets

bigquery.Jobs.create

bigquery.googleapis.com

docId

--データセット名

dataset ni_access_sarerudayo

--除外するにはマイナスを頭に付ける

-protoPayload.authenticationInfo.principal Email="washi@jyaroga.com"

■BQインフォメーションスキーマ information schemaで調べる

//// DOL:

SELECT * FROM prj.ds.INFORMATION SCHEMA.TABLES

/// 組織のジョブ:

SELECT DISTINCT 

creation_time,

information_schema.project_id,

user_email,

job_id,

cache_hit,

FROM

`region-us`.INFORMATION SCHEMA.JOBS BY ORGANIZATION AS Information schema,

UNNEST (referenced_tables) AS referenced_table

WHERE

--データコネクタからジョブ実行だと sheets_dataconnector が Prefix

job_id like "%sheets_%"

--参照先+

AND referenced table.project_id = "pri_xxx"

AND referenced table.dataset_Id = "ds_xxx"

AND referenced table.table_id LIKE "tbl_xxx%"

AND DATE (creation_time) BETWEEN "2022-06-01" AND "2023-01-30"

AND error_result IS NULL

/// プロジェクトのジョブ:

SELECT * FROM `pri_xxx.region-us.INFORMATION SCHEMA.JOBS`

,UNNEST (referenced_tables) AS referenced table

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(). INTERVAL 1 DAY)

AND referenced_table.dataset_id = 'ds_xxx'

--データコネクタからジョブを実行している場合 prefixにsheets_dataconnector、他にはscheduled_query等

AND job_id like "%sheets_%"

/// ラベル:

SELECT * FROM pri xxx.region-us. INFORMATION SCHEMA.JOBS

,UNNEST (referenced_tables) AS referenced_table

,UNNEST (labels) AS label

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()

AND referenced_table.dataset_id = 'ds xxx

--データコネクタからジョブを実行している場合 labels connected_sheetsが含まれる

AND label.value = 'connected_sheets'

/// ジョブBYユーザ

SELECT * FROM `pri_xxx-region-us.INFORMATION SCHEMA.JOBS_BY_USER`

,UNNEST (referenced_tables) AS referenced_table

,UNNEST (labels) AS label

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(). INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()

AND referenced_table.dataset_id = 'ds_xxx'

AND label.value = 'connected_sheets'

　IAPとCDNの両立はできない
　LBのbackendにgcsを設定したときはIAPが使えない
　GKEのingressのLBに他のアプリのバックエンドを同居できない（GKEが上書き自動更新するから、ドメイン別になる）
　IAPでGCEにOSログインする場合はAPI有効やIAPの設定、OSlogin系の権限が必要（Owner付与が楽）
　ネットにでるのがapt updateのみでもNAT/Routerが要る

■VPCネットワーク

■ハンズオン(GAE:php+FW+IAP)→GAEよりCloud runが良い

IAPはGAEが簡単そう（アクセスするのにGoogleの認証プロンプトを出す）
　自前DNSにTXTレコードを設定>確認>IPが表示されAレコードやCnameも登録でき、SSL証明書も使えるようだ
　　しかし無くてもgoogle提供のドメインが使え不要　DNS(TXTレコード)による所有権の確認 - Google Search Consoleの使い方 (howtonote.jp)
　WinローカルにGCP SDKインスコし下記にapp.yamlとindex.phpを置いてcmd→ gcloud app deploy
　　C:\Users\おまはんのユッザー名\AppData\Local\Google\Cloud SDK\php
　IAPを有効にしIAM secured userの権限とIAMでGAE viewer権限付与で@gmail.comユーザ等は見れる
　　外部ドメインを使うときはIdentityPlatform設定が必要そう
止めるにはinstanceを削除する(再度アクセスでinstanceが自動作成される)、IngressをInternal onlyにすると一応止まるか、楽だ

■ハンズオン(Marketplace: GCE+FW->Wordpress)
デフォルト：エフェメラル＋インターネット公開なし(LB/IAP/NAT/Armor付けてから公開しようかと)
VMインスタンス　ネットワークタグwordpress-1-deployment
FW：wordpress-allow-external ターゲットタグwordpress-1-deployment、ソース0.0.0.0/0 tcp0-65535

スナップショットのラベルはKVSで app : wordpress とか env : testとか
DBはステートフルMIG-永続ボリュームにできる？

●cloud shell terminal

gcloud compute instances list　インスタンス一覧

●コンソール

デフォルトVPC NWを削除 > VPC NW作成 > サブネットIPレンジ 10.27.0.0/16-192.168.27.0/24等で

GCE VMを作成(Instance scheduleで起動-停止時間が入れられる、テンプレやグループに使えない？)
　インスタンスを作って設定しスナップショットからOSイメージを作り量産すればいいが
　　instance template作成してinstance group作成してもいい。IGが中々できないならIGを開きエラーメッセージを見ること
　OSはubuntu、API access scopeには"Allow full access to all Cloud APis"で

　　外部からアクセスさせずLB経由だけにしたい→外部IPがephemeralで止められない→作成時にnetwork>external ipをnoneで作成すること→
　　外へでれなくなるのでgcloudコマンドが通らない→CloudNAT(Router)も設定

SSHの項目からview gcloud commandで好きなSSHターミナルからアクセスできるcmd出る

 gcloud beta compute ssh --zone "asia-northeaset1-b" "instance-3" --tunnel -through-iap --project "bangboo-sandbox"

●SSHターミナル

gcloud init　インスコ

sudo apt-get install nginx　Webサーバインスコ、ブラウザで内部IPでアクセスしたかったが不可だった

sudo service nginx stop　止める、動かすのは sudo service nginx start

ps　プロセス見る

curl http://10.117.0.19　nginxが動いているか確認

cat /var/log/nginx/access.log　ログ確認
●nginx
/etc/nginxにあるconf系が設定ファイル
sites-enabled/default だけがあり cat default しdocument rootは/var/www/htmlと判明
　ここへ移動 cd /var/www/html
sudo cp index.nginx-debian.html index.html　コピー
sudo nano index.html　で編集
設定変更後は sudo service nginx restart

●コンソール
GCEスナップショット作成→OSイメージ作成→テンプレ作成→Healthcheck作成→MIG設定
　OSイメージはオンプレから作ったものとかHashi corpのPackerで作るとかも
FW作成
　gceに外部IPがあればアクセス試す
　fw-bangboo-http-ingress-allow　ingress - "all instances" - 0.0.0.0/0　デフォルトで許可＋ingressが必要
　　httpsはIPではダメ、ドメイン/証明書が要るか知らんがhttpでは外部IPあればアクセスできる
　　　GCPのIPを自前のDNSのAレコードに設定しとけば、、
　　　ウェブとメールを別々のサーバで運営したい？・・・それ、ゾーン設定で出来ます！ | さくらのナレッジ (sakura.ad.jp)
　　　ドメイン所有はDNSにTXTレコード設定ができるようだが、、、
　　　ウェブマスター セントラル (google.com)

　　使うときfw-bangboo-all-ingress-allow　ingress - "all instances" - 192.168.1.255/32　に設定？
　外部IP(普通LBとなるか）への制御はCloud armorのでdeny allowしてFWではあんまり考慮しない
　　armor-bangboo-all-ingress-deny　ingress - "all instances" - 0.0.0.0/0　で設定完了まで止めとく

LB作成

　VMインスタンスグループ（子インスタンス）作成（上で作ってなければ）

　　インスタンステンプレート作成

　LBヘルスチェック(閾値)が要る

　httpLBだと内部か外部か選択できる
　　httpLBならIPレンジが要る＞VPC networkで同resionで使われていないものを設定

　　例10.55.20.0/22なら10.55.23.255まで使われているので10.55.25から使うとか

　　NW計算　ネットワーク計算ツール・CIDR計算ツール | Softel labs
　　　VPCのサブネット設定は拡大できるが縮小ができない→小さめにしておきたいが、k8sはIP沢山使うので大きめ
　　　プライベートサービスコネクト(VPC間を繋ぐ)を使うと疎結合でつなげられるが
　backendはhttpで、healthcheckはtcp80とproxy無し
IAP作成
　外部 HTTPS ロードバランサの設定  |  Identity-Aware Proxy  |  Google Cloud

　IAP(https)を見るとFWで開けてくれの指定がある
　　fw-bangboo-lb-gce-allow Source IP range:072.72.1.19/22, 69.11.8.0/16 tcp:80
　LBフロントエンドはhttpsでもバックエンドはhttpで
　IAP-secured web app userロールを@gmail.comユーザに付与
　IAPとCDNの両立はできない
　LBのbackendにgcsを設定したときはIAPが使えない→ネット公開にしてVPN SCで制御？(元々ネットに面しているが権限がないだけ)、GCEにGCSをマウント？
FW調整
　0.0.0.0/0 all deny priority2000>LB関連 tcp80 allow 1000/IAP関連 tcp allow 1000>（使用拠点のソースIP allow 500)
　　使用拠点のIPはLBを使うならArmorで設定すればFWへの設定不要
　GCEの外部IPを止める：インスタンステンプレート作成時に外部IPnoneで設定(StaticIPを買って削除でもnoneにできなさそう)
　必要なもの以外を止める：0-442, 444-65535で443のみ許可は駄目か？
　Connectivity testでテストがIPアドレス等でできる（設定変更から実際の反映に時間が掛かるものがあるような気が）
apache benchでスケールするかテスト　Apache Bench を使って初めてのベンチマークテスト - Qiita
　sudo apt install apache2　abはapachに含まれるのでどれかのVMにインスコ
　ab -n 1000 -c 100 https://gcp.bangboo.com/　でインスタンスが増えることが確認できる
Cloud armor設定
　DDoS等を防ぐのでOnでいいのでは、adaptive protectionで優先度低いdeny設定
　外部IPのdeny allowはこれでやる(web app firewallなのでな)、log4J対策等もここで弾く
　　一時止めるときは0.0.0.0/0 bad gateway等分かり易いエラーで止めるのが良いかも
　IAPが前、Cloud armorが後ろ、そしてLBとか
Access context manager設定（+VPC service control）
　Organizationの設定が必要(≒Cloud identityでドメイン必要？)IPアドレスやOS等でアクセスを制限できる

↑

■GCP(Google Cloud Platform)

https://console.developers.google.com/

無料枠

GCE:プリエンプティブル以外の1つの以下のe2-micro VMインスタンスと30GB/月の標準永続ディスク

　オレゴン: us-west1

　アイオワ: us-central1

　サウスカロライナ: us-east1
GCS: 5GB/月のRegional Storage（米国リージョンのみ）

　月額のプロダクトを日割レポートで見ると2月の日割りは高く見え、3月は安く見える

　為替の影響は月初から適応されるので円安だと高いよ

GCP ハンズオンセミナー Google_Cloud_GCPHandson_infra1122.pdf (cloudplatformonline.com)

　GKE, Cloud SQL, Dataflow等

■IAM(Identity and Access Management)　
https://cloud.google.com/iam/docs/overview?hl=ja

https://cloud.google.com/iam?hl=ja
IAMベストプラクティス　https://cloud.google.com/iam/docs/using-iam-securely
操作方法　https://cloud.google.com/iam/docs/how-to?hl=ja
ロール　https://cloud.google.com/iam/docs/understanding-roles?hl=ja

https://www.isoroot.jp/blog/1244/

https://medium.com/google-cloud-jp/gcp-iam-beginner-b2e1ef7ad9c2

/// BANGBOO BLOG /// - GCP ログ調査 Logging/Bigquery information schema

■GCS
■GCP Cloud asset inventory

Infra as codeとしてインフラの構築や設定をコード化できる

特にクラウドだと構築の自動化や構成管理等でのレバレッジが強力

■段階
Terraformとは?基本知識とTerraformのメリット4つを紹介 | テックマガジン from FEnetインフラ
必要なリソースをTerraform化>workspaceの活用>main.tfの共通部分をmodule化


Terraform職人再入門2020 - Qiita
モジュールが公式から提供されている
Browse Modules | Terraform Registry

Terraform の terraform.tfvars とは | 30歳未経験からのITエンジニア (se-from30.com)
↓
workspaceは使わない、moduleを限定的に使う
設定をコード化>Gitレポジトリに置く>設定内容、作業履歴の明確化、チームでの運用性向上

■特性

TFの影響を反映するのはterraform applyの時だけ、tfファイルとtfstateの差分を実際にリソース作成する
　tfファイルで変更した場合、TFはリソースの再作成を行うので一度消えることになる（大体は単位が権限だったりで影響がないだけでplanで要注意）
terraform planはtfとtfstateと実体の差なので、実体があってもtfstateになければwill be createdでplan時は表示される

terraform importはtfファイルからtfstateへ記載だけを行う(実体からも情報を取得しtfstateに入れる)

　カレントdirの全.tfファイルor.tf.jsonを評価するのでtfファイルの名は何でもいい
各リソースに対してTF化するかは選択ができるが、TFする場合はそのリソースに必要な全記載をTFファイルに行う

terraform import tfResourceID.yourResourceName gcpIdentifier　のコマンド

　terrafrom import google_bigquery_dataset.tf-1 bangboo-prj/test-dataset

　tfResourceID(リソースIDというようタイプ：リソース種別)はTF指定のもの、yourResourceName (リソース名)は任意のもの

　構成ファイル.tfはローカルのものが使われる、importするとtfstateに反映

　GCP identifierはTF公式サイトの各サービスの一番下import項目を見ると指定内容が分かるのでGCPを見て拾ってくる

　terraform state list　TF化されているリソースを見る

　terrarorm apply時にもtfstateは更新される（オプション-refresh=falseで無効可）

　　またapply時に-target=xxxでデプロイするリソースを特定できる

Syntax - Configuration Language - Terraform by HashiCorp　コメントは#が基本、//や/**/も使える
Terraform v0.12で変わるHCLの記述について - Qiita　localsや変数、リストやマップ等
Terraform職人再入門2020 - Qiita　yamldecodeやjsonencode等
Terraformの基本 - Foreverly (hatenablog.com)

terraform importはリソース単位、更新はできず削除してから追加 terraform state rm google_bigquery_dataset.tf-1
　実設定とimportの内容が違う場合は実設定の情報でtfstate化されるようだ(importは項目を入れ込む感じ？)
　　なので実環境に変更を加えるにはterrafrom apply、tfstate化もされtfファイル/tfstate/実設定の3者で同じになる
　apply時にtfstateと実設定が違う場合、例えば既存設定がある場合は重複エラーになりapplyできず、importしtfstateと実設定を同じにしてから、tfファイルの内容をapplyすることが必要

for_eachで書いた.tfをterraform importする | DevelopersIO (classmethod.jp)
　ユーザ指定は　user:aaa@xxx.com だったりメールグループなら group:aaa@xxx.com

■セットアップ

　作業ディレクトリの作成(プロジェクトに対するローカルのフォルダ）

　プロバイダを指定したtfファイルの作成(gcsにstateを置く設定が良い

　terraform init　ローカルに対して初期化
■既存リソースのTF化のおおよその作業

　リソースタイプと名前を定義したtfファイルを作成する(任意のリソース名、基本ユニーク、纏められるものは重複してもいい)
　　resource "google_cloudfunctions_function" "fuckin" { ...　をtfファイルに記載
　　　tfResourceID(リソースIDというようタイプ：リソース種別)とyourResourceName (リソース名) だけで

　　(簡単)tfファイル内で１行目以外は空で、terraform planをするとエラーで必要なものが分かるので、それを埋める
　　planが通ると自動的に値をサーバから拾ってくる（importすればtfstate.tfに入っている or コピーしてTFに入れる）
　　planでダメならterraform state show tfResourceID.yourResourceName でstateを見てtfファイルにパラメータを定義していく
　　　暫定に空でリソースをTFファイルに記載しterraform import、次にtfstateを調査する
　　　　terraform state list　tfstateファイルにあるアセットを一覧
　　　　terraform import google_bigquery_table.xxx project/dataset/table　インポート
　　　　terraform state show google_bigquery_table.xxx　tfstateの該当部を表示
　　　　terraform state rm  google_bigquery_table.xxx　インポート取り消し

　　TF定義は複数の方法がある、最終GCP公式のRestAPIで確認するしか

　terraform importする（公式ドキュメントの一番下にimportコマンドの指定がある）

　terraform planして差分がなくなるまでtfファイルを修正する

　　import(tfstate)の修正は一度stateから削除する　terraform state rm google_bigquery_dataset.tf-1

　　(既存リソースがあってもあくまでtfファイルとtfstateの差分なのでinitした状態でplanしてもup-to-dateと表示されるだけ)
　tfstateファイルにおかしなものが無いか確認、keyとか含まれないか

■個別

■TF公式ドキュメント
google_organization_iam_custom_role | Resources | hashicorp/google | Terraform Registry
google_organization_iam | Resources | hashicorp/google | Terraform Registry
カスタムロールを設定して、組織レベルのIAMでそれを使いたい
TFファイルに定義をしたい　→定義したいリソースのArgument referenceの項目を設定

TFファイルに定義した内容を変数で使いたい　→使いたいリソースのAttributes referenceを見る
terraform importしたい　→インポしたいリソースのページ一番下のimportコマンドの指定を見る

■他に一般的なTF（既存がimportされると以下で変更をapplyして運用）

　terraform -v　稼働確認
　terraform fmt　ファイルの記述フォーマットを整える

　terraform validate　ファイルの検証

　terraform plan　アクションを計画
　terraform apply　最後に変更を適応

　terraform show　ステータスを確認、一覧

　terraform destroy　で簡単にインフラの吐き、initができないとき必要そう

■特定のリソースだけ適応したい

　terraform plan -target="tfResourceID.yourResourceName"
　terraform apply -target="tfResourceID.yourResourceName"


■エラー
bigquery access denied：
BigQueryでGoogleドライブデータへのクエリでエラーが出るときの対処 (zenn.dev)

Terraform で state のロックを解除する方法、ロックを手動で行う方法 | ゲンゾウ用ポストイット (genzouw.com)
TerraformでState Lockエラーが発生したら | DevelopersIO (classmethod.jp)

■tfenvを使う場合

cd my-repo

get clone https://bitbucket/bangboo-prj.git

cd bangboo-prj

tfenv use 0.14.7

　terraform workspace list

　terraform workspace select default　デフォルト

　　terraform workspace new prod　prodという名で作成なら

main.tf作成し記載

　terraform fmt　tfファイルのフォーマット（書式は適当で書けばいい）

　　gcloud auth list　認証確認

　　gcloud auth application-default login　クレデンシャルが必要なら

　　　API&Servicesでクレデンシャルは取得できそう、key=xxxx

terraform init

既存のリソースを調査

terrafrom import google_storage_bucket.pri-bucket project-abc123/asia-northeast1/pri-bucket　でimportとか

　terraform refresh　tfstateの最新化、どのタイミングで使う？

■既存のリソースを調査
既存リソースimport

■gcloud cmd

https://www.devsamurai.com/ja/gcp-terraform-101/

　gcloud projects list　権限あるプロジェクトを表示

　gcloud config set project [prjID]　ワーキングプロジェクトの設定

　gcloud services enable iam.googleapis.com　サービスの有効化

　gcloud iam service-accounts create terraform-serviceaccount \

  --display-name "Account for Terraform"　サービスアカウント作成

　gcloud projects add-iam-policy-binding [PROJECT_ID]

  --member serviceAccount:terraform-serviceaccount@[PROJECT_ID].iam.gserviceaccount.com --role roles/editor　権限付与

　gcloud iam service-accounts keys create path_to_save/account.json

  --iam-account terraform-serviceaccount@[PROJECT_ID].iam.gserviceaccount.com　クレデン発行

　export GOOGLE_CLOUD_KEYFILE_JSON=path_to/account.json　クレデン設定
↑サービスアカウントで認証　環境変数にファイルパスを渡す
　gcloud auth application-default login　だと個人
Terraformで複数リージョンをまたいだリソース制御する (mosuke.tech)
Terraform workspaceを利用して環境毎のリソース名の変更を行う (mosuke.tech)


End