/// BANGBOO BLOG /// - GCP ログ・アセット調査 Logging/Bigquery information schema/Asset inventory

■Cloud Loggingで調べる
ログエクスプローラを使用したサンプルクエリ | Cloud Logging | Google Cloud
Logging のクエリ言語 | Google Cloud
とりあえず何かを出して、クリックして不要な要素をHideしていくといい

/// 誰が権限を変更したか

protoPayload.request.policy.bindings.role="organizations/123456/roles/unco"

protoPayload.methodName : "Setlam"

--操作者

--protoPayload.authenticationInfo.principalEmail="kuso@dayo.com"

変更の詳細は下記当たりに出る（デルタは変量の意味と思われる）
protoPayload.metadata.datasetChange.bidingDeltas
protoPayload.serviceData.policybindingDeltas

/// BQテーブル、ビュー作成
protoPayload.methodName="google.cloud.bigquery.v2.TableServiceInsertTable"

/// GCEのPyhon等のロギングを見る

resource.labels.instance_id="12234567898"

severity=WARNING

/// IAPのアクセスログ

監査ログからidentity-で探しログを有効化する（似たような名前があるので注意）

下記でLog exploreで検索するが、大体のアクセス時刻からリソースを類推して右クリックで絞る

logName="project/prjxxxxxx/logs/cloudaudit.googleapis.com%2Fdata_access"

resource.type="gce_backend_service"

/// BQの利用先
protoPayload.resourceName="projects/prjxxxxxxxx/datasets/dsxxxxxxxxx/tables/tblxxxxx

/// Scheduled queryの利用状況
resource.type="bigquery_dts_config"

/// コネクティッドシートでBQアクセスするスプシを調べるLoggingのクエリ

bigquery.Jobs.create

bigquery.googleapis.com

--データセット名

dataset ni_access_sarerudayo

--除外するにはマイナスを頭に付ける

-protoPayload.authenticationInfo.principal Email="washi@jyaroga.com"

■組織のログを一つのプロジェクトにまとめておく
組織のLog routerで全Syncを設定しておく、BQに吐き出す

select * from prj-log.org_audit_log.activity
where protopayload_auditlog.methodName='google.iam.admin.v1.SetIAMPolicy' or protopayload_auditlog.methodName='google.iam.IAMPolicy.SetIAMPolicy'
# Log exploreと少し違う

■BQインフォメーションスキーマ information schemaで調べる

SELECT * FROM prj.ds.INFORMATION SCHEMA.TABLES

/// 組織のジョブ:

information_schema.project_id,

`region-us`.INFORMATION SCHEMA.JOBS BY ORGANIZATION AS Information schema,

UNNEST (referenced_tables) AS referenced_table

--データコネクタからジョブ実行だと sheets_dataconnector が Prefix

job_id like "%sheets_%"

AND referenced table.project_id = "pri_xxx"

AND referenced table.dataset_Id = "ds_xxx"

AND referenced table.table_id LIKE "tbl_xxx%"

AND DATE (creation_time) BETWEEN "2022-06-01" AND "2023-01-30"

AND error_result IS NULL

/// プロジェクトのジョブ:

SELECT * FROM `pri_xxx.region-us.INFORMATION SCHEMA.JOBS`

,UNNEST (referenced_tables) AS referenced table

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(). INTERVAL 1 DAY)

AND referenced_table.dataset_id = 'ds_xxx'

--データコネクタからジョブを実行している場合 prefixにsheets_dataconnector、他にはscheduled_query等

AND job_id like "%sheets_%"

SELECT * FROM pri xxx.region-us. INFORMATION SCHEMA.JOBS

,UNNEST (referenced_tables) AS referenced_table

,UNNEST (labels) AS label

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()

AND referenced_table.dataset_id = 'ds xxx

--データコネクタからジョブを実行している場合 labels connected_sheetsが含まれる

AND label.value = 'connected_sheets'

/// ジョブBYユーザ

SELECT * FROM `pri_xxx-region-us.INFORMATION SCHEMA.JOBS_BY_USER`

,UNNEST (referenced_tables) AS referenced_table

,UNNEST (labels) AS label

WHERE creation_time BETWEEN TIMESTAMP_SUB (CURRENT_TIMESTAMP(). INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()

AND referenced_table.dataset_id = 'ds_xxx'

AND label.value = 'connected_sheets'

例えばGKE使用しているアセット情報（GKE cluster）

gcloud asset search-all-resources \

--scope=organizations/組織の数字ID \

--asset-types=container.googleapis.com/Cluster

■監査ログのメソッド種類

⚫SetIAMPolicy (これはプロジェクトレベルのIAM設定が含まれ重要、GAS用Project用等も含まれていて基本となる)

⚫google.iam.admin.v1.SetIAMPolicy (リソースレベルのIAM設定、BQデータセットやテーブルやPubsubトピックやサブスク等が対象)

⚫google.iam.v1.IAMPolicy.Setlam Policy (これはリソースに対するSAの権限調整ではなく、SAに対する処理でimpersonate系等のSetIamが含まれる）

例えばBQの検知だとプロジェクトレベルIAM (SetIAMPolicy:各種権限付与) とリソースレベルの IAM (google.iam.admin.v1.SetIAMPolicy: BQdataset/tablet pubsub Topic/Subsc等への権限付与が含まれる)が必須となる

/// メソッドからの調査方法

目ぼしいメソッドでしばりログをBQ抽出

ローカルにJSONをDL、開いてクリップボードにコピー

スプシにコピペ、条件付き書式でnullや先頭行に色をつけて目検する
/// Set Iam系のメソッド（監査ログによる検知ではSet iamが誰がどこに行ったか見ればいいのでは）
メソッドの種類は1000以上あるが、SetIam系は下記の20辺りから

SetIAMPolicy, google.iam.admin.v1.SetIAMPolicy,

google.iam.v1.IAMPolicy.SetIamPolicy, beta.compute.instances.setIamPolicy beta.compute.subnetworks.setIamPolicy, google.cloud.functions.v1.CloudFunctionsService.SetIamPolicy, google.cloud.iap.v1.IdentityAwareProxyAdminService.SetIamPolicy, google.cloud.orgpolicy.v2.OrgPolicy.CreatePolicy, google.cloud.orgpolicy.v2.OrgPolicy.DeletePolicy, google.cloud.run.v1.Services.SetIamPolicy, google.cloud.run.v2.Services.SetIamPolicy, google.cloud.secretmanager.v1.SecretManagerService.SetIamPolicy, google.iam.admin.v1.CreateServiceAccountKey, google.iam.v1.WorkloadIdentityPools.CreateWorkloadIdentityPool, google.iam.v1.WorkloadIdentityPools.CreateWorkloadIdentity PoolProvider, google.iam.v1.WorkloadIdentityPools. UpdateWorkloadIdentityPoolProvider, storage.setIamPermissions