June 9, 2021
k8s
全て想像ですが
読み方はケーツと読みます、半端ねーてす
ケツが扱う最小単位がPodで1つの機能を持つ（Podは1つ以上のコンテナを含む）
ReplicaSetは複数のPodを組み合わせてアプリを実現する
DeploymentはReplicaSetを管理、アップデートの際は新規ReplicaSetを作成してバージョン更新を行う
ServiceはDeploymentに対してIPアドレスやLBを設定してサービス提供する
クラスターはServiceが複数動く環境、1つのMasterと複数のNodeから構成され
Nodeはコンテナを動かす為のサーバ、MasterはNodeを管理しスケジューリングやオートスケールを行う
■流れ
GKEでクラスタを作成
Kubectrlをインスコ
KubectlでPodを立ち上げ＞Deploymentができる、複数Podの起動も
Kubectlでサービス公開設定
【GCP入門編・第7回】Google Container Engine (GKE) での Docker イメージの立ち上げ方 | 株式会社トップゲート (topgate.co.jp) サービスアカウント作成
ネームスペース、kubeサービスアカウント作成
サービスアカウントとKubeサービスアカウント紐づけ(gcloudとbubectlの両方)
Yamlで機能を宣言しKubectlでデプロイ
Pod(論理ホスト/インスタンスみたいな)
一意のIPが自動的に割り当てられる
Pod内のコンテナはlocalhostで互いに通信、コンテナ間で共有するストレージ
Podを直接作成は非推奨
CPU/メモリの最小と最大を設定
Workload identityでServiceAccountとケツのサービスアカウントを紐づけ認証
k8sのsecretはPw/Oauthトークン/SSH key等を含むオブジェクト(base64エンコード生)
使う方法3種類：コンテナにマウント、コンテナの環境変数、Pod生成時にケツがpull
どこに置くか、どう暗号化するか、gitに置かない等の考慮が必要
＝＝＝＝＝＝＝＝＝
Dockerがアプリを持ち、k8sがそのオーケストレーション
複数台でまとめたクラスターで故障があっても切り替え可用性を保つ
そのクラスターをnamespaceで分割し複数チームで利用することも可
稼働中にサーバ追加のスケールをしたりロールバックできる
podにIPを割り振ったり、DNS名を振ったり、負荷分散したり
自動デプロイでコンテナイメージをサーバ群へ展開する
Dockerのホスト管理、コンテナのスケジューリング、ローリングアップデート、死活監視、ログ管理等々
masterとworkerで構成されmaster3台、worker2台～位のサーバ要る
Externalname>LoadBalancer>NodePort>ClusterIP
コンテナにはストレージを置かず外部に持たせろ
ユーザ管理も必要
Dockerはイメージという感じか、複数OSを入れられるヤツ
で、それらを束ね管理するのがケーツ
https://www.kagoya.jp/howto/rentalserver/kubernetes/
Posted by funa : 12:01 AM
| Web
| Comment (0)
| Trackback (0)
May 20, 2021
GCP
■GCP
https://techblog.gmo-ap.jp/category/gcp/https://tech.zeals.co.jp/entry/2019/01/08/094054https://techblog.gmo-ap.jp/category/tensorflow/
12 か月間300 ドル分だけ無料
https://console.cloud.google.com無料だとBigQueryのDML(insert)ができないらしい
予算とアラートを1円で設定（通知チャネルにSMSとメール設定）
辞めるときはプロジェクトをシャットダウン＆請求先アカウントの閉鎖
１）プロジェクトの閉鎖
Google Cloud Console ＞ IAMと管理 ＞ 設定 ＞ シャットダウン
２）請求先アカウントの閉鎖（原因不明だが下記画面が出るときと出ないときがった）
Google Cloud Console ＞ お支払い ＞ (左ナビ)アカウント管理 ＞ 請求先アカウントの閉鎖
※お支払い＞マイプロジェクト＞アクション＞無効や請求先変更ができる
セキュリティは使用GoogleアカウントのSMSによる２段階認証、信用するデバイスの設定があるようだ
【GCP入門編・第3回】難しくない！ Google Compute Engine (GCE) でのインスタンス起動方法！ | 株式会社トップゲート (topgate.co.jp)【GCP入門編・第12回】 BigQuery を使って気軽にビッグデータの解析を行ってみよう！ | 株式会社トップゲート (topgate.co.jp)【GCP入門編・第25回】 Cloud SQL for MySQL で Master-Slave 構成を組もう！ | 株式会社トップゲート (topgate.co.jp)【GCP入門編・第29回】Cloud Load Balancing で Web アプリケーションにロードバランサーを設定する | 株式会社トップゲート (topgate.co.jp)【初心者】GCP Identity-Aware Proxy (IAP), Access Context Managerを使ってみる (WEBサーバへのアクセス制限) - QiitaCloud Loggingの利用方法 | apps-gcp.comCloud Loggingのコスト - Qiita■IAM(Identity and Access Management)
https://cloud.google.com/iam/docs/overview?hl=ja
https://cloud.google.com/iam?hl=ja
IAMベストプラクティス https://cloud.google.com/iam/docs/using-iam-securely
操作方法 https://cloud.google.com/iam/docs/how-to?hl=ja
ロール https://cloud.google.com/iam/docs/understanding-roles?hl=ja
https://www.isoroot.jp/blog/1244/
https://medium.com/google-cloud-jp/gcp-iam-beginner-b2e1ef7ad9c2
//IAMの機能
機械学習を使ったスマート アクセス制御の最適化
デバイスのセキュリティ、IP アドレス、リソースタイプ、日時などの属性に基づいて、リソースに対するきめ細かいアクセス制御ポリシー
権限の認可、解除、委任に関するすべての監査証跡の履歴
ユーザーとグループのプロビジョニングや管理、シングル サインオンの設定、2 要素認証プロセス（2FA）
//IAMポリシー
IDをGroup（●●部）にアサイン
Members(Group等)にRoles（●●役）をアサイン
MembersとはグループやドメインやID(Googleユーザアカウント、サービスアカウント)
Roles（●●役）にPermissions（権限）を付与
ロールは作成ができ●●世話役みたいな感じか
permissionsは権限で「resourcemanager.projects.get」とかで付与する
個人や無料アカだと組織がない？→フォルダが作成できない？
組織がないとグループが作成できない→グループがないとIDにRoleを付与するしか
フォルダは組織ツリー状でリソース管理、組織改編が多いなら業務フォルダでも
ポリシーはMSのGPOみたいものも組み込みで存在する
サービスアカウントはAPI用、人が使うことは基本想定されていない(impersonateできるが
//リソース
階層：Organization > Folders > Project > Resource(Google Cloud services)
割り当て：日や分に対してのデータ量の上限等を設定
必要以上に権限を付与しない
組み込みロールが多い、改変してロールを作るか
権限はサービス名.リソース.動詞という命名規則
プロジェクト名はGCPグローバルで名前空間を共有しており、企業名等でprefixするのがいい
プロジェクト毎にメールグループを設け、権限はメールグループの参加で管理したい
■GCP Cloud asset inventory
5週間分の履歴が保管される
CAI exportにより任意のタイムスタンプでBQあるいはGCSに履歴情報を吐き出す
gcloud CLIのgcould asset search-all-resourseコマンドにより設定
BQに吐き出し各種状況のチェックやポリシーのチェックに活用
■他
///gcloudをプロキシで使う環境設定とか
https://qiita.com/tora470/items/bc00bef8cba9f9acecc7
///サービスアカウントで認証
Google Cloud SDKのインストールと認証の設定について - TASK NOTES (task-notes.com)秘密鍵さえあれば成り済ませる
※サービスアカウントはサービスを有効化したときに動作用に自動作成されたり、別途手動でも作れる
サービスアカウントのキーを作成しローカルに保存
SSHでGCEのVMに内容をコピペしてキーファイルを作成
下記でSAとしてログイン
gcloud auth activate-service-account ketsu@un.com --key-file /home/ketsu/sakey.json
cloud shell terminalでもファイルをアップロードできるのでup後下記でOK
gcloud auth activate-service-account ketsu@un.com --key-file sakey.json
ログオン切替
終わるとき rm sakey.json
shellセッションごとに環境変数でkeyを設定する方法も
認証のスタートガイド | Google Cloud/// サービスアカウントキーを発行せずにサービスアカウント権限を使う
サービスアカウントに使いたいロールを付与(roles/accesscontextmanager.policyAdminとか)
自身にroles/iam.serviceAccountTokenCreatorを付与
叩く gcloud projects get-iam-policy project-id-xxxxx --impersonate-service-account
※tfだとproviderにimpersonate_service_accountを追加する形
///Loadbalancer
IAPはhttp LB/GCE/AppEngineに
Internal LBにExternal IPは無理
///NoSQL
=not only sql、分散kvsだったりの非構造化データ、下記2つのみ提供
キーを指定してCRUD(追加、取得、更新、削除)
キーの範囲かキーの前方一致でのスキャン
///bigtable
高スループット低レイテンシー読み書き速く膨大なユーザや数千万件テラ以上で
gmail、GA、マップ等々で使われている
///cloud functions
サーバレスでRESTみたいな形でURLでサーバアプリを実行、Node.js/PHP/Python等のコードが直接コンソールに掛ける
curl https://REGION-PROJECT_ID.cloudfunctions.net/FUNCTION_NAME -H "Authorization: bearer $(gcloud auth print-identity-token)"
↑curlでいいなら、コンソールで[未認証の呼び出しを許可する] 設定 + allusersでも可
///Pub/Sub
パプリッシャーからサブスクライバーにメッセージ転送、順序設定可
BQ テーブルにデータをエクスポートする Dataflow ジョブ
GCS でデータをテキスト ファイルまたは Avro ファイルにエクスポートするための Dataflow ジョブ
///BQ job エラー
bq show -j <job-id>
クエリならjob/query historyでわかるがbq cmdでもエラーが返る
bq query --nouse_legacy_sql 'select ketsu from `prj`.oshi.ri'
unrecognized name: 'kusofuke@ketsu.com' at [1:149]
///gcloud cmd
gcloud organization list GCP IDやGoogleWorkspace IDが分かる
///Recommender
API の使用 - 推奨事項 | Recommender のドキュメント | Google Cloud///セック
セキュアなBigQueryの運用方法 - Speaker Deck IAM condition: 20時以降はアクセスできない等時間やリソースで権限制御
VPC-ServiceControls: VPC+FWで制限を掛けられなかったがIPやIDで制限を掛ける(クレデンシャル漏洩防御)
GCPでセキュリティガードレールを作るための方法と推しテク - Speaker Deck サブネット作成の際はセキュリティの観点からフローログを15分で取る
監査ログを有効に
ContainerResistryの脆弱性スキャンを有効に
ログ：データアクセス/ポリシー拒否は30日、管理アクティビティは400日
BQにバックアップしたい
SecurityCommandCenterで脆弱性を検知
■アプリ
公開資料 - App Modernization OnAir 〜 モダンなアプリケーション開発とは 〜 (cloudonair.withgoogle.com)cloud runの設定だけでCDCIできる（第10回
■ハンズオン(GAE:php+FW+IAP)
IAPはGAEが簡単そう（アクセスするのにGoogleの認証プロンプトを出す）
自前DNSにTXTレコードを設定>確認>IPが表示されAレコードやCnameも登録でき、SSL証明書も使えるようだ
しかし無くてもgoogle提供のドメインが使え不要
DNS(TXTレコード)による所有権の確認 - Google Search Consoleの使い方 (howtonote.jp) WinローカルにGCP SDKインスコし下記にapp.yamlとindex.phpを置いてcmd→ gcloud app deploy
C:\Users\おまはんのユッザー名\AppData\Local\Google\Cloud SDK\php
IAPを有効にしIAM secured userの権限とIAMでGAE viewer権限付与で@gmail.comユーザ等は見れる
外部ドメインを使うときはIdentityPlatform設定が必要そう
止めるにはinstanceを削除する(再度アクセスでinstanceが自動作成される)、IngressをInternal onlyにすると一応止まるか、楽だ
■ハンズオン(GCE+nginx+FW+LB+IAP)
●cloud shell terminal
gcloud compute instances list インスタンス一覧
●コンソール
GCE VMを作成
instance template作成 ubuntu18
instance group作成 あるいは VM instance作成（外部からアクセスさせずLBで？）
SSHの項目からview gcloud commandで好きなSSHターミナルからアクセスできるcmd出る
gcloud beta compute ssh --zone "asia-northeaset1-b" "instance-3" --tunnel -through-iap --project "bangboo-sandbox"
●SSHターミナル
gcloud init インスコ
sudo apt-get install nginx Webサーバインスコ、ブラウザで内部IPでアクセスしたかったが不可だった
sudo service nginx stop 止める、動かすのは sudo service nginx start
ps プロセス見る
curl http://10.117.0.19 nginxが動いているか確認
cat /var/log/nginx/access.log ログ確認
●nginx
/etc/nginxにあるconf系が設定ファイル
sites-enabled/default だけなので cat default でroot/var/www/htmlが判明 ここへ移動
sudo cp index.nginx-debian.html index.html コピー
sudo nano index.html で編集
設定変更後は sudo service nginx restart
LB作成
VMインスタンスグループ（子インスタンス）作成
インスタンステンプレート作成
LBヘルスチェック(閾値)が要る
httpLBならIPレンジが要る＞VPC networkで同resionで使われていないものを設定
例10.55.20.0/22なら10.55.23.255まで使われているので10.55.25から使うとか
VMインスタンス停止、LB停止
sute16 asia-northeast1-b 2021/7/24(91日で33000yen-10/20位まで)
Instance groupはどう止める？＞LB削除＞LBのバックエンド削除＞Instance group削除
LBはinstance groupがいる、IAPはGCEの場合はLBにSSL証明書要る
DNSのAレコードを登録しLB設定すれば証明書入る（DNSのTTLを前日に3600から300に変更しておいたり、DNS反映期間があったり）
毎回検証終了時につぶして、立てるのが面倒そうだな
PHP appサーバ＋BigQuery+BigTable＋MySQL DBサーバ+α？
●外部IP
External IP addressで取得、300円/月位、通常一つは自動で割り当てられる
End
Posted by funa : 09:00 PM
| Web
| Comment (0)
| Trackback (0)
May 2, 2021
Terrafirma
公式
https://www.terraform.io/docs/index.html
導入
https://www.terraform.io/guides/core-workflow.html
推奨方法
https://www.terraform.io/docs/cloud/guides/recommended-practices/index.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part1.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part2.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part3.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part3.1.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part3.2.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part3.3.html
https://www.terraform.io/docs/cloud/guides/recommended-practices/part3.4.html
チュートリアル
https://learn.hashicorp.com/collections/terraform/gcp-get-started
HCL
https://www.terraform.io/docs/language/index.html
CLI aka cmd（アルファベットリストから使う）
https://www.terraform.io/docs/cli/auth/index.html
GCP用リファレンス
https://registry.terraform.io/providers/hashicorp/google/latest/docs
お便強
https://qiita.com/minamijoyo/items/1f57c62bed781ab8f4d7
https://qiita.com/donko_/items/6289bb31fecfce2cda79
https://www.apps-gcp.com/infra-automation-01/
https://techblog.gmo-ap.jp/2017/11/16/terraform%E3%81%A7gcp%E7%92%B0%E5%A2%83%E3%82%92%E6%A7%8B%E7%AF%89%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/
https://colsis.jp/blog/gcpterraform/
Infra as codeとしてインフラの構築や設定をコード化できる
特にクラウドだと構築の自動化や構成管理等でのレバレッジが強力
■段階
Terraformとは?基本知識とTerraformのメリット4つを紹介 | テックマガジン from FEnetインフラ必要なリソースをTerraform化>workspaceの活用>main.tfの共通部分をmodule化
moduleは構成に合わないようなリファクタリングが必要になった時にterraform state mv が必要になってとたんにつらい、moduleを細分化しすぎるとvariable と output が大量に必要になって書きづらい、moduleは再利用できる複数のリソースの単位（プログラミング言語でいうところの関数みたいなもの）で作るのがしっくり
リソースの差分を無視するlifecycleブロックを使う
resource "aws_autoscaling_group" "app_1" {
name = "app-asg-1"
lifecycle {
ignore_changes = ["load_balancers"]
create_before_destroy = true//新しいのを作ってから古いのを削除
}
}
外部ファイルを文字列として読み込む
resource "aws_iam_role" "ec2_role" {
name = "ec2-role"
assume_role_policy = "${file("./ec2_assume_role_policy.json")}"
}
1つのディレクトリで複数のStateを扱うWorkspaceという機能もあるのですが、
個人的には普通にディレクトリを分けて管理する方が楽
production/stagingが完全に同じリソース構成で、設定のパラメータの差分がちょっとだけあるという理想的な世界ではWorkspaceでも運用できるかもしれませんが、現実的にはstagingだけリリース前の検証用の一時的なリソースが立ってたりとか、完全に同じ構成にならないことも多いので、モジュールの読み込みの有無や一部の環境だけ存在するリソースなどの差分を吸収できる場所があったほうが都合がよい
モジュールが公式から提供されている
Browse Modules | Terraform RegistryTerraform の terraform.tfvars とは | 30歳未経験からのITエンジニア (se-from30.com)環境情報は外部ファイルが基本
prd/stg/dev環境はprd.tfvars, stg.tfvars, dev.tfvarsを用意
.tfvars 各環境の設定
aws_access_key = "XXXXXXXXXXXXXXXXXXXX"
aws_secret_key = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
aws_region = "eu-west-1"
main.tf
terraform {
required_version = "= 0.12.26"
}
provider "aws" {
version = "2.66.0"
access_key = var.aws_access_key
secret_key = var.aws_secret_key
region = var.aws_region
}
var.tf 空の受け皿
variable aws_access_key {}
variable aws_secret_key {}
variable aws_region {}
Terraform で変数を使う - Qiita実行時に-var-fileで値ファイルを指定して環境などを切り替えると良いかもしれない
terrafrom plan -var-file=dev.tfvars
terrafrom plan -var-file=prod.tfvars
変数ファイル指定がないときは変数でdefaultに入れておく、descriptionで変数の説明もかける
variable "foo" {
type = "string"
default = "default-var"
description = "Sample Variable"
}
credentials等の秘匿したい変数を外部のファイルやコマンドライン引数から読み込む
variable "credentials_file" {} ＠var.tf 変数を定義し空にしておく
credentials = file(var.credentials_file) ＠main.tf ファイルを読むがファイル名は変数
terraform plan -var 'project=<PROJECT_ID>' -var 'credentials_file=<NAME>.json' ＠cmd プロジェクトとクレデンをコマンド時に指定
他にもvars.tfvars設定ファイル(行頭variableが不要)、TF_VAR_環境変数による指定
-var-fileで変数ファイルを明示してcmd、ファイル名は.tfvars/.tfvars.json
-varで変数を明示してcmd
順序があり後の読込でオーバーライド
↓
workspaceは使わない、moduleを限定的に使う
設定をコード化>Gitレポジトリに置く>設定内容、作業履歴の明確化、チームでの運用性向上
■特性
TFの影響を反映するのはterraform applyの時だけ、tfファイルとtfstateの差分を実際にリソース作成する
importはtfファイルからtfstateへ記載だけを行う
カレントdirの全.tfファイルor.tf.jsonを評価するのでtfファイルの名は何でもいい
各リソースに対してTF化するかは選択ができるが、TFする場合はそのリソースに必要な全記載をTFファイルに行う
terraform import tfResourceID.yourSvcName gcpIdentifier のコマンド
terrafrom import google_bigquery_dataset.tf-1 bangboo-prj/test-dataset
tfResourceIDはTF指定のもの、yourSvcNameは任意のもの
構成ファイル.tfはローカルのものが使われる、importするとtfstateに反映
GCP identifierはTF公式サイトの各サービスの一番下import項目を見ると指定内容が分かるのでGCPを見て拾ってくる
terraform state list TF化されているリソースを見る
terrarorm apply時にもtfstateは更新される（オプション-refresh=falseで無効可）
またapply時に-target=xxxでデプロイするリソースを特定できる
resource "google_sql_database_instance" "instance" {
provider = google-beta
name = "my-database-instance"
}
resource "google_sql_database" "db" {
instance = google_sql_database_instance.instance.name
name = "db"
}
ToSetは値設定をするが順不同で重複を省く
resource "xxx" "aaa" {
for_each = toset(["foo", "bar", "bar"]) でbar, foo
name = each.key
}
for_each/eachのループ
locals {
sg = {
foo = "FOO"
bar = "BAR"
}
}
resource "xxx" "aaa" {
for_each = local.sg
name = each.key
description = each.value
}
terraform importはリソース単位、更新はできず削除してから追加 terraform state rm google_bigquery_dataset.tf-1 bangboo-prj/test-dataset
実設定とimportの内容が違う場合は実設定の情報でtfstate化されるようだ(importは項目を入れ込む感じ？)
なので実環境に変更を加えるにはterrafrom apply、tfstate化もされtfファイル/tfstate/実設定の3者で同じになる
apply時にtfstateと実設定が違う場合、例えば既存設定がある場合は重複エラーになりapplyできず、importしtfstateと実設定を同じにしてから、tfファイルの内容をapplyすることが必要
■既存リソースのTF化のおおよその作業
作業ディレクトリの作成(プロジェクトに対するローカルのフォルダ）
プロバイダを指定したtfファイルの作成(gcsにstateを置く設定が良い
provider "google" {
project = "bangboo-kuso"
}
terraform {
backend "gcs" {
bucket = "bangboo-kuso-terraform"
}
}
terraform init ローカルに対して初期化
リソースタイプと名前を定義したtfファイルを作成する(任意の名前のやつ)
resource "google_cloudfunctions_function" "fuckin" { ... をtfファイルに記載（tfResourceIDとyourSvcName だけ)
リソースタイプや個別パラメータは公式ドキュメントを参照しながら定義
https://registry.terraform.io/providers/hashicorp/google/latest/docs
(簡単)tfファイル内で１行目以外は空で、terraform planをするとエラーで必要なものが分かるので、それを埋める
planが通ると自動的に値をサーバから拾ってくる（importすればtfstate.tfに入っている or コピーしてTFに入れる）
※terraform state show tfResourceID.yourSvcName でstateを見てtfファイルにパラメータを定義していく方法もある
TF定義は複数の方法がある、最終GCP公式のRestAPIで確認するしか
terraform importする（公式ドキュメントの一番下にimportコマンドの指定がある）
terraform planして差分がなくなるまでtfファイルを修正する
import(tfstate)の修正は一度stateから削除する terraform state rm google_bigquery_dataset.tf-1
(既存リソースがあってもあくまでtfファイルとtfstateの差分なのでinitした状態でplanしてもup-to-dateと表示されるだけ)
tfstateファイルにおかしなものが無いか確認、keyとか含まれないか
■他に一般的なTF（既存がimportされると以下で変更をapplyして運用）
terraform -v 稼働確認
terraform validate ファイルの検証
terraform plan アクションを計画
terraform apply 最後に変更を適応
terraform show ステータスを確認、一覧
terraform destroy で簡単にインフラの吐き、initができないとき必要そう
■tfenvを使う場合
cd my-repo
get clone https://bitbucket/bangboo-prj.git
cd bangboo-prj
tfenv use 0.14.7
terraform workspace list
terraform workspace select default デフォルト
terraform workspace new prod prodという名で作成なら
main.tf作成し記載
terraform fmt tfファイルのフォーマット（書式は適当で書けばいい）
gcloud auth list 認証確認
gcloud auth application-default login クレデンシャルが必要なら
API&Servicesでクレデンシャルは取得できそう、key=xxxx
terraform init
テラフォーマで既存のリソースを調査するには
terraformer import google list --projects=xxxx-123 で対象のリソース確認
terraformer import google --resources=instances,forwardingRules --regions=us-west1 --projects=xxxx-123 とか
terrafrom import google_storage_bucket.pri-bucket project-abc123/asia-northeast1/pri-bucket でimportとか
terraform refresh tfstateの最新化、どのタイミングで使う？
既存リソースimport
https://www.apps-gcp.com/terraformit-gcp/
■gcloud cmd
https://www.devsamurai.com/ja/gcp-terraform-101/
gcloud projects list 権限あるプロジェクトを表示
gcloud config set project [prjID] ワーキングプロジェクトの設定
gcloud services enable iam.googleapis.com サービスの有効化
gcloud iam service-accounts create terraform-serviceaccount \
--display-name "Account for Terraform" サービスアカウント作成
gcloud projects add-iam-policy-binding [PROJECT_ID]
--member serviceAccount:terraform-serviceaccount@[PROJECT_ID].iam.gserviceaccount.com --role roles/editor 権限付与
gcloud iam service-accounts keys create path_to_save/account.json
--iam-account terraform-serviceaccount@[PROJECT_ID].iam.gserviceaccount.com クレデン発行
Posted by funa : 10:14 PM
| Web
| Comment (0)
| Trackback (0)
March 9, 2021
Treachery
:||
2021/4/25に気づいた、ハニーちゃんおめでとうとありがとう、エピソードは今度どこかで
Posted by funa : 11:39 PM
| Column
| Comment (0)
| Trackback (0)
March 6, 2021
ZERO
値段と糖質とプリン体と度数、モノによっては明らかに太る感じがしない、ゆって0じゃ無い安酒でも糖質15g位らしいので良いのがなければいつものでいいかも。それより現像ができない!!→LR再インスコ→LRよりSony謹製の方が色が良かった→元画像が暗すぎが理由→LRでノイズを追加調整(元画像に注意、14mmf1.8の使い道がなく勿体ない)
極ZERO: 138/0/0/5 ちょい高、不味い、5%で軽いが酔えなくはない、太る感じ×
Asahi Off: 118/0/0/3-4 酔えない、ノンアルの亜種かフルーティで旨い〇
のどごしZERO: 118/0/0/4 フルーティで旨い、軽いが酔えなくはない〇
贅沢ZERO: 118/0/x/6 プリン有 6%で嬉しいが雑味がすごくある気が▲
バーリアル糖質50%off緑: 85/5-10/?/4 かるくない、そもそもZEROでないが旨い◯+
氷結ZEROレモン: 108/0/0/5 レモンが強く旨い、飲みやすい◎
鏡月焼酎ハイ: 98/0/0/7 スッキリ高アルコール度で満足感、ドライが好きかも◯+
いいちんこ下町のハイボール: 168/0/0/7 高ぇ、重い感じがする▲
パーフェクトサントリービール: 168/0/x/5.5 高ぇ、旨い〇
→氷結Zeroレモン＞鏡月ドライのコンボが強い
イオン麻婆豆腐辛口(肉付)vs丸美屋辛口(花椒なし)：丸は味穏やか、Aは塩と肉多い
→Aeonのとろみ入れるの減らす、甘口は邪魔甘さで、中辛が一番いい
イオン四川式(肉無)vs丸美屋大辛(花椒付)：Aは高いし辛い、お口は甘め好きda
冷食が新しくなった、Palmボックスは忘れて何度か買ったが小さい
Posted by funa : 01:43 PM
| Column
| Comment (0)
| Trackback (0)
February 21, 2021
BigQuery
■GCP(Google Cloud Platform)
https://console.developers.google.com/
GCPを活用するスキルを問われる「Associate Cloud Engineer」
インフラストラクチャの知識を問われる「Professional Cloud Architect」
データと機械学習の知識を問われる「Professional Data Engineer」
マシーンラーニング：教師ありをベースにパターンを線形として認識し相似のパターンを見つける
ディープラーニング：人間が把握できる次元のデータ構造ではない多次元でパターンを見つける
線形検索みたいなもんか
■Big queryリファレンス
BigQuery解説：https://beyondjapan.com/blog/2016/03/what-is-bigquery/
クエリ処理のツリーアーキテクチャによる分散並列処理
複数のサーバーに対してツリー状に拡がっていき、並列にサーバー上で同時に分散処理
ルートサーバ＞intermediateサーバ＞leafサーバ
BigQuery MLという機能を利用すると、機械学習モデルをCloud AI PlatformのTensorFlowなどに連携させ、クエリ結果を素早くAIと連携
Lookerというデータ分析プラットフォームとの連携よりクエリ結果を、データ統合、変換、分析、可視化、レポーティングすることができ、非常に強力なBI
列指向型・カラム型データベース・カラムナストレージ（一般的なRDBMSでは行単位でデータが保存）
必要なカラムのデータを取得するだけでよく、またデータは圧縮できる
https://dev.classmethod.jp/articles/google-bigquery-debut/
GCPプロジェクト＞データセット＞テーブル（行row列columnで普通のテーブル、ネイティブbigqueryテーブル/Googleドライブのような外部テーブル、SQLクエリによるビュー）
ジョブは非同期で実行され、ステータスをポーリング（データの読み込み、データのエクスポート、データのクエリ、データのコピーなど）
クエリ（ウェブ UI、bq コマンド、BigQuery REST APIの方法がある、SQLと同じ？
SELECT title, answer_count, view_count
FROM `bigquery-public-data.stackoverflow.posts_questions`
ORDER BY view_count DESC LIMIT 10
BigQueryはSELECT tag, time FROM [dataset_name.table_name_20151206]のように必要な列だけを選択した場合にはスキャンの幅を狭めることは可能ですが、LIMITやWHERE句には何を書いてもテーブルをフルスキャンしてしまう
節約 Amaのs3に入れRedshift内でテーブルを分割した後にBigQuery
Hadoopでも使われていたGoogle開発のエンジンであるMapReduceは、非構造化データをプログラミングモデルを通して扱うが、巨大なテーブルの結合や巨大な出力結果のエクスポートも可能である半面、処理時間は数分間から数日に及んだ、だが、BigQueryは、あらかじめデータを構造化してBigQueryのテーブルに格納しておかねばならないが、ほとんどのクエリは数秒で完了する
サードパーティ ツール（データの読み込みや視覚化を行うツールなど）を使用して BigQuery のデータにアクセス可
パブリックデータに直でアクセスできる
SELECT * FROM `bigquery-public-data.usa_names.usa_1910_2013`
BigQuery の一般公開データセット | Google CloudGoogle Cloud SDKをインストールすればコマンドラインが使える
■標準SQL
先頭行でレガシーか宣言 #standardSQL あるいは #legacySQL
バッククォートでエスケープ、プロジェクト区切りも.(ドット)、From句のカンマはCross joinで全組合せかと思われ通常通りjoinやunionを使う事
配列が使える、カラム一つに配列を入れて多元的に扱える
withで一時テーブルを作れる
exceptでカラムを除外、replaceでカラムの置き換え
分析関数over()とwindowで計算ができる
rank() over (order by x)は下記moreのRFMに使用している
地理関数とかJSON関数とか色々関数もありそう
■レガシーSQL（標準SQLを使うのが由）
予約語は角かっこを使ってエスケープ、プロジェクト区切りは:
集計関数で WITHIN キーワードを使用すると、レコード内の繰り返しの値が集計?
FROM句のカンマは標準SQLのCross joinとは異なりUNION ALL 演算子
通常のSQL処理システムとは異なり、BigQueryは繰り返しデータの処理を前提として設計。繰り返しレコードの構造を操作するクエリを記述。その方法の1つが、FLATTEN 演算子?
JOINは、INNER、[FULL|RIGHT|LEFT] OUTER、および CROSS JOIN 演算子をサポート、デフォルトINNER
除外できる select + from A OMIT RECORD IF COUNT(payload.pages.page_name) <= 80;
TOP を使用するには、SELECT 句に COUNT(*) を含める
分析関数over()とwindowで計算ができる？(標準SQLと同様？)
functionを作って使える(標準SQLと同様？)
JSON等のネストをフラット化
■DDL
データ定義言語ステートメントの使用 | BigQuery | Google Cloudhttps://www.isoroot.jp/blog/1651/
auto_incrementもdefaultもprimary keyもindexもshow create tableないのでは？
CREATE TABLE IF NOT EXISTS bangboo_data.x_xxx (
`no` INT64 NOT NULL,
`user_no` INT64 NOT NULL,
`name` STRING,
`date` DATETIME,
)
■bqコマンドはコンソールで実行できる
ブラウザで該当プロジェクトに入りコンソールボタン、下記ではスキーマをJSONで取得できる
bq show --schema --format=prettyjson myProject:myDataset.tbl001
■データアップロード時のスキーマ指定
自動検出はFirestore、Datastore、Avro、Parquet、ORCだけ？ほぼ手動のutf-8のcsvかjsonlかを使う形
コンソールで手動スキーマ指定可(jsonスキーマを張付ける)、modeは省略可でデフォはnullable、
JSONスキーマファイルupはaqコマンドのみ可、ローカルからup時のコマンドとスキーマ例↓
bq load --source_format=CSV mydataset.mytable ./myfile.csv ./myschema.json
[
{
"description": "quarter",
"mode": "REQUIRED",
"name": "qtr",
"type": "STRING"
},
{
"description": "total sales",
"mode": "NULLABLE",
"name": "sales",
"type": "FLOAT"
}
]
COUNT DISTINCTだが、BigQueryでは概算値が返ってくる??。正確な値が必要な場合は、GROUP EACH BYとCOUNT(*)を組み合わせる
https://www.buildinsider.net/web/bigquery/01
■BQはUTC
ScheduledQueryを終了日6/9 13:00JSTで即時設定→6/9 01:20UTCで実行された
（終了時間にJST/UTCの考慮が必要か→SQ実行時間設定についてはJSTかUTCに注意するだけ）
実行履歴はUTCのためJSTに読み替える必要がある(UTCはJSTの-9時間)
■BigQuery機能
///クエリ結果を別テーブルに書き込む
その他＞クエリの設定＞クエリ結果の宛先テーブルを設定する
BigQueryではSELECT結果を他テーブルにInsert / テーブル洗い替えなどができる - コード日進月歩 (hateblo.jp)クエリ結果の書き込み | BigQuery | Google Cloud///パラメータ(変数)を使う
--parameter=min_count:INT64:250
SELECT word FROM `prj.ds.t` WHERE AND count >= @min_count
パラメータ化されたクエリの実行 | BigQuery | Google Cloud///*を受ける_TABLE_SUFFIXを使う(複数テーブルだとunion allになる)
SELECT year FROM `bigquery-public-data.ds.gsod19*`
WHERE _TABLE_SUFFIX BETWEEN '29' and '35'
ワイルドカード テーブルを使用した複数テーブルに対するクエリ | BigQuery | Google Cloud BTWで絞らないと全結合で課金が厳しいかも
///時間のパラメータを使う
select * from mytable_{run_time-1h|"%Y%m%d"}
実行時間run_time（UTC）から1時間引いた日→mytable_20180214
クエリのスケジューリング | BigQuery | Google Cloud///動的にテーブル名を指定してcreate table
パラメータや変数や_TABLE_FUFFIXだけでは難しい。変数はテーブル名とは解釈されない、_table_fuffixはselect分のfrom句に入れwhere句で内容を指定するがcreate分は無理、execute immediateを用いる
DECLARE t STRING;
SET t = (SELECT CONCAT('x_emp_at', FORMAT_DATE("%Y%m%d", DATE_ADD(CURRENT_DATE(), INTERVAL 1 DAY))));
EXECUTE IMMEDIATE format('CREATE OR REPLACE TABLE `%s` AS SELECT * FROM `prj.bangboo_data.x_employee`', t);
ScheduledQueryでは出力テーブルの指定が可能でテーブル指定例：table001_{run_time-1h|"%Y%m%d"}でOK、なおSQL内にはrun_timeが使用できない
///既存のテーブルをコピー(CREATE OR REPLACE TABLEもあり)
CREATE TABLE IF NOT EXISTS bangboo_data.x_employee_copy (
`no` INT64 NOT NULL,
`name` STRING,
) as
select * from `prj.bangboo_data.x_employee`
データ定義言語ステートメントの使用 | BigQuery | Google Cloud///timestampとdatetime
datetime型カラムにはCURRENT_DATETIME()、timestamp型カラムにはCURRENT_TIMESTAMP()を使う
timestampはUTC、datetimeはローカル的で地域指定ができる
直近3分
SELECT * FROM `aaa.ds.tbl111`
WHERE `date` > DATETIME_SUB(CURRENT_DATETIME(), INTERVAL 3 MINUTE)
///パーティション
パーティション分割テーブルのクエリ | BigQuery | Google Cloud 事前に作っておくかクエリ結果から作る→途中からではあまり意味がない
WHERE PARTITIONDATE BETWEEN '2021-01-01' AND '2021-01-02'
--PARTITIONTIME BETWEEN TIMESTAMP('2021-01-01') AND TIMESTAMP('2021-01-02')
///UNNEST
UNNESTを知らないとBigQueryを使えない？ | 4番は司令塔 (pep4.net)ARRAY を一組の行にフラット化するには、UNNEST 演算子を使用
SELECT id, title FROM games, UNNEST(titles) AS title
| id | titles |
| 1 | [skyrim, fortnite] |
| 2 | [atvvsmx, mario] |
↓フラット化
| id | title |
| 1 | skyrim |
| 1 | fortnite |
| 2 | atvvsmx |
| 2 | mario |
sql - How to query multiple nested fields in Bigquery? - Stack OverflowUnnestでもflattenができず空欄ができる場合、結局left join
空を含むカラムはSelectに残し、repeatedを一旦外し、left joinでくっつける
VariantsをunnestしてるがPricesもrepeatedでleft joinのものを出している
repeatedもarrayと同じらしいが、、、cross joinやarray_to_stringもやったが駄目だった
select Productid,Variants.SKU,Variants.Size
,Prices.Currency,Prices.Country
from `ga-export-0000.feed.feed_dev`
,UNNEST (Variants) AS Variants
LEFT JOIN UNNEST(Variants.Prices) as Prices
///STRUCT
構造体型。順序付きフィールドのコンテナ。各フィールドはデータ型（必須）とフィールド名（オプション）を持つ。
///Job kill
CALL BQ.JOBS.CANCEL('job_id')
CALL BQ.JOBS.CANCEL('project_id.job_id')
ジョブIDの取得
SELECT
project_id,
job_id,
user_email,
creation_time,
start_time,
--query,
total_slot_ms
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
--`region-us`.INFORMATION_SCHEMA.JOBS_BY_USER
--`region-us`.INFORMATION_SCHEMA.JOBS_BY_FOLDER
--`region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE state != "DONE"
--state = "RUNNING"
--state = "PENDING"
AND user_email = 'my@email.com'
AND project_id = 'paa'
AND start_time < TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 3 MINUTE)
AND total_slot_ms > (1000 * 30)
AND PARTITIONDATE BETWEEN '2021-01-01' AND '2021-01-02'
--PARTITIONTIME BETWEEN TIMESTAMP('2021-01-01') AND TIMESTAMP('2021-01-02')
///プログラムで使う
from google.cloud import bigquery
client = bigquery.Client()
QUERY = ('SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013`')
query_job = client.query(QUERY)
rows = query_job.result()
for row in rows:
print(row.name)
■saturationの場合、詰まっている、サチっている
対象にクエリを発行 select 1
同プロジェクトの他のテーブルにクエリを発行 select 1
別プロジェクトから対象にクエリを発行 select 1
reservationsのoverviewを見る
対象のSQLを発行
別のプロジェクトで同SQLを発行
時間を比べる
Google側の問題と思われるときはGoogleのサポートへGo
Google Could Status
Google Cloud Status Dashboard■課金
クエリ課金：使用しているプロジェクトで課金、データの置き場所ではない
定額：$2000/100slot/m(全プロジェクトでスロットを共有)、オンデマンド：$5/T=2Gスキャンで1円位
■IAM(Identity and Access Management)
https://www.bangboo.com/cms/blog/page_347.html
Posted by funa : 01:00 AM
| Web
| Comment (0)
| Trackback (0)
February 10, 2021
Python
おッPythonやるのか？
ファイル拡張子oppython.py デフォUTF-8、全部オブジェクト(list,dict,set等のミュータブルなら参照になる点に注意、必要ならcopy())
#コメント、ドキュメントストリング(三連引用符)："""そのまま表示""" print mymod.__doc__で見れる
変数型不要：p = 500 * num、定数はない
文字繰り返し、キャスト："文字列" * 4 + str(p) + "Hi\nお元気ですか？\nSee u"
raw文字列でescしない：print(r"インストール先は c:\\code\python\bin です")
文字数：len("東京都")→3
文字列[開始:終了]→→ str = "Flower" print(str[1:4]) → low
文字列 % (値1, 値2, ...)→→ num= "10進数では %d 、16進数では %x " % (num, num)
"xxxx{index:書式指定子}xxxx".format(値)→→ "名は{:<8s}で年は{:>3d}で".format(name, age)
f"xxxx{値:書式指定子}xxxx"→→ f"名は{name:<8s}で年は{age:>3d}で"
0／空の文字列''／値なしはfalse、Noneは？ x = None x is None→→true？
//→除算切り捨てし整数、**→べき乗
関数宣言はdef kansu():だが、その中からglobal henでグローバル変数henにアクセスできる
返り値複数はcsvでタプルになる、リストが楽か？ return a,b → (a, b) あるいは return [a, b] → [a, b]
try／exceptを関数内で設定することも、逆に関数呼び出し時にも使用ができる、else, finally, raiseも使う
とほほのPython入門 - リスト・タプル・辞書 - とほほのWWW入門 (tohoho-web.com)リストa=[1,2,3]はmap(), filter(), reduce()等が使える、set()は重複の無いリストを扱いセット同士の減算、OR、AND、XOR 操作が可能
tuple→タプルは定数リスト、更新無しならリストより速い a = 1,2,3 a = (1, 2, 3)
dict→辞書は連想配列みたいな{a:1,b:2}はitems(), keys(), valus(), iteritems(), get()を使える
lambdaは無名関数？
str_w = input('何か入力してください-->') #入力させた値を取れるが数字もstr
__iter__()はnext()を持つオブジェクトを返し、next()は次の要素を返し、最後に達するとStopIteration例外を返す？
yield はイテレータを返すジェネレータを定義？
@デコレータは関数を実行する前後に特殊な処理を実行したい場合？
withで終了処理を指定できる、ファイル読込とその後の処理とか
assertや__debug__はテストで機体通りかを確認する？
passは中身の無い関数やクラスを作成しkara.p=1で粋なり属性追加等ができる
execは引数の文字列をPythonとして実行 exec "print 'Hello'"
delはオブジェクトを削除 del x, y, z
継承やオーバーライド class MyClass2(MyClass):
多重継承class MyClassC(MyClassA, MyClassB): で纏めて使えるようになる
class MyClass:
"""A simple example class""" # 三重クォートによるコメント
def __init__(self): # コンストラクタ
self.name = ""
def __del__(self): #インスタンスが消滅する際に呼出でコンストラクタ
print "DEL!"
def __str__(self): #文字列化
return "My name is " + self.name
def getName(self): # getName()メソッド
return self.name
def setName(self, name): # setName()メソッド
self.name = name
class MyClass2(MyClass):
def world(self):
print "World"
class MyClass3(MyClass):
def hello(self): # 親クラスのhello()メソッドをオーバーライド
print "HELLO"
a = MyClass() # クラスのインスタンスを生成
a.setName("Tanaka") # setName()メソッドをコール
print a.getName() # getName()メソッドをコール
print a #=> My name is Tanaka 文字列化
b = MyClass2() #継承
b.hello() #=> Hello
b.world() #=> World
c = MyClass3() #オーバーライド
c.hello() #=> HELLO
super()を使ってオーバーライドする
super()は基底クラスのメソッドを継承した上で処理を拡張
super().__init__(x、y)が使える
with構文で処理の前後で__enter__、__exit__を使う
__enter__メソッドで事前処理
__exit__メソッドで事後処理
if __name__ == "__main__":
モジュール時の勝手実行を抑える
import helloの時hello.py 内部での __name__ は "hello"
python hello.pyのような実行時hello.py の内部の __name__ は "__main__"
from math import pi, radians→mathモジュールから特定のオブジェクト(関数/変数/クラス)をimpo
import urllib.error→urllibパッケージからerrorモジュールをimpo、パッケージはフォルダ
import numpy as np→別名でしか使えなくなるnp.array()とかで
モジュール=ファイル名.pyでファイルをimpoしている
impo順：標準ライブラリ＞サードパーティライブラリ＞ローカルライブラリ(自作のライブラリ)
関数や変数：小文字スネークケース（sample_func）
クラス名、例外、型変数：キャピタルパスカルケース（SampleClass）
定数名：大文字アンダースコア区切り（SAMPLE_CONST）
モジュール名：小文字（samplemodule, sample_module）
パッケージ（フォルダ）名：小文字。アンダースコア非推奨（samplepackage）
インデントは半角スペース4つ
1行半角で79文字以内
トップレベルの関数やクラスは2行開ける
※参照になりコピーされない、必要ならコピー(値を入れた時点で参照が外れるので実際問題少ない？)
a = []
b = a
b.append(1)
print(a) #[1]
https://qiita.com/ponnhide/items/cda0f3f7ac88262eb31e
https://nishiohirokazu.hatenadiary.org/entry/20120125/1327461670
※テキスト選択
Shift↑or↓ で行全体
home(+fn)で行頭、end(+fn)で行末移動
【基礎一覧】Pythonの基本文法を全て解説してみた！【初心者】 (suwaru.tokyo)Python基本文法まとめ - QiitaとほほのPython入門 - とほほのWWW入門 (tohoho-web.com)HTMLの中に少し埋め込めず、基本的にプログラムの中にHTMLを埋め込む：CGI(Perl然)
さくらインターネットでPython CGI (mwsoft.jp)WSGI
Python で WSGI (Web Server Gateway Interface) に従ったシンプルな Web サーバで Hello World - QiitaPython用Webサイト用途フレームワーク：Flask(軽量)、Django
WSGI について — Webアプリケーションフレームワークの作り方 in Python (c-bata.link) GCPでどう使うかは不明だがホスティングは↓
ウェブ ホスティング | Google Cloud 静的ウェブサイトのホスティング | Cloud Storage | Google Cloud＝＝＝＝＝＝＝＝＝＝＝＝＝＝
ここで動かせるgoogle colaboratory→
Colaboratory へようこそ - Colaboratory (google.com)半角スペース２個で改行
#の数で見出し
*で箇条書き
数字と.で番号を振る、- でリスト
* or - or _ を３つ以上で水平線
[ ]でチェックボックス、[x]でチェック
| td | td | td |でテーブル
**aaa**で太字、*aaa*で斜体
~~aaa~~で打消し線
[タイトル](URL)でリンク
```でコードの挿入、`でインライン挿入
> or >> で引用
[^1]で注釈
\バックスラッシュでマークダウンのエスケープ
＝＝＝＝＝＝＝＝＝＝＝＝＝＝
宗教論争（事実は同じでも他人の認知は違うので意味なし
if self.flag_ok == 1 and self.mode == '1'
↓一見で分からんなら変数名を工夫してこうやんな
if self.file_verify_completed and self.mode == GRANT_PERMISSION:
マジックナンバーを使わない(数字の方が曖昧性が無い場合も)
STATUS_ERROR = -1
STATUS_SUCCESS = 0
self.status_error = STATUS_SUCCESS
初期値をエラー値にし、業務判定エラーでステータスを設定したらreturnで抜ける
def exFunction(self):
self.status_error = STATUS_ERROR
try:
if XX = AAA:
self.status_error = STATUS_XX_ERROR
retrun
self.status_error = STATUS_SUCCESS
retrun
except:
～エラー処理、ステータスは変更しない
エラーメッセのハードコーディングを避ける方法(ハードが場所と内容が分かり易いかも)
MSG_ERROR_OLD_EMAIL = "Error: 旧メール%sです\n"
e_message_list.append(MSG_ERROR_OLD_EMAIL % (old_email))
self.error_message = '\n'.join(e_message_list)
ケチって分厚い本1冊にしたが全然進まぬ、薄い奴星e、？チッPython、誰がJSONじゃ～い、チェーンソー魔わすっぞ
Posted by funa : 07:30 PM
| Web
| Comment (0)
| Trackback (0)
January 27, 2021
Framework
群雄割拠か弱肉強食か政治解決か遣りたい放題の中、当事者なら自然に身につくだろうが時代に参加していない貴殿には到底分からない、シルバーブレットはなく結局は愚直しかない、どう愚直になるか/どう立ち回るかを発見するのがフレームワークだ、もしトレンドを感じればそれに乗ればよい、他にシーズがあればプロダクトアウト、ニーズがあればマーケットインだ
■フレームワーク
3C(Customer/Competitor/Company:自社)
SWOT(Strength-Weakness x Opportunity-Threat)
PEST分析(Politics/Economy/Society/Technology)
3M(人物金、Men/Material/Money)
3M(ムリ:負荷が人に掛かる/ムダ:資源が余り浪費しコスト高/ムラ:負荷と浪費が交互)
7S(<3sはハード>Structure/Strategy/System、<4sはソフト>Shared value:価値観/Skill/Staff/Style:文化)
VRIO(Value/Rarity/Inimitability:模範困難性/Organization)
MVV(Mission:使命why/Vision:将来像what/Value:価値観how)
マーケ4P4C(4p:product/price/place/promotion, 4c:customer cost/customer cost/convenience/communication)
QCD(Quarity品質/Costコスト/Delivery納期)
ポーターの5forces(Competitive Rivalry:競争企業間の敵対関係/Supplier Power:売り手の交渉力/Buyer Power:買い手=顧客の交渉力/Threat of Substitution:代替品の脅威/Threat of New Entry:新規参入業者の脅威)
コトラーのSTP(segmentation:顧客やニーズや特性等で細分化/targeting:セグメ選択/positioning:勝てる位置取り)
競争戦略ポジショニング (コストや差別化や集中戦略等で業界ポジを練る)
PPM:product portfolio mgt(市場成長率xシェア->問題児:花形に育てる/花形:継続投資/金のなる木:投資無し/負け犬:撤退検討)
製品ライフサイクル:PLC(導入期:認知度と需要up/成長期:製品多角化販路拡大/成熟期:差別化とコストダウン/衰退期:選択と集中効率化)
イノベータ理論(Innovators/Early Adopters/Early Majority/Late Majority/Laggards:16%キャズム:段階で戦略を変えていく)
RFM(recency/frequency/monetary->優良顧客を見つけよりマーケ)
ポーターのバリューチェーン(企画/開発/購買/製造/物流/販売/サービス/人事の各々での価値->VRIOで分析)
アンゾフの成長マトリクス(既存市場浸透:既存市場x既存商品/新市場開拓:新規市場x既存商品/新商品開発:既存市場x新規商品/多角化:新規市場x新規商品)
TOWS(クロスSWOT分析:SWOTをSWOTする->SWOTで現状分析、さらにSWOTで戦略化)
SCAMPER(アイデアの展開->substitute代用/combine結合/adapt応用/modify修正-magnify拡大/put to other uses転用/elininate削除-minify削減/reverse逆転-rearrange再編集)
ECRS:イクルス(改善策->排除/統合/交換/簡素)
ギャップ分析(As Is/To Be<-間にaction)
特性要因図:フィッシュボーンチャート(要因を網羅的に調べる、他にも親和図法やマインドマップ)
意思決定マトリックス(縦軸に候補、評価基準を横軸、評価基準に重みをつけて点を出し、合計の総合点で判断)
CS/CE分析(Customer satisfaction/Customer expectation->各機能のcsをceに合わせる、ce高cs低の改善)
リスク評価マップ(インパクトx不確実性、インパクト大に対処し小は静観、不確実性が高いと注意が必要<-pest/5f)
ユダヤの商法：78対22の法則で上手くいく、契約主義で約束を守る
ケイパビリティ戦略：ビジネスプロセスを能力化、スピード/整合性/明瞭性/俊敏性/革新性が上がる、CEOがツールや組織を検討
ポジショニング戦略：競合との位置付け、STP分析をしどうポジションを取り差別化するか
タイムベース競争戦略：時間こそが希少資源、スピードが一番顧客満足が高い、数稼ぐ
アダプティブ型戦略：多くの新しいアプローチを試し最も有望なものを拡大展開、PDCA、やらな分からん時代
ランチェスターの法則：
奇襲/武器/集中、逆にシェアトップで武器も兵数あると模倣し広域戦
自分を知る、競合を知る、シェア1位を知る
地域限定、顧客志向営業、販路、陽動奇襲の企画、強みに集中
逆転の競争戦略：
業界破壊者(枠を壊す)/侵入者(他業種からの参入)/挑戦者(競合が攻撃)がトップシェア企業を脅かす
1)企業資産の負債化=リーダーが持つ競争優位の源泉を攻めリーダーが蓄積してきた優位な経営資源を価値のないものにし負債にしてしまう戦略：モスは店内で調理しマックより優位に、あるいは逆にセントラルキッチン
2)市場資産の負債化=リーダー企業に有利に働いていた競争のルールを変更し、顧客が持つ資産(ソフトウェア、交換部品など)を使えなくする戦略：VISAよりQRのPaypay
3)論理の自縛化=安易に追随するとリーダー企業が発信してきたメッセージと矛盾することになり、企業イメージを低下させてしまう戦略：手作り丁寧より100均
4)事業の共喰化=リーダー企業が強みとしてきた製品・サービスと共喰い関係にあるような製品・サービスを市場に出すことで、リーダー企業内に追随するか否かの不協和音を引き起こす戦略：カーシェア
ーーーーーーーーーーーーーーーーーーーーーーーーーー
■現代思想
ニーチェ：ルサンチマン、奴隷道徳<>快と力の高揚感が生を肯定、ニヒリズム
マルクス：神格化、砂漠の水を都市で売ろう、紙一枚が命より大事…社会的関係の錯覚
フロイト：無意識<>理性、理性は単なるハリボテであり無意識が主人で自律神経も管理
エス(快楽主義)＞自我:Ego(調整役)＞超自我:Super ego(親/社会/会社の価値観の同一化)
親や社会等から裏切られると同一化できずトラウマ、葛藤を無意識化に隠したい
ユング：Collective unconscious（人類は人種に限らず同じ記憶を持っている）
ーーーーーーーーーーーーーーーーーーーーーーーーーー
■リーダーシップで面白いほど結果が出る本
（仕事の種類）リーダシップ分類：指示／率先／構想／合意／育成／関係構築
リーダシップ→変化、コントロール→維持（基本どちらもPDCA）
若手に新しい変化のリーダシップが期待されている
（担当）鷹の眼と蟻の眼（大きな視点の戦略＋現場の改善）
（頭脳）１）構想力、２）推進力、３）育成力
→アイデア発表、ダメ出し、頼りにされる
１）構想力：戦略をゲームとして導入する、仕事の意味を伝える、今を楽しむフロー没入
２）推進力：手段の目的化を防ぐダメ出し、メンバーに寄り添う：会話の時間が足りない、現場のアイデアや成功事例を吸い出し
３）育成力：個々人の心のベクトルを少しプラスに、共通言語の定着(これがないと心の障壁や違和感)
（発想は言葉から、リーダは言葉が大事）
ーーーーーーーーーーーーーーーーーーーーーーーーーー
JCOM回線不安定：
インターネット回線の信号レベルはタブレットで通信でモデムに入って測れる
宅外でモデムを繋いででも宅外で調査しろ
同時接続数等々でスロットリングしているだろうが
Posted by funa : 03:00 AM
| Column
| Comment (0)
| Trackback (0)
January 21, 2021
Who watches
心拍数は実感でよいが、アポ―に心電図機能が付くらしい、酸素濃度も確認ができる
それらの機能と、GPSとベルトを確認してみたいな、42800円から、無理だ
よく分からんがGPSマップ等も思うような感じで使えそうだ、iPhone要る
=========
2014-04-12に投稿 GPS Watch
ブタさんマークのBryton Cardio40。格安で入手できた。
Garmin910xtと機能が似ていて薄くて軽い。いいよコレは、ヨシオ。
ベルトはANT+に対応しているのでガーミンのGarmin Heart Rate Monitor
が推し機器。
http://www.brytonsport.com/
マニュアル
トレーニングとは穴のあいたバケツに水を溜める作業だ
体がNOと叫んだら、私はYESと答える
走った距離は裏切らない。いついかなる時も決して裏切ることのない唯一無二の友、それが筋肉
千回と千1回とでは天と地の隔たり、最後の1発はその前の千に勝るとも劣らない価値がある
君のこめかみに拳銃を突きつけて「あと2repsやれ」と言ったらどうするね？死に物狂いでやるだろう？追い込むとはそういうことさ
http://www.2monkeys.jp/archives/34051594.html
Posted by funa : 09:21 PM
| Gadget
| Comment (0)
| Trackback (0)
January 11, 2021
I ain't update nothing yet
「今年2021年は間違いなく株価が暴落する」との見出し→日経が下がらない場合は「予想が外れたとして私の株価が下がるため間違いはない」のだと
■アフターデジタル2 UXと自由
Line payとか決済の感じを言っている、キックボードな感じではなかった
個人的にはAIもデータも信じていない、やっぱりデカい絵より個の可能性が良いという勘、アフターコロナ操り人形ではないぞと人々はなるか
決済＞サービサー＞メーカ のヒエラルキーに
Line pay、Pay2、dとかが総合サービスとなりメーカを操る
取得したデータがユーザに価値を与える、UXとして還元、不義理しない責任があると中国
顧客を知るデータ(UX->data->AI)→体験型サービス（世界観、コア体験）
高頻度接点＞成長シナリオ＞体験を自動化するシステム（リコメンド、VIP）
属性データは終わり行動データ→状況ターゲティング
┣タイミング（ライフタイム、刹那）
┗好きと思われるもの
AI（行動パターンのセグメント、仮説の結果分析とか）
UX品質：スタンダード（便利か、楽か、使いやすいか、楽しいか）
バリュージャーニー（アプリ、店舗、イベント、コールセンター）の各接点のコンセプトで顧客支援→ファン化
デジタル接点をメインにリアルをツール的に使う、丸井は売らない店舗
コスト削減（流通、マーケ、金融、インフラ）
UXの改善、新しいUX→DX（ペインポイントから未来を創る）
日本はホワイトリスト、中国米国はブラックリスト、日本はグレーは黒とされ許されない、中国はグレーは黒ではない（日本は成文法、米国は判例主義との考えもある）
スタバは固執せずにデリをし新しい形でブランディングをした、発想の転換
逆にオフラインの方が新規獲得コストが安く逆転が見られる、自販機出すとか
会社の歴史のDNAを引き継ぐ（重要人物を巻き込む）
ダメ：市場にすでに代替がある、商品起点でユーザ起点でない、社内政治でユーザ視点でない
スターバックスラテwithハニーホイップ venti、量が多く後からガンガン冴えて寝れん、スタバは店が温かくてベンティで3時間はイケるがグランデから2shotらしいのでトール一択では、ガストの大盛ポテトと赤ワインx2とどっちが体験が良いか：両方いいな
スタバ丼（写真で2つ映ってたらhot/iceだが1つならどっちか）
ラテ／ムースフォームラテ／カプチーノ／アーモンドラテ
ブルーボトル
https://tokyo-cafeblog.com/bluebottlecoffee-menu/
浅煎りなのでカフェラテかスチームが多いカプチーノの2択+ワッフル500 or 何か甘味では、バター匂いがヤバい、ドリップのブレンド行ったが浅煎り薄目酸味でブラクでも悪くなかった
=====
2019-12-08に投稿 Losing your job
仮にAI自体に先進性がなかったとしても、仕事が無くなることは社会的インパクトがある
過去10年はEndUserComputingでスピード化が勝負だったと思う、次は勝負ではなくソーシャルイシューの解決だと見た、社会問題を解決できるトコロが生き残る切符をもらえる感じ、AIやクラウドで商売臭が強すぎて惑わされるが
早くより良いサービスが提供ができる、コスト/人を少なくできる、やらなければ他社にヤラれる
お金をかけてデータ検証をしても、そうしたとこのマネをすれば良い、デジタルはコピーできるし
無人化をしても店員の仕事が減るだけ、RPA
加点評価の制度を敷いても少しの損得が出るだけかも、根本的には何も変わらないかも
（DIDIでは評価が高いと単価が高いドライバーになる、評価は買収ができないようセンサー等の公平な指標を使う等）
AIでもツール自体はコモディティ化するので優位性はすぐになくなる
競合を見ておき自動運転、Amazon等の黒船が出てきても対応できるようにする
競争力の問題？古いやり方はダメなの？UXで負けると死ぬ、お金目茶掛からん？
腐す業界慣習を打開し、アパレルの在庫破棄とか、雇用や無駄な事を守ることより正しいこと、あるべきようにやる、M&Aや業界団体を通じて再編をするしか、中国ではアイデア商品が作られ日本Amazonで買えるし小回りを利かして大きなマーケットに行くのもできる、正しいことをするとマーケットが変わるかも知れないのもDXか
■アフターデジタル
オンライン後の理想を実現するだけ。デジタルで塗り替える、シェアリングエコノミー、逆にオンラインストアが店舗を持ち発送する等区別がない、スタバが古く新しいカフェが勝つかも、GoogleやAmazonのように未完成でも出しマーケットを取る。デジタルによる社内連携を変える、鉄道が郵便や新聞や銀行を作ったようにデジタルが何かを作るかも
Uber等のデリバリーが現れると店舗が不要、キャッシュレス決済で購入する意識が変わる＞決済時間は減るので形に嵌められた対応より店員のエンターテイメントで選ばれる
中国の事例が多いが人口が多く世界の工場となっているから必然性があったのかも知れない
■Deep Tech
プロパンを軽く運ぶ装置を開発：古いビジネスを技術で改良、イノベーションのジレンマの先を行く、まあ何としても商品を作る意気込みではBy Productを商品化とか
■AI救国論
ある国をディスって炎上した人。ある種重要なことを言うと揚げ足を取られ村八分される場合がある。危険思想や儲け過ぎ、やっかみが理由。炎上マーケの場合もマッチポンプで画を描くので構造は同じではないか。AI、ロボ、英語を強調している、また若者こそ優秀、日本のITは変、日本には若い良い技術者がいない、給料が、受験システムがダメで高専がいいと主張。：社会システムの革新性が込みではあろうな、高学歴より高専の方がよりプラクティカルなのはプラクティカルで育ったので当たり前では
黒船になる輸出できるもの、マネのできないもの は脅威になる
経験や勘ではなくデータ（レーシングもデータを使うがある程度からは数値より経験、無いデータは要るがデータ頼りとは情けない）
アウトドアスポーツ用品店で改革（売り場の壁の高さ、動線分析、何故買わなかったのか）
データを持っていると商圏、購入金額、購入内容の予想ができ出店が簡単になる
管理側が被管理側をどう誘導するかという観点しかない
最前線で使用されるべきツールが管理側でしか使用されない、ボトムアップの時代は来ない？
どんなデータ、あるいは業務が必要かは現場が一番分かっているべきだが
DX化デジタルトランスフォーメーションで何を変えるか、古いものをデジタル化するだけ？
現業務にデジタルを適用＞リアルとデジタルをUXに基づき融合＞デジタルで収益構造を変える
デジタル的マーケティング、シェアリングとか
人間を変えるべきでは？人間自体が一番変わる
果てし無く記憶力がある、42kmを誰もが2時間で走れる、空を飛べると世界が変わる
組織の力を変える
効率やコスパや低価格、かつスタイルがCoolなもの、ポケモンゴーのような流行るマーケ仕組みを入れる（人が溜まる、列を作る）、AIも所詮バズワード
面倒なことはAIにやらせるというスキルは取得すべき
DX意味わからん。「IT革命」と何が違うの？という話｜広木大地（日本CTO協会理事/レクター取締役）｜note
ナニガ安く簡単になったか分からないと駄目→どう動けばいいか知る→突然儲けの出るビジネスがなくなるかも
=====
2018-04-30に投稿 Smart contract, AI & Emo
■AI雑感
アルゴリズムが鍵、ロジックをどうプログラムするか考え方が変わるとなると手を動かしてスキルを取得しておかないとな、面倒なことはAIにやらせるのがいいかも知れない、始めと終わり以外の中間成果物的なところ
ディープラーニング：人間が理解しない形のデータが扱える（音声をウェーブでなくn次元の座標にする等しても良い）
マシーンラーニング：教師
機械学習の一連手順
１）データの可視化 ：データの全体感を掴んで前処理の方針を決める
２）データの前処理 ：予測精度が高くなるよう、データを綺麗にする
３）アルゴリズムの選定：データに対して適切なアルゴリズムを決める
４）モデルの学習 ：コンピュータにデータの法則性を学習させる
５）モデルの検証 ：出来上がったモデルの予測精度を確認する
AIが建築設計をし人間は間取りを選ぶだけ
癌画像診断、コンクリ護岸点検、バレーボールのセッター配球予測、経理伝票の仕分け入力
Adobe：類似例の自動生成
チャットボット：質問をすれば最適解を回答してくれる
HRテック(AIで評価/効果測定/異動/離職、経歴/性格/IQ/遺伝まで全自動)
性格も知識も偏った変/嫌なやつが一番企業に利益をもたらしている事が分かった
誰かを犠牲にするイノベーション、ジョブズのように人をビュンビュン振り回す人
普通の成績の子どもたちは高い協調性を求められ組織や集団の中で大過なく過ごす
https://bunshun.jp/articles/-/28229?page=4
（人間が時間を掛けて選択していることをAIにやらせる、多変量解析でもいいかも知らんが）
仕組みについてはここが良い感じかと
https://aizine.ai/algorithm-0315/
■Smart contract雑感
中央管理者を必要としない事のデメリットの癖が強い、用途が限られる
１）スケーラビリティ
ビットコインは総量がある
信頼性を担保するのにノード数が必要なくせに
履歴を持つくせにパフォーマンスを考えるとデータ量は多くできない
２）プライベートでもすべてオープンになる
仮想通貨により世界統一通貨を実現したり、紙幣やコインが不要になったり、IMFが不要になったりするかも知れない
中央政府が不要になる可能性
■エモ消費
世代的消費活動の括り、消費というかどうやって浪費させるかという手法
https://note.mu/wildriverpeace/n/necb216232d12
いいモノを作れば売れる、広告で認知させれば売れる、割引やオトクを提示すれば売れる、は既に終わっている
モノからコト/体験へなんて言われたのははるか昔の2000年の頃 CD→握手→入れあげ
モノは外に揃える、コトは外からの刺激（必要なモノは揃えてしまった、高品質の置いてけぼり感）
エモは入れ込む、特に女に（コトに刺激され、未完成なものに巻き込まれる）
精神的充足
コミュニティへの帰属意識
瞬間的につながる刹那のコミュニティ
今この瞬間の自己肯定感
https://comemo.io/entries/7261
家族は現状幸福度が高い。だからこそ現在の状態を維持したいという消費
幸福度の低いソロは、現状を打破するためにお金と時間を費やしたい
承認と達成感、また幸せ感の共有、帰属意識（体験/時間の共有、純粋な体験や時間でなく共有を含む）
幸せのマイレージを貯める行動
消費者の関与によって完成するからこそ「エモい」のです。ニコニコ超会議やコミケが盛り上がるのはそういうこと
エモいとは単に感動したというより、美的/切なさ、はたから見れば哀れみを含む
-----------
■Booランディング
コンテンツが重要というが、余程のことがないと人は中身を見ていない
人間の馬鹿なところを突くというのが商法の本質
品質とは何か、ブランドで差異化、多広告対応、一定期間の体験
Apple: 紛らわしい販売店、コピー商品を防ぐ
ハイネケン: ステーショナリー
幻冬舎: やりたいことをやってもいい。判断は極端であること
Posted by funa : 06:58 PM
| Column
| Comment (0)
| Trackback (0)
