Ver4.0
■システムアーキテクチャ

周辺機器のon/offや起動ドライブ検索順序はBIOS/UEFI

/proc以下のファイルによりカーネルが認識しているデバイスを確認できる

/dev以下にはデバイスファイルがある

USBはホットプラグデバイス

lsusbでUSBデバイスの情報、lspciでpciデバイスの情報を確認できる

modprobeコマンドでデバイスドライバをロード

起動時にカーネルが出すメッセージはdmesgで表示

SysVinitのシステムでは/etc/inittabでデフォルトのランレベル設定

0：停止、1：シングルユーザモード、5：マルチユーザモードGUI、6：再起動

ランレベル移行はinitやtelinit

systemdのシステムはsystemctlでサービス管理

shutdownでシステム停止や再起動

■インスコとパッケージ管理

インスコにはルートパーティション/とスワップ領域が必要

中大規模では/varや/homeと/は別パーティションが良い

/varはログやメールデータ

/homeは各ユーザのホームディレクトリで肥大化しやすい

スワップ領域は物理メモリと同程度から2倍を確保

GRUBのインスコにはgrub-install

GRUB Legacyの設定ファイルは/boot/grub/menu.lst

GRUB 2の設定は/etc/default/grub、grub-mkconfigを実行すると設定ファイル/boot/grub/grub.cfgができる

共有ライブラリはld.soによってリンクされる

実行ファイルが必要とするライブラリはlddで確認

ld.soが参照する/etc/ld.so.cacheは/etc.ld.so.confを元にldconfigで作成

Debianパッケージ管理はdpkgやAPTツールで、apt-get、apt-cache、aptitudeがある

APT設定ファイルは/etc/apt/sources.list

RPMパッケージ管理はrpmやYUM

rpmでパッケージをインスコするには-i、アップグレードには-Uもしくは-F、アンインスコには-eオプション

rmp -qはパッケージ情報の参照

YUMレポジトリ設定は/etc/yum.repos.dディレクトリ以下のファイルで

■GNU

変数名=値　でシェル変数を設定

echo $変数名　で変数の中身を確認できる

unsetで変数を削除

exportでシェル変数を環境変数に

環境変数を一覧 env や printenv

環境変数とシェル変数を一覧 set

環境変数PATHでコマンドの検索パスを定義

複数コマンドを連続実行は;で区切る

直前のコマンドが成功したときのみ次コマンド実行 &&

失敗した時のみ実行は ||

'や"の囲みは文字列として、`の囲みはコマンドと解釈

"や`の囲みの中は変数展開されるが、'ではされない

historyでコマンド履歴表示

manでマニュアル参照、1:ユーザコマンド、5:ファイルfmt、8:システム管理cmd

属性を保持したままコピーは cp -p

移動先で上書きしたい場合は cp -f、あるいは mv -f

ディレクトリ作成で必要な親ディレクトリを作る場合は mkdir -p

サブディレクトリを含めて削除 rm -r

file でファイルの種別を確認できる

シェルでワイルドカードが使える

. 任意1文字

* 直前の文字の0回以上繰り返し

[] いずれか1文字

[a-c] aからcの範囲

[^ab] aとb以外

^ 行頭

$ 行末

\ エスケープ

+ 直前の文字の1回以上の繰り返し

? 直前の文字の0回もしくは1回の繰り返し

| 左右いずれかにマッチ

コマンドの出力を別コマンドの入力化やファイル格納するにはパイプやリダイレクト

tee 標準入力をファイルに格納し同時に標準出力に出す

ファイルの表示・連結は cat

バイナリファイルを8進数法事するには od

テキストファイルの先頭表示 head、末尾表示 tail、-nで行数

tail -f でファイル末尾を継続監視

テキストファイルの列の取り出しや連結 cut や join や paste

trは文字列を置換

uniqは重複する行を1行にまとめる

xargsで標準入力から受け取った文字を引数にし与えられたコマンドを実行

grepやsedで正規表現を使う

■ファイルとプロセスの管理

gzip, bzip2, xy　はファイル圧縮

unzip, bunzip2, xz(unxz)はファイル解凍

tar, cpio　はアーカイブ作成・展開

chown ファイルやディレクトリの所有者設定

chgrp　は所有グループ変更

chmod　ファイルやディレクトリのアクセス権変更

SUIDやSGID適用のプログラムは実行ユーザに関係なく所有者or所有グループの権限で実行スティッキービットを設定したディレクトリは自分が所有するファイル以外削除不可

アクセス権はファイルは666から、ディレクトリは777からumask値を引いた値

ln　でハードリンク、ln -s でシンボリックリンク作成

ps, pstree, pgrep でプロセス参照、top でシステム状況を一定間隔で表示

kill, killall, pkull でプロセス終了・再起動等

1:HUPハングアップ、2:INT割り込みctl+c、9:KILL強制終了、15:TERM終了デフォ、18:CONT再開、19:STOP一時停止

コマンドラインの最後に&でバックグラウンド実行

jobs でシステム上のジョブを確認

ログアウトでもプログラムを実行しつけるには nohup

free でメモリの利用状況を確認

uptime でシステムの平均負荷を確認

nice でプロセスの実行優先度を指定、変更には renice

ナイス値-20-19で実行優先度を指定

■デバイスとLinuxファイルシステム

fdisk, gdisk, parted でパーティション作成

mkfs でファイルシステムを作成

ext2, ext3, ext4ファイルシステムを作成するには mke2fs

mkswap でスワップ領域を作成

df でファイルシステムの利用状況を確認

du でファイルやディレクトリを含めたサイズを確認

fsck, e2fsck でファイルシステムの整合性チェックや修復

ext2, ext3, ext4ファイルシステムのパラメータ設定は tune2fs

mount でファイルシステムのマウント、解除は umount

継続利用や頻繁利用のファイルシステム情報は /etc/fstab に格納

ディスク利用容量の制限はディスククォータを使う、ハードリミット、ソフトリミット、猶予期間を設定できる

find, locate でファイル検索、locateはあらかじめ準備されたDBに基づいて検索

which, whereis でコマンドのフルパスを表示

Test-first fundamentalism is like abstinence-only sex ed: An unrealistic, ineffective morality campaign for self-loathing and shaming.
TDD is dead. Long live testing. (DHH)

I need to hire new techniques to help me solve many of my problems during programming: The pain will fade. Farewell TDD, old friend.
RIP TDD from Kent Beck

そもそもテスト駆動開発の最後のところに、自分で考えてやれって書いてんなぁ、やらんでもええしって。そらそーやろ、自分で考えさせろや、やらんと分からんやろやらせろや

＝＝＝＝＝＝＝＝＝＝＝＝＝＝
終了ーーーーとなりそうだが変な常識
両方でドリドリになる、まとめて行こう

Assertするだけ？、何か一部しかテストでけへんの？
　テストをコード化するのはいい
　テストファーストとテストドリブンとユニットテストは違うらしいで
　javascriptとかテストできんの？

ビジネスをソフトウェアでするだけ
　ソフトウェアを捏ねくりまわしたいのではない

他人が使うソフトウェアなら必要、自分も使うソフトウェアなら不要では
　自分でも使うくらい有用なものであるか
　品質をどこで担保するか、機能だけなのかUXなのか
　スーパープログラマには本質の部分にもっと時間を使って欲しい、死ぬ方が早い
　あんまり機能をリファクターする機会がないかも

＋＋＋＋＋＋＋＋＋＋
ソフトウェア開発

アプリケーションを超シンプルにするとリリース回数が多くなる（質とスピードを上げるにはリリース回数）
アプリの分散と並列も可、競争力はオリジナリティ、政治力か真理性か
原体験、初期衝動は、グラスルーツかグルーピーか

＝＝＝＝＝＝＝＝＝＝＝＝＝＝

新しい（変化する）事は良いことみたいな感じでやってきたところもあるが、今時変化っつーたら怪しいわな。不要な変化を押し付けられたり、本当に変えるべきところを隠すために変化してたり。コンサバでええかもな

=========================
2016-01-03
■XSS対策、CSRF対策、脆弱性チェック
情報処理推進機構にチェックリスト有
https://www.ipa.go.jp/security/vuln/websecurity.html

XSS対策
　フォーム送信後の確認画面ではHTMLエスケープ等でサニタイズされた内容の結果を表示
　DBへのクエリについてはプレースホルダやエスケープ等でSQLインジェクションを防ぐ
　target="_blank"はXSSになるので危ない、rel="noopener noreferrer"を付ける
　　https://b.hatena.ne.jp/entry/s/webtan.impress.co.jp/e/2020/03/13/35510
　　https://laboradian.com/test-window-opener/
CSRF対策
　前ページでhidden値を入れる
他
　クッキーに具体的なものは入れない、CookieにHttpOnly属性、HTTPS通信ではsecure属性
　エラーメッセージを表示しない
　不要なファイルは削除

　XMLの外部実態参照は禁止、サーバ上でコードが実行される
　　→libxml_disable_entity_loader(true)で止める、xmlをアップロードさせない/使用しない、JSON使う
　PDFからHTTPリクエストが発行される
　　→PDFをアップロードさせない

------

//SQLインジェクション対策
\ " ' を\エスケープ
$sql = "UPDATE users SET name='.mysql_real_escape_string($name).'WHERE id='.mysql_real_escape_string ($id).'";

//クロスサイトスクリプティング対策
表示時には<>&"をメタ文字へ変換
echo htmlspecialchars($_GET['username'], ENT_QUOTES);
$ent = htmlentities($ent, ENT_QUOTES, "UTF-8"); //100個の文字を変換

//クロスサイトスクリプティング対策
別サイトからのポストを弾く
refferを送信しないリクエストもある（別サイトのリファラを弾き、nullもしくは適切ページからを許可する）
セッションIDで判断する

//DOS対策
2重ポスト
IPと日付で2重ポストを防ぐ（同IPのポストがx秒以内を弾く）

========

■JSONP
scriptタグを使用してクロスドメインなデータを取得する仕組みのことである。 HTMLのscriptタグ、JavaScript（関数）、JSONを組み合わせて実現される

GoogleAnalyticsのクッキーは1stパーティでサイト側がオーナでありGoogleがオーナーではない
　サイト側のJSでクッキーが作成されるようなっている
　クッキーが送信される相手はどこか？が重要でGoogleでなくサイト側に送信される
　アクセス履歴は別途データをGoogleに送信しており、クッキーはセッション管理に使用される

■SSO

RUN

httpリクエストでコンテナを呼び出す

Google Cloud Run を使うまで - Qiita

■ハンズオン(run)
クイックスタート: ビルドとデプロイ  |  Cloud Run のドキュメント  |  Google Cloud
http responseを返すコードである必要があるみたいだ

===

gcloud projects list --filter="bangboo OR fucu" --format=json

gcloud projects list --filter="bangboo OR fku" --format=json | grep -oP '(?<="name": ")[^"]*'

全て想像ですが
読み方はケーツと読みます、半端ねーてす、あるいは半端ネース

ケツが扱う最小単位がPodで1つの機能を持つ（Podは1つ以上のコンテナを含む）
ReplicaSetは複数のPodを組み合わせてアプリを実現する
DeploymentはReplicaSetを管理、アップデートの際は新規ReplicaSetを作成してバージョン更新を行う
ServiceはDeploymentに対してIPアドレスやLBを設定してサービス提供する
クラスターはServiceが複数動く環境、1つのMasterと複数のNodeから構成され
　Nodeはコンテナを動かす為のサーバ、MasterはNodeを管理しスケジューリングやオートスケールを行う


■流れ
　GKEでクラスタを作成
　Kubectrlをインスコ
　KubectlでPodを立ち上げ＞Deploymentができる、複数Podの起動も

　Kubectlでサービス公開設定
【GCP入門編・第7回】Google Container Engine (GKE) での Docker イメージの立ち上げ方 | 株式会社トップゲート (topgate.co.jp)

　サービスアカウント作成
　ネームスペース、kubeサービスアカウント作成
　サービスアカウントとKubeサービスアカウント紐づけ(gcloudとbubectlの両方)
　Yamlで機能を宣言しKubectlでデプロイ


＝＝＝＝＝＝＝＝＝
　時間の掛かっていた処理をクラスタ構成で並列処理させて早く終わらすとか
VMからOSを抜いてアプリを入れたものがコンテナ、ドッカ―がOS以下を手配
Dockerがコンテナを管理、k8sがそのDockerをオーケストレーション

複数台でまとめたクラスターで故障があっても切り替え可用性を保つ

　そのクラスターをnamespaceで分割し複数チームで利用することも可

稼働中にサーバ追加のスケールをしたりロールバックできる

podにIPを割り振ったり、DNS名を振ったり、負荷分散したり

自動デプロイでコンテナイメージをサーバ群へ展開する

Dockerのホスト管理、コンテナのスケジューリング、ローリングアップデート、死活監視、ログ管理等々

masterとworkerで構成されmaster3台、worker2台～位のサーバ要る

Externalname>LoadBalancer>NodePort>ClusterIP

コンテナにはストレージを置かず外部に持たせた方が良いかも

ユーザ管理も必要

Dockerはアプリイメージという感じ、それらを束ね管理するのがケーツ

https://www.kagoya.jp/howto/rentalserver/kubernetes/

https://udemy.benesse.co.jp/development/system/kubernetes.html

＝＝＝＝＝＝＝＝＝
↓実際のアプリがないとイメージ沸かん
クイックスタート: 言語に固有のアプリのデプロイ  |  Kubernetes Engine ドキュメント  |  Google Cloud
コンテナ化されたウェブ アプリケーションのデプロイ  |  Kubernetes Engine  |  Google Cloud
Cloud buildを使用してアプリをコンテナイメージにパッケージ化
GKEでクラスタを作成、コンテナイメージをクラスタにデプロイ
↓手始め？
GKEでnginxを外部アクセス可能にするまで - Qiita
Kubernetesでのコンポーネント間の通信をまとめる - Qiita
GCP におけるコンテナ入門 ~Kubernetes の何がすごい！？ | クラウドエース株式会社 (cloud-ace.jp)

GKE


＝＝＝＝＝＝＝＝＝
その前にアプリがPHPならこれを参照
PHP のドキュメント  |  Google Cloud
PHP スタートガイド  |  Google Cloud
Firestore でのセッション処理  |  PHP  |  Google Cloud 複数インスタンスのsession管理にはFirestore
PHP でのユーザーの認証  |  Google Cloud IAP(Identity-Aware Proxy)
PHP を使用したバックグラウンド処理  |  Google Cloud
　Cloud run(コンテナ化アプリのスケールできる実行、CICDで自動Terraform applyできる？)
　Pub/Sub(イベントドリブンでメッセージングとデータ取り込み)

　IAPとCDNの両立はできない
　LBのbackendにgcsを設定したときはIAPが使えない

■VPCネットワーク

■ハンズオン(GAE:php+FW+IAP)→GAEよりCloud runが良い

IAPはGAEが簡単そう（アクセスするのにGoogleの認証プロンプトを出す）
　自前DNSにTXTレコードを設定>確認>IPが表示されAレコードやCnameも登録でき、SSL証明書も使えるようだ
　　しかし無くてもgoogle提供のドメインが使え不要　DNS(TXTレコード)による所有権の確認 - Google Search Consoleの使い方 (howtonote.jp)
　WinローカルにGCP SDKインスコし下記にapp.yamlとindex.phpを置いてcmd→ gcloud app deploy
　　C:\Users\おまはんのユッザー名\AppData\Local\Google\Cloud SDK\php
　IAPを有効にしIAM secured userの権限とIAMでGAE viewer権限付与で@gmail.comユーザ等は見れる
　　外部ドメインを使うときはIdentityPlatform設定が必要そう
止めるにはinstanceを削除する(再度アクセスでinstanceが自動作成される)、IngressをInternal onlyにすると一応止まるか、楽だ

■ハンズオン(Marketplace: GCE+FW->Wordpress)
デフォルト：エフェメラル＋インターネット公開なし(LB/IAP/NAT/Armor付けてから公開しようかと)
VMインスタンス　ネットワークタグwordpress-1-deployment
FW：wordpress-allow-external ターゲットタグwordpress-1-deployment、ソース0.0.0.0/0 tcp0-65535

スナップショットのラベルはKVSで app : wordpress とか env : testとか
DBはステートフルMIG-永続ボリュームにできる？

●cloud shell terminal

gcloud compute instances list　インスタンス一覧

●コンソール

デフォルトVPC NWを削除 > VPC NW作成 > サブネットIPレンジ 10.27.0.0/16等で

GCE VMを作成(Instance scheduleで起動-停止時間が入れられる、テンプレやグループに使えない？)
　インスタンスを作って設定しスナップショットからOSイメージを作り量産すればいいが
　　instance template作成してinstance group作成してもいい。IGが中々できないならIGを開きエラーメッセージを見ること
　OSはubuntu18、API access scopeには"Allow full access to all Cloud APis"で

　　外部からアクセスさせずLB経由だけにしたい→外部IPがephemeralで止められない→作成時にnetwork>external ipをnoneで作成すること→
　　外へでれなくなるのでgcloudコマンドが通らない→CloudNATも設定

SSHの項目からview gcloud commandで好きなSSHターミナルからアクセスできるcmd出る

 gcloud beta compute ssh --zone "asia-northeaset1-b" "instance-3" --tunnel -through-iap --project "bangboo-sandbox"

●SSHターミナル

gcloud init　インスコ

sudo apt-get install nginx　Webサーバインスコ、ブラウザで内部IPでアクセスしたかったが不可だった

sudo service nginx stop　止める、動かすのは sudo service nginx start

ps　プロセス見る

curl http://10.117.0.19　nginxが動いているか確認

cat /var/log/nginx/access.log　ログ確認
●nginx
/etc/nginxにあるconf系が設定ファイル
sites-enabled/default だけがあり cat default しdocument rootは/var/www/htmlと判明
　ここへ移動 cd /var/www/html
sudo cp index.nginx-debian.html index.html　コピー
sudo nano index.html　で編集
設定変更後は sudo service nginx restart

●コンソール
GCEスナップショット作成→OSイメージ作成→テンプレ作成→Healthcheck作成→MIG設定
　OSイメージはオンプレから作ったものとかHashi corpのPackerで作るとかも
FW作成
　gceに外部IPがあればアクセス試す
　fw-bangboo-http-ingress-allow　ingress - "all instances" - 0.0.0.0/0　デフォルトで許可＋ingressが必要
　　httpsはIPではダメ、ドメイン/証明書が要るか知らんがhttpでは外部IPあればアクセスできる
　　　GCPのIPを自前のDNSのAレコードに設定しとけば、、
　　　ウェブとメールを別々のサーバで運営したい？・・・それ、ゾーン設定で出来ます！ | さくらのナレッジ (sakura.ad.jp)
　　　ドメイン所有はDNSにTXTレコード設定ができるようだが、、、
　　　ウェブマスター セントラル (google.com)

　　使うときfw-bangboo-all-ingress-allow　ingress - "all instances" - 192.168.1.255/32　に設定？
　外部IP(普通LBとなるか）への制御はCloud armorのでdeny allowしてFWではあんまり考慮
　　armor-bangboo-all-ingress-deny　ingress - "all instances" - 0.0.0.0/0　で設定完了まで止めとく

LB作成

　VMインスタンスグループ（子インスタンス）作成（上で作ってなければ）

　　インスタンステンプレート作成

　LBヘルスチェック(閾値)が要る

　httpLBだと内部か外部か選択できる
　　httpLBならIPレンジが要る＞VPC networkで同resionで使われていないものを設定

　　例10.55.20.0/22なら10.55.23.255まで使われているので10.55.25から使うとか

　　NW計算　ネットワーク計算ツール・CIDR計算ツール | Softel labs
　　　VPCのサブネット設定は拡大できるが縮小ができない→小さめにしておきたいが、k8sはIP沢山使うので大きめ
　　　プライベートサービスコネクト(VPC間を繋ぐ)を使うと疎結合でつなげられるが
　backendはhttpで、healthcheckはtcp80とproxy無し
IAP作成
　外部 HTTPS ロードバランサの設定  |  Identity-Aware Proxy  |  Google Cloud

　IAP(https)を見るとFWで開けてくれの指定がある
　　fw-bangboo-lb-gce-allow Source IP range:072.72.1.19/22, 69.11.8.0/16 tcp:80
　LBフロントエンドはhttpsでもバックエンドはhttpで
　IAP-secured web app userロールを@gmail.comユーザに付与
　IAPとCDNの両立はできない
　LBのbackendにgcsを設定したときはIAPが使えない→ネット公開にしてVPN SCで制御？、GCEにGCSをマウント？
FW調整
　0.0.0.0/0 all deny priority2000>LB関連 tcp80 allow 1000/IAP関連 tcp allow 1000>（使用拠点のソースIP allow 500)
　GCEの外部IPを止める：インスタンステンプレート作成時に外部IPnoneで設定(StaticIPを買って削除でもnoneにできなさそう)
　必要なもの以外を止める：0-442, 444-65535で443のみ許可は駄目か？
　Connectivity testでテストがIPアドレス等でできる（設定変更から実際の反映に時間が掛かるものがあるような気が）
apache benchでスケールするかテスト　Apache Bench を使って初めてのベンチマークテスト - Qiita
　sudo apt install apache2　abはapachに含まれるのでどれかのVMにインスコ
　ab -n 1000 -c 100 https://gcp.bangboo.com/　でインスタンスが増えることが確認できる
Cloud armor設定
　DDoS等を防ぐのでOnでいいのでは、adaptive protectionで優先度低いdeny設定
　外部IPのdeny allowはこれでやる(web app firewallなのでな)、log4J対策等もここで弾く
　　一時止めるときは0.0.0.0/0 bad gateway等分かり易いエラーで止めるのが良いかも
　IAPが前、Cloud armorが後ろ、そしてLBとか
Access context manager設定（+VPC service control）
　Organizationの設定が必要(≒Cloud identityでドメイン必要？)IPアドレスやOS等でアクセスを制限できる

↑

■GCP(Google Cloud Platform)

https://console.developers.google.com/

無料枠

GCE:プリエンプティブル以外の1つの以下のe2-micro VMインスタンスと30GB/月の標準永続ディスク

　オレゴン: us-west1

　アイオワ: us-central1

　サウスカロライナ: us-east1
GCS: 5GB/月のRegional Storage（米国リージョンのみ）

　月額のプロダクトを日割レポートで見ると2月の日割りは高く見え、3月は安く見える

　為替の影響は月初から適応されるので円安だと高いよ

GCP ハンズオンセミナー Google_Cloud_GCPHandson_infra1122.pdf (cloudplatformonline.com)

　GKE, Cloud SQL, Dataflow等

■IAM(Identity and Access Management)　
https://cloud.google.com/iam/docs/overview?hl=ja

https://cloud.google.com/iam?hl=ja
IAMベストプラクティス　https://cloud.google.com/iam/docs/using-iam-securely
操作方法　https://cloud.google.com/iam/docs/how-to?hl=ja
ロール　https://cloud.google.com/iam/docs/understanding-roles?hl=ja

https://www.isoroot.jp/blog/1244/

https://medium.com/google-cloud-jp/gcp-iam-beginner-b2e1ef7ad9c2

■GCS
■GCP Cloud asset inventory