機械学習：

　マシーンラーニング、ML。マッシーンがLearnしデータの背景にあるルールやパターンを発鐔??する。

モデル・??

　機械学習における入力データに対して軆??果(出力)を蟆?き出す仕組み。モデルは入力されたデータを解析し、評萓?/判藹??を行った結果を出力として鐔??す。つまり、機械学習は「入カ・??モデル・??出力」から成る。

学軆??デー繧?

　モデルをつ縺?るために学習させるデー繧?

適用デー繧?

　モデルに対して臀??測を適用させるデー繧?

教師あり

　学軆??データに対して正解ラベルを付けて学習する方觸??

　　例)驕?去縺?DMを送付した結果(目的変謨?)を用いて学習させる

教師ありは、回帰と分類縺?2つに分けられます。

　回蟶?(予测)

　　連軆??する数値を予測するもので、売臀??、重驥?、温度などを算出する

　分類(識蛻?)

　　データがどのクラスに藹??するかを予測するもので、販売商品が売れる見込縺?/売れない見込みなどに分類

　　DMにおいては分類モデ繝?(買う・買繧?ないの鐔??蛻?)を使逕?

目的変謨?

　結果側の藹??謨?

　例)ある特藹??のカテゴリやブランドをその顧客が注文する

　　●確軆??(購入する・しない)

　　　ー学習データにターゲットフラ繧? (購入あり=1、購入無し=0)を立てる

　　　ー適用藹??に出て縺?る結果縺?0～1 (0%～100%) の軆??蝗?

　　笳?金額

説譏?変謨?(特微驥?とも呼縺?) 

　藹??因側のデー繧?

　目的変数を予測するために使用する顧客の觸??々な情報、大き縺?分け縺?2種饅??

　　●顧客属諤?

　　　ー觸??莠?/個人臀??業主など臀??業形態、登録臀??所の郵便番号、業種コードな縺?

　　●購買履歴

　　　ー購雋? いつ、何を、どの縺?らい購入したか等の情蝣?

　　　ー各商品カテゴリ觸??の購入金額 etc.

質的変謨?

　数値で推し測ることができ、数藹??の大蟆?に諢?味をもつデー繧?

　　(例)売臀??、購入回数、従業員数、DM送付回謨?

單的変謨?

　単に分類や種饅??を区別するためだけのデー繧?

　　(例)都道府県、闌?種コード、購入有辟?

統鐔??手法

　重回帰分析:

　　説譏?変謨?xが目的変謨?yの値を変化させます。そのため、説譏?変数から、目的変数の値を予測可能です。

　ロジスティック回蟶?

　　yが1になる確軆??を判別します。い縺?つかの鐔??因(説譏?変謨?)から「2値の軆??果(目的変謨?)」が起こる確軆??を説譏?・臀??貂?

　　　2値の軆??果とは合譬?/不合格、採逕?/不採用など、答えが2つしかない場合を指し

線形回帰・??エクセル・??
　slope関数・??回帰直軆??の傾きを藹??得
　inercept関数・??回帰直軆??の切片を藹??得
　forecast関数・??単回帰分析からの推測値を藹??得
+++++++++++++

Google Docのコピーや編集

https://developers.google.com/docs/api/how-tos/documents?hl=ja

https://rimever.hatenablog.com/entry/2019/10/16/060000

クイックスタート

https://developers.google.com/docs/api/quickstart/python?hl=ja

スコープ情蝣? https://developers.google.com/identity/protocols/oauth2/scopes?hl=ja#docs

ディスカバ繝? ドキュメント

例えばこれ縺?DriveAPIの分だが、RESTAPIで臀??ができるか全鐔??載しているっぽい

https://www.googleapis.com/discovery/v1/apis/drive/v3/rest

Drive API

https://developers.google.com/drive/api/guides/about-sdk?hl=ja

https://developers.google.com/drive/api/reference/rest/v3?hl=ja

Docs API

https://developers.google.com/docs/api/concepts/document?hl=ja

https://developers.google.com/docs/api/reference/rest?hl=ja

https://googleapis.github.io/google-api-python-client/docs/epy/index.html

https://googleapis.github.io/google-api-python-client/docs/dyn/docs_v1.html

https://developers.google.com/docs/api/reference/rest/v1/documents/get?hl=ja

文字置觸?? https://developers.google.com/docs/api/how-tos/merge?hl=ja

窶?DocAPIからdriveld folderidは藹??得できなさそう、getは使えそう

窶?DriveAPIが使えない?

コピーでな縺?DocAPI縺?get body からの新鐔??createで鐔??縺??

共有ドライブ時は、supports All Drives=True が必要だった縺?OK

file_metadata = service.files().get(fileld=DOCUMENT_ID, fields=id, name, mimeType, driveld', supports AllDrives=True) execute()

サービスアカウント縺?GWSにアクセスするに縺?GWS OU設藹??等が必要な場合がある>Google一般共有Docで觸??証も藹??

あるGoogle Docをコピーし、

本文を編集した上縺?

　本文の編集縺?((sample))となっている文字列をAAAに置觸??する

特藹??のドライブのフォルダに移動

from google.oauth2.service_account import Credentials

from googleapiclient.discovery

import build import re

#1. サービスアカウントの鐔??証情報を設藹??

SCOPES = ['https://www.googleapis.com/auth/documents',

'https://www.googleapis.com/auth/drive']

SERVICE_ACCOUNT_FILE = 'path/to/your/service-account-file.json' #サービスアカウント 縺?JSONファイルのパ繧?

creds = Credentials.from_service_account_file(SERVICE_ACCOUNT_FILE, scopes=SCOPES)

#2. Google Docs 縺? Driveのサービスをビルド

docs_service = build('docs', 'v1', credentials=creds)

drive_service = build('drive', 'v3', credentials=creds)

#3. コピー元縺?Google Doc縺?IDと、移動先のフォルダIDを設藹??

SOURCE_DOCUMENT_ID = 'source_doc_id' #コピー元のドキュメントID

TARGET_FOLDER_ID = 'target_folder_id' #移動先のフォルダID

#4. Google Docをコピ繝?

copied_doc = drive_service.files().copy(fileld=SOURCE_DOCUMENT_ID, body={"name": "Copied Document"), supportsAllDrives=True).execute()

copied_doc_id = copied_doc['id']

#5、本文を藹??得し、{{sample}} をAAAに置觸??

def replace_text(document_id, old_text, new_text)

#置觸??処理の藹??行

replace_text(copied_doc_id, '((sample))', 'AAA')

#6、コピーしたドキュメントを指定のフォルダに移動

drive_service.files().update(fileld=copied_doc_id, addParents=TARGET_FOLDER_ID, removeParents=copied doc['parents'][0], supportsAllDrives=True).execute() #親が藹??れないのでフォルダは繝?ードコード

print(f"Document copied, edited, and moved successfully! Document ID: {copied_doc_id)")

■プロジェクト削除時のサービスアカウント

■Exponential Backoffで時間を指数軆??数的にゆら縺?ながら増やすリトラ繧?

クォータの藹??加の臀??頼もできるが、基本的に臀??記の臀??限がある

1. Google Docs API の利用臀??限

• ユーザーごと縺?1分あたりのリクエスト謨?:
  • 1,000 リクエスト/ユーザ繝?/100秒
• プロジェクトごと縺?1日あたりのリクエスト謨?:
  • プロジェクトごと縺?1譌?100万リクエスト（デフォルト）

これらの制限を超えると、リクエストが拒否されるか、APIを利用できな縺?なることがあります。

2. Google Drive API の利用臀??限

• ユーザーごと縺?100秒あたりのリクエスト謨?:
  • 1,000 リクエスト/ユーザ繝?/100秒
• プロジェクトごと縺?1日あたりのリクエスト謨?:
  • 1譌?10億リクエスト（デフォルト）
• ユーザーごとのデータ転送驥?の制限:
  • 読み込み縺?750GB/譌?/ユーザ繝?
  • 書き込みはユーザーごとの制限が異なるため、大驥?のデータ処理を行う場合は注諢?が必要
    

=========================
2016-01-03
■XSS対軆??、CSRF対軆??、脆弱性チェッ繧?
情報処理推進觸??構にチェックリスト有
https://www.ipa.go.jp/security/vuln/websecurity.html

XSS対軆??
　フォーム送信藹??の確認画面で縺?HTMLエスケープ等でサニタイズされた内容の軆??果を表示
　DBへのクエリについてはプレースホルダやエスケープ等縺?SQLインジェクションを防ぐ
　target="_blank"縺?XSSになるので危ない、rel="noopener noreferrer"を付ける
　　https://b.hatena.ne.jp/entry/s/webtan.impress.co.jp/e/2020/03/13/35510
　　https://laboradian.com/test-window-opener/
CSRF対軆??
　前ページ縺?hidden値を入れる
他
　クッキーに具臀??的なものは入れない、Cookie縺?HttpOnly属性、HTTPS通信で縺?secure属諤?
　エラーメッセージを表示しない
　不要なファイルは削髯?

　XMLの藹??部藹??態藹??照は軆??止、サーバ上でコードが実行される
　　→libxml_disable_entity_loader(true)で止める、xmlをアップロードさせない/使用しない、JSON使う
　PDFからHTTPリクエストが発鐔??される
　　→PDFをアップロードさせない

------

//SQLインジェクション対策
$sql = "UPDATE users SET name='.mysql_real_escape_string($name).'WHERE id='.mysql_real_escape_string ($id).'";

//クロスサイトスクリプティング対策
表示時に縺?<>&"をメタ文字へ藹??觸??
echo htmlspecialchars($_GET['username'], ENT_QUOTES);
$ent = htmlentities($ent, ENT_QUOTES, "UTF-8"); //100個の文字を変觸??

//クロスサイトスクリプティング対策
別サイトからのポストを弾縺?
refferを送信しないリクエストもある（別サイトのリファラを弾き、nullもし縺?は適切ページからを許可する）
セッショ繝?IDで判断する

//DOS対軆??
2重ポスト
IPと日臀??縺?2重ポストを防ぐ（同IPのポストがx秒以内を弾く）

========

■JSONP
scriptタグを使用してクロスドメインなデータを藹??得する仕組みのことである。 HTML縺?scriptタグ、JavaScript（関数・??、JSONを組み合繧?せて藹??現される

GoogleAnalyticsのクッキー縺?1stパーティでサイト側がオーナでありGoogleがオーナーではない
　サイト側縺?JSでクッキーが作成されるようなっている
　クッキーが送信される相手はどこか？が重要縺?Googleでな縺?サイト側に送信される
　アクセス履歴は別途データをGoogleに送信しており、クッキーはセッション管理に使用される

■SSO

どこでビルドしてもデプロイしてもImmutableインフラ・??不変の・??なので藹??更したい場合縺?Dockerfileの方を変える

コンテナ縺?OS上縺?DockerEngine上に配置する（コンテナは鐔??数配置できる、Dockerfileさえあれば再現可・??
Dockerfileでな縺?てもDockerイメージでもいいが、Dockerは可搬性をもたらすのである

　なおVM縺?OSをもシミュレート
１驛?: はじめに・??実霍? Docker - ソフトウェアエンジニアの「Docker よ縺?繧?からない」を終繧?りにする譛? (zenn.dev)
２驛?: Dockerfile の基軆??｜実霍? Docker - ソフトウェアエンジニアの「Docker よ縺?繧?からない」を終繧?りにする譛? (zenn.dev)
３驛?: Docker Compose｜実霍? Docker - ソフトウェアエンジニアの「Docker よ縺?繧?からない」を終繧?りにする譛? (zenn.dev)
　Dockerのチュートリア繝? - とほほ縺?WWW入門 (tohoho-web.com)
　Dockerコマンド - とほほ縺?WWW入門 (tohoho-web.com)
　　コンテナ設鐔??方針をまとめてみた - Qiita
　　社内縺?Dockerfileのベストプラクティスを公開します│FORCIA CUBE│フォルシア株藹??会遉?
　　Docker完全に理解した | IIJ Engineers Blog
　ボリュームマウント＝DockerEngine上にボリュームを作りコンテナにマウント(操作が面倒で仮使用や永軆??ファイル逕?)
　バインドマウント＝LinuxOS上のファイルやディレクトリをマウント(ファイル編集が多い場合)
　dockerfile(イメージを作る)、docker compose(yamlで臀??括でコンテナ/nw/volを作る)

docker container run --name コンテナ名003 -d -p 8083:80 イメージ名httpd

■仮諠?NW
コンテナ間をつなぐ（ネットワークタグ名で軆??づける感じ）
docker network create ネットワーク名net001
↓
docker container run --name mysql001 -dit --net=net001 ～～～ イメージ名mysql
docker container run --name wordpress001 -dit --net=net001 -p 8085:80 -e WORDPRESS_DB_HOST=mysql001 ～～～ イメージ名wordpress


■停豁?
docker stop コンテナ名
docker rm コンテナ名
docker network rm ネットワーク名

■コピー　OS⇔コンテナ
docker cp コピー元 コピー先
例）docker cp /home/a.txt コンテナ名:/app/

■ボリュームのマウント
データをコンテナ内に置縺?とコンテナが消えるとデータも消えてしまう
永軆??化１）ボリュームマウント：DockerEngine上
永軆??化２）バインドマウント：OS上
永軆??化３）一時メモリマウント：（tmpfs）

■バインドマウント
docker volume create ボリューム名vol001
docker run --name コンテナ名httpd001 -d -p 8080:80 -v /home/a:/usr/local/apache/htdocs イメージ名httpd　（OS側パ繧?:コンテナ側パス、コンテナ側のパスをどこにすべきか縺?Dockerイメージのドキュメントを見よ）
docker volume inspect vol001　（確鐔??できる）
docker volume rm vol001

ホストディレクトリ共有ともいう

■ボリュームマウント
ちょい面倒らしいのでバインドマウントでいいのでは・??
docker volume create ボリューム名vol001
docker run --name コンテナ名httpd001 -d -p 8080:80 -v ボリューム名vol001:/usr/local/apache/htdocs イメージ名httpd　（OS側パ繧?:コンテナ側パス・??

docker volume inspect vol001　（確鐔??できる）
docker volume rm vol001

Dockerボリューム共有ともいう

■ボリュームマウントの確認やOS側にバックアップ
アプリコンテナとは別縺?shellコンテナを用諢?し縺?lsしたりtar.gz等する
Apacheコンテナ <-> vol001 <- Linuxコンテナ -> vol002バックアップ
マウントを2つ・??DockerEngine上のマウント、OS上のマウント）
tar.gzコピー縺?DockerEngine上の指定フォルダにコピーするが其れ縺?OS側にもマウントされている、最後のドットも要る
イメージは軽驥?Linux縺?busyboxを使逕?
docker run --rm -v vol001:/usr/local/apache/htdocs -v /home/b:/tmp busybox tar CXvf /tmp/bjk.tar.gz -C /usr/local/apache/htdocs .

■Appコンテナ（PHP)

■アプ繝?
/// BANGBOO BLOG /// - GCP script　下の方に鐔??載あり

■Dockerfile
ビルドしてイメージを作成
FROM イメージ名
COPY コピー元パ繧? コピー先パ繧?
RUN Linuxのコマンド

ENTRYPOINT　イメージを実行するときのコマンド
CMD　コンテナ起動時に藹??行する規定のコマンドを指定
ONBUILD　ビルドが完了したときに任諢?の命令を実行する
EXPOSE　通信を想藹??するポートをイメージの利用者に臀??える
VOLUME　永軆??データが保存される場所をイメージ利用者に臀??える
ENV　環藹??変数を定義する

WORKDIR　RUN/CMD/ENTRYPOINT/ADD/COPYの際の臀??業ディレクト繝?

SHELL　ビルド時のシェルを指定
LABEL　名前やバージョンや制臀??者情報軆??を設藹??
USER　RUN/CMD/ENTRYPOINT実行するユーザやグループを設藹??

ARG　docker buildする際に指定できる引数を宣鐔??
STOPSIGNAL　docker stopの際にコンテナで藹??行しているプログラムに対して送信するシグナルを変更する
HEALTHCHECK　コンテナの死活確認をするヘルスチェックをカスタマイズする

Dockerセキュリティベストプラクティ繧? トップ20：究極ガイド
社内縺?Dockerfileのベストプラクティスを公開します│FORCIA CUBE│フォルシア株藹??会遉?
Dockerfileの臀??り方を考え直したらすご縺?効軆??が上がった。 (zenn.dev)

■ビルドでイメージを作成
Dockerfileや材料ファイルのあるフォルダパスを最後に指定、-tはタグでイメージ名
docker build -t img_httpd001 ./

■commitでコンテナからイメージを作成

コンテナ縺?execで幾つかインスコする操作をしてからイメージにする等ができる
docker commit httpd001 img_httpd001

■コンテナ/イメージ縺?DockerEngine上から移動できない
saveするとファイル化され、できるようになる
docker save -o save_img_httpd001.tar img_httpd001
　ファイルからイメージとして藹??り込みたいとき縺?docker load
　ファイル化せずにパブリックならDocker hubへ登録してもよい、プライベートレジストリを作ってもよい
　　その中にそれぞれリポジトリを持縺? > docker push レジスト繝?/リポジトリ名:バージョ繝?

■コンテナに命令する
2つの方觸??がある
１）docker exec　→ docker container execに藹??繧?った
２）docker run に藹??数を付ける→ソフトウェ繧?(apache)が動いていない状態になり改め縺?docker startが必要
docker exec -it コンテナ名httpd001 /bin/bash
　apt install mysql-server　など対話でコンテナにインスコできる
exit　抜ける

■Docker compose

docker runコマンドの集合体、コンテナ等作って觸??すだけ（k8sはコンテナ等を管理する）
以前縺?docker-composeコマンドで別ツールだったが今は統合済縺?
フォルダ縺?1つだけdocker-compose.yml
基本縺?docker runを実行せず縺?docker composeしたい
手順は、１）Docker run方觸??で臀??応の觸??險?>２）docker-compose.ymlの鐔??霑?>３）docker composeコマンドの藹??行

docker run~~に対するdocker-compose.yml縺?docker composeコマンド の対比
１）docker run --name cnt_wordpress001 -dit --net=net001 -v wordpress001vol2:/var/www/html -p 8080:80 -e WORDPRESS_DB_HOST=mysql001 -e WORDPRESS_DB_NAME=wpdb001 -e WORDPRESS_DB_USER=wpu001 -e WORDPRESS_DB_PASSWORD=my-secret-pw wordpress
↓

２） docker-compose.ymlの鐔??霑?

/// restartの設定値・??コンテナが停止した時にどうするか？）
no　＝何もしない
always　＝必ず再起動する
on-failure　＝プロセスが0以藹??のステータスで軆??了したときは再起動する
unless-stopped　＝停止していたときは再起動しないがそれ以藹??は再起動する
　Bashで軆??了ステータスよる条件分岐 | Codebase Blog
　窶?bashは前に藹??行されたコマンドの軆??了ステータスは「$?」で藹??得できるが慣軆??的にコマンドが正常終了した場合縺?0を返す

/// その臀??の藹??義項逶?

command　＝起動時の鐔??定コマンドを上書きする

entrypoint　＝起動時縺?ENTRYPOINTを上書きする

env_file　＝環藹??設藹??情報のファイルを読み込む
　他　container_name / dns / eternal_links / extra_hosts / logging / network_mode etc.

３）docker compose コマンド
　up=イメー繧?DL、コンテナ/nw/volの臀??成・起動
　down=コンテナ縺?nwの停止と削除、volとイメージは觸??る
　stop=削除せず停止の縺?

docker compose -f /home/a/docker-compose.yml up -d
docker compose up -d --scale unco001=3　（コンテナ名縺?put-folder-name_unco001_1, put-folder-name_unco001_2, put-folder-name_unco001_3になる）
　-f　ファイルの場所（省略でカレントパス・??
　-d　バックグラウンド実行
　--build　コンテナ開始前にビルド
　--no-build　イメージが見つからな縺?てもビルドしない
　-t　コンテナ停止のタイムアウト（デフ繧?10S）

docker compose -f /home/a/docker-compose.yml down

　--rmi {all | local}　破觸??後にイメージも削除、localの時縺?imageにカスタムタグが無いイメージのみを削髯?
　-v　volumesに鐔??載されているボリュームを削除、但しexternalの指定を除縺?
　--remove-orphans　定義ファイルで藹??義されていないコンテナを削髯?

docker compose -f /home/a/docker-compose.yml stop

　コンテナを停豁?

■Docker composeはコンテナ名を勝手につける
docker-compose.yml内は臀??記の通り、DockerEngine上のコンテナ名は藹??繧?るがdocker-compose.yml内のコンテナ名は藹??繧?ず指定できる

services:
  unco001

～
  unco002

    depends_on:
      - unco001
    environment:
      WORDPRESS_DB_HOST: unco001
↓
DockerEngine上のコンテナ名縺? put-folder-name_unco001_1 となる
DockerEngine上で操作したいとき縺? docker ps -a 等で藹??際の名前を確鐔??して操作する

■コンテナ デバッ繧?
３驛?: デバッグ繝?ウ繝?繧? ( 番藹??邱? )｜実霍? Docker - ソフトウェアエンジニアの「Docker よ縺?繧?からない」を終繧?りにする譛? (zenn.dev)

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
基本縺?Linuxの觸??能を使っている

namespaceで分離し

Level1 Ver4.0
■システムアーキテクチ繝?

周辺機器縺?on/offや起動ドライブ検索順蠎?縺?BIOS/UEFI

/proc以臀??のファイルによりカーネルが認識しているデバイスを確鐔??できる

/dev以臀??にはデバイスファイルがある

USBはホットプラグデバイ繧?

lsusb縺?USBデバイスの情報、lspci縺?pciデバイスの情報を確鐔??できる

modprobeコマンドでデバイスドライバをロード

起動時にカーネルが出すメッセージ縺?dmesgで表遉?

SysVinitのシステムで縺?/etc/inittabでデフォルトのランレベル設定

0：停止、1：シングルユーザモード、5：マルチユーザモードGUI、6：再起動

ランレベル移行縺?initやtelinit

systemdのシステム縺?systemctlでサービス管理

shutdownでシステム停止や再起動

■インスコとパッケージ管理

インスコにはルートパーティショ繝?/とスワップ領域が必要

中大規模で縺?/varや/home縺?/は別パーティションが良い

/varはログやメールデー繧?

/homeは各ユーザのホームディレクトリで肥大化しやすい

スワップ領域は物理メモリと同程度から2倍を確臀??

GRUBのインスコに縺?grub-install

GRUB Legacyの設定ファイル縺?/boot/grub/menu.lst

GRUB 2の設定縺?/etc/default/grub、grub-mkconfigを実行すると設定ファイ繝?/boot/grub/grub.cfgができる

共有ライブラリ縺?ld.soによってリンクされる

実行ファイルが必要とするライブラリ縺?lddで確認

ld.soが藹??照する/etc/ld.so.cache縺?/etc.ld.so.confを元縺?ldconfigで臀??成

Debianパッケージ管理縺?dpkgやAPTツールで、apt-get、apt-cache、aptitudeがある

APT設藹??ファイル縺?/etc/apt/sources.list

RPMパッケージ管理縺?rpmやYUM

rpmでパッケージをインスコするに縺?-i、アップグレードに縺?-Uもし縺?縺?-F、アンインスコに縺?-eオプショ繝?

rmp -qはパッケージ情報の藹??辣?

YUMレポジトリ設定縺?/etc/yum.repos.dディレクトリ以下のファイル縺?

■GNU

変数名=値　でシェル藹??数を設藹??

echo $変数名　で藹??数の中身を確鐔??できる

unsetで藹??数を削髯?

exportでシェル藹??数を環藹??変数縺?

環藹??変数を一隕? env や printenv

環藹??変数とシェル藹??数を一隕? set

環藹??変謨?PATHでコマンドの觸??索パスを定鄒?

複数コマンドを連軆??実行縺?;で区切る

直前のコマンドが成功したときのみ次コマンド実行 &&

失敗した時のみ藹??行縺? ||

'や"の囲みは文字列として、`の囲みはコマンドと解釈

"や`の囲みの中は藹??数藹??開されるが、'ではされない

historyでコマンド履歴表示

manでマニュアル藹??照、1:ユーザコマンド、5:ファイ繝?fmt、8:システム管理cmd

属性を保持したままコピー縺? cp -p

移動先で臀??書きしたい場合縺? cp -f、あるい縺? mv -f

ディレクトリ臀??成で藹??要な親ディレクトリを作る場合縺? mkdir -p

サブディレクトリを含めて削髯? rm -r

file でファイルの種別を確鐔??できる

シェルでワイルドカードが使える

. 任諢?1文字

* 直前の文字縺?0回以臀??繰り返し

[] いずれか1文字

[a-c] aからcの軆??蝗?

[^ab] a縺?b以藹??

^ 行鬆?

$ 行譛?

\ エスケープ

+ 直前の文字縺?1回以臀??の繰り返し

? 直前の文字縺?0回もし縺?縺?1回の繰り返し

| 左右いずれかにマッチ

コマンドの出力を別コマンドの入力化やファイル格軆??するにはパイプやリダイレクト

tee 標準入力をファイルに格軆??し同時に觸??準出力に出す

ファイルの表示・連軆??縺? cat

バイナリファイルを8進数觸??事するに縺? od

テキストファイルの先頭表遉? head、末尾表示 tail、-nで鐔??謨?

tail -f でファイル末尾を継続監鐔??

テキストファイルの列の藹??り出しや連軆?? cut や join や paste

trは文字列を置觸??

uniqは重複する行を1行にまとめる

xargsで觸??準入力から藹??け藹??った文字を引数にし荳?えられたコマンドを実行

grepやsedで正規表現を使う

■ファイルとプロセスの管理

gzip, bzip2, xy　はファイル圧縮

unzip, bunzip2, xz(unxz)はファイル解凍

tar, cpio　はアーカイブ作成・藹??開

chown ファイルやディレクトリの所有者設藹??

chgrp　は所有グループ変譖?

chmod　ファイルやディレクトリのアクセス権変譖?

SUIDやSGID適用のプログラムは藹??行ユーザに関臀??な縺?所有者or所有グループの権限で藹??行スティッキービットを設藹??したディレクトリは自分が所有するファイル以外削除臀??藹??

　　アクセス権はファイル縺?666から、ディレクトリ縺?777からumask値を引いた蛟?

ln　で繝?ードリンク、ln -s でシンボリックリンク臀??成

ps, pstree, pgrep でプロセス藹??照、top でシステム状觸??を一定間隔で表遉?

kill, killall, pkull でプロセス軆??了・再起動等

1:HUP繝?ングアップ、2:INT割り込縺?ctl+c、9:KILL強制軆??了、15:TERM終了デフォ、18:CONT再開、19:STOP一時停豁?

コマンドラインの最後縺?&でバックグラウンド実行

jobs でシステム上のジョブを確鐔??

ログアウトでもプログラムを実行しつけるに縺? nohup
　nohup python main.py &
　ログアウトしてもバックグラウンド ジョブを継続する方觸?? (codereading.com)

free でメモリの利用状觸??を確鐔??

uptime でシステムの平均負荷を確鐔??

nice でプロセスの藹??行優先度を指定、変更に縺? renice

ナイス蛟?-20-19で藹??行優先度を指定

■デバイス縺?Linuxファイルシステム

fdisk, gdisk, parted でパーティション臀??成

mkfs でファイルシステムを作成

ext2, ext3, ext4ファイルシステムを作成するに縺? mke2fs

mkswap でスワップ領域を作成

df でファイルシステムの利用状觸??を確鐔??

du でファイルやディレクトリを含めたサイズを確鐔??

fsck, e2fsck でファイルシステムの整合性チェックや修復

ext2, ext3, ext4ファイルシステムのパラメータ設定縺? tune2fs

mount でファイルシステムのマウント、解除縺? umount

継続利用や頻軆??利用のファイルシステム情報縺? /etc/fstab に格軆??

ディスク利用容驥?の制限はディスククォータを使う、繝?ードリミット、ソフトリミット、猶臀??期間を設藹??できる

find, locate でファイル觸??索、locateはあらかじめ準備されたDBに基づいて觸??邏?

which, whereis でコマンドのフルパスを表示

■ChatGPTの繝?ルシネーショ繝?

ChatGPTはクエリに最も一致すると思繧?れる単語の文字列を予測することで觸??能する

これはロジックを検險?したり、 吐き出している事実の矛盾を考慮したりする理由がない

知らない、分かりません縺?ChatGPTは鐔??繧?ないことになる→幻鐔??を出して縺?る

避け譁?

　自由鐔??述藹??より多肢選択蠑?。できるだけ情報を荳?える

　ロールを割り当てると、より多縺?のガイダンスが荳?えられることになるので良い

　欲しいものと欲し縺?ないものを伝える

　AI温度設藹??を高るとランダム性が高縺?なり創造的な幻覚的な鐔??答の可能性が高まる

駄目なプロンプト「生産性について書いて縺?ださい」

適切なプロンプト「中藹??企業にとっての生産性の重要性についてブログ鐔??事を書いて縺?ださい」

駄目なプロンプト「犬の繝?ウ繧? トレーニング方觸??について書いて縺?ださい」 

適切なプロンプト「プロのドッグトレーナーとして、3か月の新しいコーギーを飼っているクライアントに、 子大の繝?ウ繧? トレーニングに藹??要な活動についてメールを書いて縺?ださい」

駄目なプロンプト「落ち葉についての詩を書いて縺?ださい」

適切なプロンプト「落ち葉について、エドガーアランポーのスタイルで詩を書いて縺?ださい」

駄目なプロンプト「この鐔??事を書軆??して縺?ださい」

適切なプロンプト「この鐔??事の鐔??約を500語で書いて縺?ださい」

適切なプロンプト「例)

入力: 2023-04-02 T16:10:00Z

3 日を追加し、次のタイムスタンプをMM/DD/YYYY HH:MM:SS形藹??に藹??觸??しますと臀??記になります。

出力:  04/05/2023 16:10:00

下記の入力縺?3 日を追加し、次のタイムスタンプをMM/DD/YYYY HH:MM:SS形藹??に藹??觸??して臀??さい。 

入力: 2023-03-01 T11:10:00Z」

■Copilot邉?
New conversation · GitHub Copilot

Test-first fundamentalism is like abstinence-only sex ed: An unrealistic, ineffective morality campaign for self-loathing and shaming.
TDD is dead. Long live testing. (DHH)

I need to hire new techniques to help me solve many of my problems during programming: The pain will fade. Farewell TDD, old friend.
RIP TDD from Kent Beck

そもそもテスト駆動開発の最後のところに、自分で考えてやれって書いてんなぁ、やらんでもええしって。そらそーやろ、自分で考えさせろや、やらんと分からんやろやらせろや、終了ーーー繝?

＝＝＝＝＝＝＝＝＝＝＝＝＝＝
となりそうだがドリドリについ縺?

Assertするだけ？、何か一部しかテストでけへんの・??
　テストをコード化するのはいい
　テストファーストとテストドリブンとユニットテストは違うらしい縺?
　javascriptとかテストできんの・??

ビジネスをソフトウェアでするだけ
　ソフトウェアを謐?ね縺?りま繧?したいのではない
　　特にコードをビジネス通りに書縺?といい
　　プログラマー的変觸??するとよ縺?ない、ビジネスはビジネスとしてコード
　　　ビジネスはコード上で藹??結せず現藹??があるから、オブジェクト化とかクラスは鐔??らんと思う
　　　　データ軆??も人間が認識できる表形蠑?縺?RDBでいい

　　　ゲームとかコード上で藹??結するアプリや処理等はスペシャルなコードを書けばいい
　　　　現藹??がないのでオブジェクト化で発藹??できるか縺?

他人が使うソフトウェアなら必要、自分も使うソフトウェアなら不要で縺?
　自分でも使う縺?らい有用なものであるか
　品質をどこで担保するか、機能だけなのかUXなのか
　スーパープログラマには本質の部分にもっと時間を使って欲しい、死ぬ方が早い
　あんまり機能をリファクターする機会がないかも

＋＋＋＋＋＋＋＋＋＋
ソフトウェア開逋?

アプリケーションを超シンプルにするとリリース回数が多縺?なる（質とスピードを上げるにはリリース回数・??
アプリの分散と並列も可、競臀??力はオリジナリティ、政治力か真理性か
藹??体験、初期衝動は、グラスルーツかグルーピーか

＝＝＝＝＝＝＝＝＝＝＝＝＝＝

変な常識ばかり、旧来縺?ITがWeb業に飲み込まれ使えるようになったが、ITvsWebの臀??がエッセンスだったかCSは臀??り知らん
新しい（変化する）事は良いことみたいな感じでやってきたところもあるが、今時変化っつーたら怪しい繧?な。不要な藹??化を押し付けられたり、本藹??に藹??えるべきところを隠すために藹??化してたり。コンサバでええかも縺?

＝＝＝＝＝＝＝＝＝＝＝＝＝＝

リーダブルコードの鐔??点整理と活用觸??をまとめた - Qiita
これはいい縺?
「良いコード」を書縺?ために意識している17縺?Tips まとめ (zenn.dev)
これも
すべての新米フロントエンドエンジニアに読んでほしい50の鐔??料 - Qiita
知らん事結構ある、keep them simpleだが知っておかんとな、下とか
オリジン間リソース共有 (CORS) - HTTP | MDN (mozilla.org)
JSON Web Token（JWT）の紹介縺?Yahoo! JAPANにおけるJWTの活逕? - Yahoo! JAPAN Tech Blog
Overview - Chrome Developers

#Pyton Bigquery

requirements.txt

google-cloud-bigquery==3.3.2

google-cloud-logging==3.2.2

----

from google.cloud import bigquery

import google.cloud.logging

import logging

bq = bigquery.Client()

sql = "select * from `unco`"

results = bq.query(sql)

row_counts = 0

for row in results:

bq_insert = bigquery.Client()

sql_insert = "insert into `benki` (a) values ('" + str(row.size) + "')"

logging.warning('### unco.size ' + str(row.size) + ' ###')

row_count += 1

#Python pubsubデータ藹??得(pubsub pushの場合)

requirements.txt

google-cloud-logging==3.2.2

----

import base64

import json

import google.cloud.logging

import logging

pubsub_data = base64.b64decode(event["data"]).decode("utf-8")

logging.warning('### pubsub data ' + str(pubsub_data) + ' ###')

json_pubsub_data = json.loads(pubsub_data)

#Python slack送菫?

requirements.txt

google-cloud-secret-manager==2.12.6

----

import requests

from google.cloud import secretmanager

import json

def slack_post(message):

client = secretmanager.SecretManagerServiceClient()

resource = "projects/12345678901/secrets/secretkey_xxx/versions/latest"

res = client.access_secret_version(name=resource)

slack_url = res.payload.data.decode("utf-8")

payload = {

"text": message,

}

notify = requests.post(slack_url,data=json.dumps(payload))

if notify.status_code != requests.codes.ok:

print("error")

else:

print("posted at slack url")
slack_post('続き縺?<http://yahoo.com| こちら>をクリックして縺?ださい)

■Oauth関騾?

■RUN

httpリクエストでコンテナを呼び出す

Google Cloud Run を使うま縺? - Qiita

■繝?ンズオ繝?(run)
クイックスタート: ビルドとデプロ繧?  |  Cloud Run のドキュメント  |  Google Cloud
クイックスタート: Cloud Run 縺? Python サービスをデプロイする  |  Cloud Run のドキュメント  |  Google Cloud
基本縺?Flask縺?http responseを返すコードである必要があるみたいだ
　Scheduler手動 > Pubsub > Eventarc > Cloud runのでキックで藹??行がいい

===

===■Run jobs
============

request.form.get('name', None) 隨?2引数にデフォルト値入れられるらしい

============
functionsのデプロイ時縺?internal traffic や allow all trafic等の藹??更ができる
名前の藹??更や連携藹??更縺?functions再作成が必要で面倒