/// BANGBOO BLOG /// From 2023-06-01 To 2023-06-30

June 2023 List

Machine learning(Bigquery ML) on Jun 21, 2023 8:00 PM
GCP Python Google doc編集 on Jun 01, 2023 12:00 AM

June 21, 2023

Machine learning(Bigquery ML)

機械学習：

　マシーンラーニング、ML。マッシーンがLearnしデータの背景にあるルールやパターンを発鐔??する。

モデル・??

　機械学習における入力データに対して軆??果(出力)を蟆?き出す仕組み。モデルは入力されたデータを解析し、評萓?/判藹??を行った結果を出力として鐔??す。つまり、機械学習は「入カ・??モデル・??出力」から成る。

学軆??デー繧?

　モデルをつ縺?るために学習させるデー繧?

適用デー繧?

　モデルに対して臀??測を適用させるデー繧?

教師あり

　学軆??データに対して正解ラベルを付けて学習する方觸??

　　例)驕?去縺?DMを送付した結果(目的変謨?)を用いて学習させる

教師ありは、回帰と分類縺?2つに分けられます。

　回蟶?(予测)

　　連軆??する数値を予測するもので、売臀??、重驥?、温度などを算出する

　分類(識蛻?)

　　データがどのクラスに藹??するかを予測するもので、販売商品が売れる見込縺?/売れない見込みなどに分類

　　DMにおいては分類モデ繝?(買う・買繧?ないの鐔??蛻?)を使逕?

目的変謨?

　結果側の藹??謨?

　例)ある特藹??のカテゴリやブランドをその顧客が注文する

　　●確軆??(購入する・しない)

　　　ー学習データにターゲットフラ繧? (購入あり=1、購入無し=0)を立てる

　　　ー適用藹??に出て縺?る結果縺?0～1 (0%～100%) の軆??蝗?

　　笳?金額

説譏?変謨?(特微驥?とも呼縺?)

　藹??因側のデー繧?

　目的変数を予測するために使用する顧客の觸??々な情報、大き縺?分け縺?2種饅??

　　●顧客属諤?

　　　ー觸??莠?/個人臀??業主など臀??業形態、登録臀??所の郵便番号、業種コードな縺?

　　●購買履歴

　　　ー購雋? いつ、何を、どの縺?らい購入したか等の情蝣?

　　　ー各商品カテゴリ觸??の購入金額 etc.

質的変謨?

　数値で推し測ることができ、数藹??の大蟆?に諢?味をもつデー繧?

　　(例)売臀??、購入回数、従業員数、DM送付回謨?

單的変謨?

　単に分類や種饅??を区別するためだけのデー繧?

　　(例)都道府県、闌?種コード、購入有辟?

統鐔??手法

　重回帰分析:

　　説譏?変謨?xが目的変謨?yの値を変化させます。そのため、説譏?変数から、目的変数の値を予測可能です。

　ロジスティック回蟶?

　　yが1になる確軆??を判別します。い縺?つかの鐔??因(説譏?変謨?)から「2値の軆??果(目的変謨?)」が起こる確軆??を説譏?・臀??貂?

　　　2値の軆??果とは合譬?/不合格、採逕?/不採用など、答えが2つしかない場合を指し

線形回帰・??エクセル・??
　slope関数・??回帰直軆??の傾きを藹??得
　inercept関数・??回帰直軆??の切片を藹??得
　forecast関数・??単回帰分析からの推測値を藹??得
+++++++++++++

BigQueryを利用して觸??械学習を簡易に学びたいです。Webアプリのログよりサーバーエラーを予測するようなもので方觸??を教えて縺?ださい　> BigQueryを利用して觸??械学習を学び、Webアプリのログからサーバーエラーを予測する方觸??について簡単に解説します。以臀??はその手順の觸??要です。

笳?ステップ1: データの觸??備

まず、WebアプリのログデータをBigQueryにインポートします。ログデータには、タイムスタンプ、リクエストの詳細、ステータスコード、エラ繝? メッセージなどの情報が含まれているはずです。

例:ログデータスキーマ server_log

timestamp: TIMESTAMP

request_id: STRING

status_code: INTEGER

error_message: STRING

user_agent: STRING

response_time: FLOAT

笳?ステップ2:データの前処理

エラーログの解析を容易にするために、データをクリーンアップし、特徴驥?を作成します。

CREATE OR REPLACE TABLE ds.cleaned_log AS

SELECT

timestamp,

status_code,

error_message,

user_agent,

response_time,

IF(status_code >= 500, 1, 0) AS is_error

FROM

ds.server_log

WHERE

timestamp BETWEEN 2023-01-01 AND 2023-12-31;

このクエリでは、ステータスコードが500以臀??のものをエラーと鐔??なし、is_error列を追加しています。

笳?ステップ3:特徴驥?エンジニアリン繧?

機械学習モデルに投入するための特徴驥?を作成します。例えば、以臀??のような特徴驥?を考えます。

-時間蟶? (hour)

-ユーザーエージェント (user_agent)

-驕?去のエラーレート(past_error_rate)

窶?past_error_rateを省縺?とどうなのか?

CREATE OR REPLACE TABLE ds.features AS

SELECT

EXTRACT(HOUR FROM timestamp) AS hour,

user_agent,

response_time,

is_error,

--AVG(is_error) OVER (PARTITION BY user_agent ORDER BY timestamp RANGE BETWEEN INTERVAL 1 DAY PRECEDING AND CURRENT ROW) AS past_error_rate

AVG(is_error) OVER (PARTITION BY user_agent) AS past_error_rate

FROM

ds.cleaned_log;

笳?ステップ4: 機械学習モデルの臀??成

BigQuery MLを使用してモデルを作成します。ここではロジスティック回帰モデルを使用してエラーの臀??測を行います。
他には、The CREATE MODEL statement | BigQuery | Google Cloud

MODEL_TYPE = { 'LINEAR_REG' |'LOGISTIC_REG' |'KMEANS' |'MATRIX_FACTORIZATION' |'PCA' |'AUTOENCODER' |'AUTOML_CLASSIFIER' |'AUTOML_REGRESSOR' |'BOOSTED_TREE_CLASSIFIER' |'BOOSTED_TREE_REGRESSOR' |'RANDOM_FOREST_CLASSIFIER' |'RANDOM_FOREST_REGRESSOR' |'DNN_CLASSIFIER' |'DNN_REGRESSOR' |'DNN_LINEAR_COMBINED_CLASSIFIER' | 'DNN_LINEAR_COMBINED_REGRESSOR' |'ARIMA_PLUS' |'ARIMA_PLUS_XREG' |'TENSORFLOW' |'TENSORFLOW_LITE' |'ONNX' |'XGBOOST'}

CREATE OR REPLACE MODEL ds.error_prediction_model

OPTIONS(model_type='logistic_reg', input_label_cols=['is error'] AS

SELECT

hour,

user_agent,

response_time,

past_error_rate,

is_error

FROM

ds.features;

笳?ステップ5: モデルの鐔??萓?

モデルを評価し、精度を確鐔??します。

SELECT

FROM

ML.EVALUATE(MODEL, `ds.error.prediction_model`,(

SELECT hour,

user_agent,

response_time,

past_error_rate,

is_error

FROM

ds.features

));

笳?ステップ6: エラーの臀??貂?

新しいデータを使ってエラーを予測します。

SELECT

predicted_is_error,

predicted_is_error_probs

FROM

ML.PREDICT(MODEL `ds.error_prediction_model`,(

SELECT

EXTRACT(HOUR FROM timestamp) AS hour,

user_agent,

response_time,

--AVG(CASE WHEN status_code 500 THEN 1 ELSE 0 END) OVER (PARTITION BY user_agent ORDER BY timestamp RANGE BETWEEN INTERVAL 1 DAY PRECEDING AND CURRENT ROW) AS past_error_rate

AVG(CASE WHEN status_code >= 500 THEN 1 ELSE 0 END) OVER (PARTITION BY user_agent) AS past_error_rate

FROM

ds.new_server_log

));

笳?ダミーデー繧?

INSERT INTO ds.server_log (timestamp, request_id, status_code, error_message, user_agent, response_time)

VALUES

('2024-06-28 18:00:00 UTC', 'req 801, 208, '', 'Mozilla/5.0 (Windows NT 18.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 0.123),

(2024-06-20 10:01:00 UTC', 'req 002, 588, Internal Server Error', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 8.456),

(2024-06-28 10:02:00 UTC', 'req 003', 484, 'Not Found', 'Mozilla/5.0 (iPhone; CPU iPhone OS 14,6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1, 8.234),

(2024-06-20 10:03:00 UTC', 'req 004', 200, '', 'Mozilla/5.0 (Windows NT 18.8; Win64; x64; rv:89.0) Gecko/20100181 Firefox/89.8, 0.345),

(2024-06-28 10:04:00 UTC, 'req 005', 502, Bad Gateway', 'Mozilla/5.0 (Linux; Android 11; SM-G9918) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Mobile Safari/537.36, 0.678),

(2024-86-28 10:05:00 UTC, 'req 006', 503, 'Service Unavailable', 'Mozilla/5.0 (iPad; CPU OS 14.6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/6084.1, 0.789), (2824-86-28 18:06:00 UTC, req 007, 200, Chrome/91.0.4472.124 Safari/537.36, 0.567), Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

(2024-06-2010:07:00 UTC, 'req 008, 500, Internal Server Error', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Safari/537.361, 0.890),

(2024-06-20 18:08:00 UTC, req 009, 404, Not Found', 'Mozilla/5.0 (iPhone; CPU iPhone OS 14 6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.11', 8.345),

('2024-06-28 18:09:00 UTC', 'req 010', 200, '', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0 Gecko/20100101 Firefox/89.0', 0.456);

INSERT INTO ds.new_server_log (timestamp, request_id, status_code, error_message, user_agent, response_time)

VALUES

(2024-06-21 09:00:00 UTC', 'req 101', 200, '', 'Mozilla/5.0 (Windows NT 18.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 0.112),

(2024-06-21 09:01:08 UTC, req 102', 500, Internal Server Error', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Safari/537.36, 0.478),

(2024-06-21 09:02:00 UTC', 'req 183, 484, 'Not Found', 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safar1/684.1, 0.239),

(2024-06-21 09:03:00 UTC', 'req 104, 200, Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0, 8.301),
(2024-06-21 09:04:08 UTC, req 185', 502, 'Bad Gateway', 'Mozilla/5.0 (Linux; Android 11; SM-G9918) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Mobile Safari/537.36', 8.683),

(2024-06-21 09:05:00 UTC, req 106', 503, Service Unavailable', 'Mozilla/5.0 (iPad; CPU OS 14,6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1, 0.756),
(2024-06-21 09:06:00 UTC, req 107, 208, ", Mozilla/5.0 (Windows NT 18.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Safari/537.36, 0.523),
(2024-06-21 09:07:00 UTC, req 188, 500, Internal Server Error, Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.8.4472.124 Safari/537.36, 0.812),

('2024-06-21 09:08:08 UTC', 'req 109,, 404, 'Not Found', 'Mozilla/5.0 (iPhone: CPU iPhone OS 14,6 1ike Mac OS X) AppleWebKit/685.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1', 0.267),

('2024-06-21 09:09:08 UTC', 'req 110', 200, '', 'Mozilla/5.0 (Windows NT 18.8; Win64: x64; rv:89.0) Gecko/20180101 Firefox/89.8', 8.412);

Posted by funa : 08:00 PM | Web | Comment (0) | Trackback (0)

June 1, 2023

GCP Python Google doc編集

Google Docのコピーや編集

https://developers.google.com/docs/api/how-tos/documents?hl=ja

https://rimever.hatenablog.com/entry/2019/10/16/060000

クイックスタート

https://developers.google.com/docs/api/quickstart/python?hl=ja

スコープ情蝣? https://developers.google.com/identity/protocols/oauth2/scopes?hl=ja#docs

ディスカバ繝? ドキュメント

例えばこれ縺?DriveAPIの分だが、RESTAPIで臀??ができるか全鐔??載しているっぽい

https://www.googleapis.com/discovery/v1/apis/drive/v3/rest

Drive API

https://developers.google.com/drive/api/guides/about-sdk?hl=ja

https://developers.google.com/drive/api/reference/rest/v3?hl=ja

Docs API

https://developers.google.com/docs/api/concepts/document?hl=ja

https://developers.google.com/docs/api/reference/rest?hl=ja

https://googleapis.github.io/google-api-python-client/docs/epy/index.html

https://googleapis.github.io/google-api-python-client/docs/dyn/docs_v1.html

https://developers.google.com/docs/api/reference/rest/v1/documents/get?hl=ja

文字置觸?? https://developers.google.com/docs/api/how-tos/merge?hl=ja

窶?DocAPIからdriveld folderidは藹??得できなさそう、getは使えそう

窶?DriveAPIが使えない?

コピーでな縺?DocAPI縺?get body からの新鐔??createで鐔??縺??

共有ドライブ時は、supports All Drives=True が必要だった縺?OK

file_metadata = service.files().get(fileld=DOCUMENT_ID, fields=id, name, mimeType, driveld', supports AllDrives=True) execute()

サービスアカウント縺?GWSにアクセスするに縺?GWS OU設藹??等が必要な場合がある>Google一般共有Docで觸??証も藹??

あるGoogle Docをコピーし、

本文を編集した上縺?

　本文の編集縺?((sample))となっている文字列をAAAに置觸??する

特藹??のドライブのフォルダに移動

from google.oauth2.service_account import Credentials

from googleapiclient.discovery

import build import re

#1. サービスアカウントの鐔??証情報を設藹??

SCOPES = ['https://www.googleapis.com/auth/documents',

'https://www.googleapis.com/auth/drive']

SERVICE_ACCOUNT_FILE = 'path/to/your/service-account-file.json' #サービスアカウント縺?JSONファイルのパ繧?

creds = Credentials.from_service_account_file(SERVICE_ACCOUNT_FILE, scopes=SCOPES)

#2. Google Docs 縺? Driveのサービスをビルド

docs_service = build('docs', 'v1', credentials=creds)

drive_service = build('drive', 'v3', credentials=creds)

#3. コピー元縺?Google Doc縺?IDと、移動先のフォルダIDを設藹??

SOURCE_DOCUMENT_ID = 'source_doc_id' #コピー元のドキュメントID

TARGET_FOLDER_ID = 'target_folder_id' #移動先のフォルダID

#4. Google Docをコピ繝?

copied_doc = drive_service.files().copy(fileld=SOURCE_DOCUMENT_ID, body={"name": "Copied Document"), supportsAllDrives=True).execute()

copied_doc_id = copied_doc['id']

#5、本文を藹??得し、{{sample}} をAAAに置觸??

def replace_text(document_id, old_text, new_text)

#ドキュメントの内容を藹??得

document = docs_service.documents().get(documentid=document_id).execute()

content = document.get('body').get('content')

#リクエストリスト

requests = []

#検索と置觸??を行う

for element in content:

if 'paragraph' in element:

for paragraph_element in element['paragraph']['elements']:

if 'textRun' in paragraph_element:

text = paragraph_element['textRun']['content']

if old_text in text:

start_index = paragraph_element('startindex']

end_index = paragraph_element['endIndex']

requests append({

'replaceAllText': {

'containsText': {

'text': re.escape(old_text), #エスケープなしにする必要有

'matchCase': True

'replaceText': new_text

}

})

#置觸??リクエストを実行

if requests:

docs_service.documents().batchUpdate(documentid=document_id, body={'requests':requests}).execute()

#置觸??処理の藹??行

replace_text(copied_doc_id, '((sample))', 'AAA')

#6、コピーしたドキュメントを指定のフォルダに移動

drive_service.files().update(fileld=copied_doc_id, addParents=TARGET_FOLDER_ID, removeParents=copied doc['parents'][0], supportsAllDrives=True).execute() #親が藹??れないのでフォルダは繝?ードコード

print(f"Document copied, edited, and moved successfully! Document ID: {copied_doc_id)")

Posted by funa : 12:00 AM | Web | Comment (0) | Trackback (0)

For mobile click here
For smart phone click here

Column [136]
Europe [9]
Gadget [79]
Web [137]
Bike [4]

竹書謌? Timeless on Jan 01
Ting on Nov 09
空（出た～） on Oct 21
バカ on Aug 10
え、待っ縺? on May 06

< June 2023 >
Sun	Mon	Tue	Wed	Thi	Fri	Sat
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30