Python on Quietbo

[Graph database] 使用docker安裝memgraph & python簡易連線

Sun, 24 Mar 2024 06:42:36 +0000

使用docker desktop

什麼是 Graph database ？

[Graph database簡稱GDB][1],是一個使用圖結構進行語意查詢的資料庫，它使用節點、邊和屬性來表示和儲存資料。該系統的關鍵概念是圖，它直接將儲存中的資料項，與資料節點和節點間表示關係的邊的集合相關聯目前有哪些GraphDB,排名:圖形資料庫排名以及所有受歡迎程度對資料庫管理系統進行排名 ## docker desktop 安裝 memgraph以在 localhost:7687 看到 memgraph 的介面了。點擊左方的Datasets 找 CORA: Scientific publications classified into seven categories執行完成後點擊 run query會出現下方成功的結果## Python連線

使用pycharm

官網教學:[網址][2] 當memgraph建立成功後使用下方程式碼來建立Person

import mgclient

conn = mgclient.connect(host='127.0.0.1', port=7687)
cursor = conn.cursor()
cursor.execute("""
 CREATE (n:Person {name: 'John'})-[e:KNOWS]->
 (m:Person {name: 'Steve'})
 RETURN n, e, m
 """)

row = cursor.fetchone()
print(row[0]) # (:Person {'name': 'John'})
print(row[1]) # [:KNOWS]
print(row[2]) # (:Person {'name': 'Steve'})

conn.commit() # 提交數據(沒有commit就不會真正存進資料庫內)
# 關閉游標和連線
cursor.close()
conn.close()

接著在memgraph下sql指令即可看到剛才創建的2筆資料

MATCH (c:Person) RETURN c;

[1]: https://zh.wikipedia.org/zh-tw/%E5%9B%BE%E6%95%B0%E6%8D%AE%E5%BA%93 [2]: https://pypi.org/project/pymgclient/0.1.0/

[Python] grequest 出現 Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier(已解決)

Tue, 02 May 2023 14:56:10 +0000

剛開始使用grequest就遇到這個Error，用這段訊息去找也沒有解決方式，一開始google到的都是要加下方這段，但仍然沒有解決根本的問題!

import gevent
from gevent import monkey
monkey.patch_all(select=False)

但我使用下方code，開啟一個新的py檔案就正常運行

import grequests

req_list = [ # 请求列表
 grequests.get('http://httpbin.org/get?a=1&b=2'),
 grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
 grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]

res_list = grequests.map(req_list) # 并行发送，等最后一个运行完后返回
print(res_list[0].text) # 打印第一个请求的响应文本

看一下grequests的GitHub
最下面方有個最好的寫法

後來發現原本py檔有from其他py檔是有使用request的，把request前面import grequests就成功解決這個問題

[Mongodb] 資料內為什麼有$numberLong?(已解決)

Fri, 10 Mar 2023 16:56:40 +0000

這件事情是不小心自己做了一個坑給自己踩的，
我從公司的QAT測試環境的GUI(Mongodb compass)複製了一份data，內容複製出來如下:

{
 "uuid" : "2580913",
 "name" : "UserName",
 "id" : "A123456789",
 "age" : 18,
 "weight" : 70,
 "height" : 175
 "birthday" :{
 "$numberLong" : "789798540000"
 }
 "registration_date": {
 "$numberLong": "1677211157126"
 }
}

然後在我自己本機用Studio 3T直接insert了這些相同格式的資料，都正常匯入了！後來我在local開發的時候find用了下方的方式來搜尋(注意!其實這是錯的，這裡的$numberLong是被當作層級使用)

{"birthday.$numberLong": {"$gte": "789798540000"}}

此時local能正常取出資料，我還沒意識到問題。後來部署到QAT後頻繁出錯，一去了解才發現，原來當時從Mongodb compass複製出來的$numberLong該資料的type，原始資料為:

{
 "uuid" : "2580913068820",
 "name" : "UserName",
 "id" : "A123456789",
 "age" : 18,
 "weight" : 70,
 "height" : 175
 "birthday" : 789798540000,
 "registration_date": 1677211157126
}

我後來去QAT機器測了一下這段，(如果birthday的type是int)

db.user.find ({birthday:{$ type : "int" }})

結果沒有資料。我把int換成了long：

db.user.find ({birthday:{$ type : "long" }})

就出現一堆資料了。其實我一開始在把QAT的測試資料存進local這裡就出錯了！原因是Mongodb compass在複製資料時為了區分int和long這兩個不同的type，所以加了$numberLong 這段讓我們肉眼能夠判斷資料的type，後來我把$numberLong都拿掉後，公司QAT就正常可以取得資料了。

[Python] 製作一個exe檔案在windows執行

Sun, 11 Dec 2022 08:03:13 +0000

Windows 11
IDE:PyCharm 2022.3 (Community Edition)
Python3.7
package:PyInstaller

以下為pycharm初始的Code，請先確認環境與package可install與執行指令。

本篇程式碼檔案名為main.py

# This is a sample Python script.

# Press Shift+F10 to execute it or replace it with your code.
# Press Double Shift to search everywhere for classes, files, tool windows, actions, and settings.


def print_hi(name):
 # Use a breakpoint in the code line below to debug your script.
 print(f'Hi, {name}') # Press Ctrl+F8 to toggle the breakpoint.


# Press the green button in the gutter to run the script.
if __name__ == '__main__':
 print_hi('PyCharm')

# See PyCharm help at https://www.jetbrains.com/help/pycharm/

安裝:

pip install pyinstaller

執行下方指令

pyinstaller -F .\{檔案名稱}.py

範例:

pyinstaller -F .\main.py

執行會出現一大串訊息，本篇只擷取部分畫面:

開啟資料夾查看

會建立以下

main.spec
build 資料夾 (log與工作檔案)
dist 資料夾(要執行的exe檔案在這裡面)

打開dist會看到main.exe，點擊後會馬上出現命令提示字元後馬上又消失。
如果想要暫停住的話可加入input()在Code內。

再重新pyinstaller -F .\main.py一次，重新點擊main.exe即可停留在下方畫面。

[Python] 日誌記錄第三方庫 – Loguru(附簡單的範例)

Fri, 12 Aug 2022 11:01:01 +0000

use:

pycharm, FastAPI, Loguru

一開始在學log時, 會使用標準庫 logging。
設置上較爲繁瑣, 甚至有些在多進程多線程等特殊處理時, 還會導致日誌記錄會出現異常, 還有幾次都在找為什麼logg會印兩次…
現在單純開發時都會使用Loguru來做一些log的紀錄,下方提供簡單的範例

安裝

使用 pip 安裝即可，Python 3 版本的安裝如下：

pip3 install loguru

log.py

from loguru import logger
logger.add("./logs/test.log", rotation="00:00", enqueue=True, retention="30 days")

#logger.info(1)
#logger.error(2)
#logger.warning(3)

main.py

import uvicorn
from log import logger
from fastapi import FastAPI

app = FastAPI()

@app.on_event("startup")
async def startup_event():
 logger.info('Hi startup')

@app.get("/")
async def root():
 return {"message": "Hello World"}


if __name__ == "__main__":
 uvicorn.run("main:app", host='127.0.0.1', port=8000, reload=True)

執行python main.py

會看到下方的

INFO: Will watch for changes in these directories: ['C:\\Dev\\FastAPI_demo']
INFO: Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO: Started reloader process [21476] using watchgod
INFO: Started server process [4168]
INFO: Waiting for application startup.
2022-08-12 18:53:32.579 | INFO | main:startup_event:9 - Hi startup
INFO: Application startup complete.

打開瀏覽器輸入下方:

127.0.0.1/

打開logs資料夾會看到已經有印出來的檔案。

2022-08-12 18:56:21.419 | INFO | main:startup_event:9 - Hi startup
2022-08-12 18:56:27.969 | INFO | main:root:13 - {'message': 'Hello World'}

[Python] os.chdir 更改當前工作目錄

Tue, 19 Jul 2022 09:49:44 +0000

語法:

os.chdir(path)

參數

path − 更改到新位置的目錄的完整路徑。

不返回任何值。沒有找到指定的路徑，會拋出FileNotFoundError

舉例:
我在跟目錄(/)的狀態下, 使用python3 絕對路徑/xxxx.py後, 要在運行別隻py檔案,

使用下方兩隻py檔來做演示,路徑都在/home/ubuntu/Dev

檔名:chdir.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import os, sys

path = "/home/ubuntu/Dev"

# 查看當前工作目錄
retval = os.getcwd()
print("當前工作目錄:%s" % retval)

# 修改當前工作目錄
os.chdir( path )

# 查看修改後的工作目錄
retval = os.getcwd()

print("目錄修改成功:%s" % retval)

# 接著要運行的指令
os.system("python3 pping.py")

檔名:pping.py

import os
a=os.system("ping 192.168.1.101") #使用a接收返回值
print(a)

以下是在終端機執行過程:

ubuntu@ubuntu:~/Dev$ cd ~
ubuntu@ubuntu:~$ python3 /home/ubuntu/Dev/chdir.py 
當前工作目錄:/home/ubuntu
目錄修改成功:/home/ubuntu/Dev
PING 192.168.1.101 (192.168.1.101) 56(84) bytes of data.
64 bytes from 192.168.1.101: icmp_seq=1 ttl=128 time=5.19 ms

由此可見os.getcwd是獲得終端機當下在運行python時的路徑, 而os.chdir是會修改為新的工作路徑, 若沒有修改的話, 是沒辦法透過os.system來運行pping.py的, 會出現找不到檔案的error。

[Python] 背景執行nohup, & 與 nohup.out

Wed, 06 Jul 2022 10:13:54 +0000

本篇提到的「背景」指的是: 在終端機模式下使用 [ctrl]-c, 並不會中斷的一個情境!

[Linux]背景執行py方法雖然是在背景執行, 不會因為[ctrl]-c而中斷, 但會因為「終端機關閉後而中斷」。

中斷可能多個原因, 例如ssh連線到機器後, 操作時不小心將視窗關閉,或是網路斷線而關閉。

本次主要目的為: 「在離線或登出系統後，還能夠讓工作繼續進行」。

演示的code為my_nohup.py:

# coding:utf-8
from datetime import datetime
from time import sleep
import logging

Log_Format = "%(levelname)s %(asctime)s - %(message)s"

logging.basicConfig(filename = "mylog.log",
 filemode = "w",
 format = Log_Format,
 level = logging.INFO)
logger = logging.getLogger()
logger.error("Our First Log Message")

while(1):
 sleep(5)

 print("print " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
 logger.info(str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
 # print(1/0) # 輸出錯誤時使用

指令介紹

nohup: no hang up的縮寫, 不斷地運行。
&: 在後台運行，關掉終端會停止運行。
> : 標準輸出符號。
-u: 在nohup.out內可以看到print的訊息。

背景執行(nohup, &)

nohup python3 my_nohup.py &

758865 為背景執行的PID

執行完會出現一段，所有輸出都被重定向到一個名為nohup.out的文件中

nohup: ignoring input and appending output to 'nohup.out'

此時輸入ls指令會看到多出mylog.log和nohup.out

admins@labs:~$ ls
Dev get-pip.py mylog.log my_nohup.py nohup.out Python-3.7.9

試著使用cat去看看這兩隻檔案, mylog.log會每5秒打印訊息, 但nohup.out是空的。

查看背景運行(若是關閉終端機後才使用指令，jobs已經無法看到後台跑得程序了, 需使用ps aux)

jobs -l

離開該終端機後, 背景仍會繼續執行這個服務, 可使用ps aux來查看。

[解決] nohup.out打開是空白問題

如果沒有指定導出的地方, 會在nohup.out檔案內, 但在執行時需使用
python -u
執行時使用下方指令:

nohup python3 -u my_nohup.py &

這樣print內的訊息都會在nohup.out了, 而log則是logger寫入的資料, 是分開的檔案。

指定輸出檔案(導出檔案)

可以指定導到其他檔案, 下方是導到my_print.txt

nohup python3 -u my_nohup.py > my_print.txt &

沒有nohup: ignoring input and appending output to ‘nohup.out’的訊息, 也沒有看到nohup.out的檔案。

這裡的>其實是 1> 的縮寫。

名稱	代碼	操作符號
標準輸入		< 或«
標準輸出	1	>或»或1> 或1»
標準錯誤輸出	2	2> 或2»

通常後台運行重定向可以寫成：

mkdir logs
nohup python3 -u my_nohup.py > logs/command.log 2>&1 &

2>&1 是將「標準錯誤輸出(2)」重定向到「標準輸出(1)」, 簡單來說就是標準輸出和標準錯誤輸出都在同一份檔案, 導入logs文件夾下的command.log日誌文件。

標準輸出與標準錯誤輸出分開儲存

如果想要把錯誤輸出存到另一份檔案,把最後一行的註解拿掉， print(1/0)在最後運行時會出錯, 下方指令, 會把標準輸出到out.log, 標準錯誤輸出err.log

nohup python3 -u my_nohup.py > out.log 2>err.log &

下方為故意讓程式有出錯的狀況的圖片, 會看到out.log是原本的print日期時間, 而err.log則是遇到錯誤的訊息

補充:
鳥哥私房菜-離線管理問題

[Python] 日誌按天分割，保存近一個月日誌

Thu, 30 Jun 2022 11:00:42 +0000

下方為code, 請根據自己需求去做調整, 主要是存放的路徑與log內的訊息格式

import datetime
import logging
import os
import pathlib
import re
from logging.handlers import TimedRotatingFileHandler


path = os.path.join(pathlib.Path(__file__).parent.absolute(), 'log')
log_folder_path = os.path.join(pathlib.Path(__file__).parent.parent.parent, 'log') # 與service同層, 自行調整parent的次數,

try:
 if not os.path.isdir(log_folder_path): # 如果日誌資料夾不存在，則建立資料夾
 os.mkdir(log_folder_path)
except Exception:
 print("建立資料夾失敗,資料夾路徑：" + log_folder_path)
 pass

log_name = 'serverlog' # 自訂log檔名稱
logger = logging.getLogger(log_name)

log_filename = datetime.datetime.now().strftime("%Y-%m-%d.log")
log_path = os.path.join(log_folder_path, log_name)
logger.setLevel(logging.DEBUG)

# when: 為一天, backupCount: 30個log檔案
file_handler = TimedRotatingFileHandler(
 filename=log_path, when="MIDNIGHT", interval=1, backupCount=30
)
file_handler.suffix = "%Y-%m-%d.log" # 可自訂
file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.log$") # 刪除過期log檔


# format_2 = '[%(asctime)s] [%(process)d] [%(levelname)s] - %(module)s.%(funcName)s (%(filename)s:%(lineno)d) - %(message)s'

# 可自訂想要的格式, 或是網路上提供的, 像format_2就給的訊息很多, 但本身不需要那麼多訊息可以自己訂些簡單的
file_handler.setFormatter(logging.Formatter('[%(asctime)s] %(levelname)1.4s: %(module)s:%(lineno)d %(message)s'))
logger.addHandler(file_handler)

檔案名稱如下, 名稱會照file_handler.suffix做修正。

WSGI & ASGI

Sun, 08 May 2022 12:46:31 +0000

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

什麼是 WSGI?
- WSGI 與 WSGI Server

<li class='ez-toc-page-1 ez-toc-heading-level-2'>
 <a class="ez-toc-link ez-toc-heading-3" href="https://quietbo.com/2022/05/08/wsgi-asgi/#%E4%BB%80%E9%BA%BC%E6%98%AF_ASGI" >什麼是 ASGI?</a>
</li>
<li class='ez-toc-page-1 ez-toc-heading-level-2'>
 <a class="ez-toc-link ez-toc-heading-4" href="https://quietbo.com/2022/05/08/wsgi-asgi/#%E7%B8%BD%E7%B5%90_WSGI_%E8%88%87_ASGI" >總結: WSGI 與 ASGI</a>
</li>

什麼是 WSGI?

Web Server Gateway Interface，的縮寫(Web伺服器閘道器介面)，是一種協議，這個協議制定了一套規則，規定HTTP Request要如何與Application Server溝通。

WSGI應用是一個單調用、同步接口，即輸入一個請求，返回一個響應，無法支持長連接或者WebSocket

WSGI 與 WSGI Server

可以將WSGI Server理解成處理 HTTP Request 與 Python 可理解的 Input/Output 的中繼站(Middleware)

所有支援 WSGI 協定的 Server 都可稱為 WSGI Server，現在比較常見的WSGI Server是gunicorn及 uwsgi。

什麼是 ASGI?

Asynchronous Server Gateway Interface(異步服務器網關接口)
ASGI 是 WSGI 的繼承者，已經存在的WSGI應用可以直接在ASGI服務器中運行
ASGI 代表異步服務器網關接口，是爲異步、同步應用程序提供標準，支持 WSGI 不支持當前 web 開發中的一些新的協議標準
介於網絡協議服務和Python應用之間的標準接口，能夠處理多種通用的協議類型，包括HTTP，HTTP2和WebSocket。

總結: WSGI 與 ASGI

相同之處:
- WSGI 與 ASGI都指定接口並位於 Web 服務器和 Python Web 應用程序或框架之間。
兩者的區別:
- WSGI是基於HTTP協議模式的，不支持WebSocket
- ASGI的誕生則是為了解決Python常用的WSGI不支持當前Web開發中的一些新的協議標準。
- ASGI對於WSGI原有的模式的支持和WebSocket的擴展，即ASGI是WSGI的擴展。

[Python] pymysql.err.IntegrityError 解決

Fri, 15 Apr 2022 03:19:05 +0000

通常遇到這狀況代表有設定unique的欄位, 被重複了,
而且要新增的一筆資料又與該欄位有重複的值,則會報錯,

假設我的欄位id已經有202204150012的資料時, 要再增加一筆id是202204150012的資料, 錯誤訊息如下, 會告知是哪個欄位重複與重複的value

(pymysql.err.IntegrityError) (1062, "Duplicate entry '202204150012' for key 'tb_order.id'")

解決方式1:
將該欄位的unique拿掉

解決方式2:
做異常處理與回滾(rollback)

try:
 db.commit()
except:
 # 回滾
 db.rollback()
finally:
# 關閉數據庫連接
db.close()

解決方式3:例外處理時跳過

try:
 .... 
except IntegrityError as error:
 # 獨立處理重複
 result1 = re.search('Duplicate entry', str(error))
 if result1:
 logger.error('Duplicate entry')
 pass
except Exception as error:
 # 其他例外處理 ...

[Pycharm] 導出&導入虛擬環境(venv導出requirements)

Wed, 06 Apr 2022 05:24:22 +0000

導出虛擬環境

一般命令為導出的是系統環境，不是虛擬環境(venv)

pip freeze > requirements.txt

在windows終端下是不可以使用的，使用以下代碼進行導出，運行後會產生requirements.txt

import os
import platform
import sys
import subprocess

# 當前目錄
project_root = os.path.dirname(os.path.realpath(__file__))
# project_root = os.path.realpath(__file__)
print('當前目錄' + project_root)

# 依據目前使用不同的系統會使用不同的command,目前使用linux及Windows
if platform.system() == 'Linux':
 command = sys.executable + ' -m pip freeze > ' + project_root + '/requirements.txt'
if platform.system() == 'Windows':
 command = '"' + sys.executable + '"' + ' -m pip freeze > "' + project_root + '\\requirements.txt"'
# 生成requirements的命令
print(command)
#
# 執行command
# os.system(command) #路徑有空格時不可用
os.popen(command) # 路徑有空格可用

安装requirement

開啟新的專案想使用requirement時，打開終端機輸入:

pip install -r requirement.txt

[Python|FastAPI] 返回沒有雙引號的字串(返回純文本)PlainTextResponse

Thu, 31 Mar 2022 10:26:15 +0000

問題:
對方是要的訊息Hello World，不是要”Hello World”

原本的FastAPI寫法如下:

from fastapi import FastAPI
import uvicorn

app = FastAPI()


@app.get("/")
async def root():
 return "Hello World"

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

可以看到最常見的postman發的請求得到是”Hello World”

解決方式:
使用:PlainTextResponse

from fastapi import FastAPI
import uvicorn
from fastapi.responses import PlainTextResponse

app = FastAPI()


@app.get("/", response_class=PlainTextResponse)
async def root():
 return "Hello World"

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

可以看到還滿順利的出現了單純只有文字的Hello World

不一定要放在response_class，以下方式也能成功:

from fastapi import FastAPI
import uvicorn
from fastapi.responses import PlainTextResponse

app = FastAPI()

def get_text(parameters):
 text = PlainTextResponse(parameters)
 return text


@app.get("/")
async def root():
 op = get_text('hello bocky')
 return op

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

[Python] ‘cryptography’ package is required for sha256_password or caching_sha2_password auth methods

Wed, 30 Mar 2022 02:56:35 +0000

環境:

windows10
mysql Ver 8.0.28
python3.7, mysql+pymysql

開發時要連線到MySQL時出錯，錯誤訊息如下:

cryptography' package is required for sha256_password or caching_sha2_password auth methods"
RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods

去google才得知:
MySQL 自8.0+ 版本後，默認的身份認證插件由mysql_native_password 變為了caching_sha2_password,
網上提供的作法，有些答案都是去MySQL中更改默認的認證方式，但我不建議這麼做，原因就是未來部屬時，問題仍有可能會再次出現。

解決方式:

pip3 install cryptography

密碼學:
什麼是cryptography?可參考連結

[Python] LinePay串接Online APIs – 問題 (5/5)

Mon, 14 Mar 2022 05:44:59 +0000

linepay v2 的Payment-check api 在LINE Pay: Overview這邊找到的,僅供測試用。
建議開發使用新的版本，目前v3。

[Python] LinePay串接Online APIs – 串接v3(含code) (4/5)

Mon, 14 Mar 2022 05:38:31 +0000

以下測試環境及工具使用:

windows 10
Sandbox
linePay文檔
python 3.7

以下使用Request API-> Check Payment Status API -> Confirm API。

操作流程如下:

channel_id 填入自己的channel id
channel_secret 填入自己的channel secret
開啟瀏覽器貼上付款web_url
付款成功後將最下方的transaction_id填上
重新運行

import time
import json
import requests
import hashlib
import hmac
import base64


def get_auth_signature (secret, uri, body, nonce):
 """
 用於製作密鑰
 :param secret: your channel secret
 :param uri: uri
 :param body: request body
 :param nonce: uuid or timestamp(時間戳)
 :return:
 """
 str_sign = secret + uri + body + nonce
 return base64.b64encode(hmac.new(str.encode(secret), str.encode(str_sign), digestmod=hashlib.sha256).digest()).decode("utf-8")

channel_id = "your channel id"
channel_secret = "your channel secret"
uri = "/v3/payments/request"
nonce = str(round(time.time() * 1000)) # nonce = str(uuid.uuid4())
transaction_id = ''

headers = {
 'Content-Type': 'application/json',
 'X-LINE-ChannelId': channel_id,
 'X-LINE-Authorization-Nonce': nonce,
}

def do_request_payment():
 '''此api僅使用文檔中必填的資料'''
 request_options = {
 "amount": 2000,
 "currency": 'TWD',
 "orderId": nonce,
 "packages": [{
 "id": '20220314I001',
 "amount": 2000,
 "name": '鬼滅之刃公仔',
 "products": [{
 "name": '竈門禰豆子',
 "quantity": 1,
 "price": 1000
 },{
 "name": '我妻善逸',
 "quantity": 1,
 "price": 1000
 }]
 }],
 "redirectUrls": {
 "confirmUrl": 'https://quietbo.com/2022/03/14/python-linepay%e4%b8%b2%e6%8e%a5online-apis-%e5%95%8f%e9%a1%8c-5-5/',
 "cancelUrl": 'https://fastapi.tiangolo.com/zh/tutorial/bigger-applications/'
 }
 }
 json_body = json.dumps(request_options)


 headers['X-LINE-Authorization-Nonce'] = nonce
 headers['X-LINE-Authorization'] = get_auth_signature(channel_secret, uri, json_body, nonce)
 response = requests.post("https://sandbox-api-pay.line.me"+uri, headers=headers, data=json_body)
 print(response.text)
 dict_response = json.loads(response.text)

 if dict_response.get('returnCode') == "0000":
 info = dict_response.get('info')
 web_url = info.get('paymentUrl').get('web')
 transaction_id = str(info.get('transactionId'))
 print(f"付款web_url:{web_url}")
 print(f"交易序號:{transaction_id}")

def do_checkout(transaction_id):
 print("transaction_id={}".format(transaction_id))

 conf_data = """{"amount": 2000, "currency": "TWD"}"""
 checkout_url = f"/v3/payments/requests/{transaction_id}/check"
 headers['X-LINE-Authorization'] = get_auth_signature(channel_secret, checkout_url, conf_data, nonce)
 response = requests.get("https://sandbox-api-pay.line.me"+checkout_url, headers=headers, data=conf_data)
 print(response.text)
 response = json.loads(response.text)
 if str(response.get('returnCode')) == "0110":
 return True
 return False

def do_confirm(transaction_id):

 con_url = f"/v3/payments/{transaction_id}/confirm"
 conf_data = """{"amount": 2000, "currency": "TWD"}"""
 headers['X-LINE-Authorization'] = get_auth_signature(channel_secret, con_url, conf_data, nonce)
 response = requests.post("https://sandbox-api-pay.line.me"+con_url, headers=headers, data=conf_data)
 print(response.text)
 response = json.loads(response.text)

 return response.get('returnMessage')

if __name__ == "__main__":
 do_request_payment() # 向linepay請求付款

 # 填入已付款後的交易序號後下方註解拿掉
 # transaction_id = "your transaction_id" # ex: transaction_id = 2022031400707390210
 # status = do_checkout(transaction_id) # 檢查訂單狀態
 # if status == True:
 # print(do_confirm(transaction_id)) # 確認訂單

[Python] LinePay串接Online APIs – 後台查看 (3/5)

Sun, 13 Mar 2022 17:23:22 +0000

linepay測試用後台

登入後找右上角的「測試環境」

右上角可將語言轉成繁體中文

左方管理交易->交易紀錄，可以查看到之前的交易紀錄:

[Python] LinePay串接Online APIs – 初步了解流程及使用postman測試api v2 (2/5)

Sun, 13 Mar 2022 17:22:34 +0000

因有些人只想了解linepay的運作方式, 提供一些簡單可使用的方式。

以下測試環境及工具使用:

Sandbox
postman
linePay文檔
Online APIs 文檔:網址
按下此處查看以前的API文件(v2)

本次postman的簡易流程
簡易流程圖網址

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

基本設定

請先下載postman

domain(v2測試用)

https://sandbox-api-pay.line.me/v2/payments

在現有的Headers添加

Content-Type:application/json
X-LINE-ChannelId:商戶的Channel ID
X-LINE-ChannelSecret:商戶的Channel Secret

request 請求訂單

API:

POST {domain}/request

Request Body:

{
 "amount": 1,
 "currency": "TWD", 
 "productName": "MyProd",
 "productImageUrl": "https://cimg.cnyes.cool/prod/news/4556115/l/79b7b76238dcaa28d626ec007bff576f.jpg",
 "confirmUrl": "http://127.0.0.1:3000",
 "orderId": "Order202203110011"
}

Payment Reserve Response:

{
 "returnCode": "0000",
 "returnMessage": "Success.",
 "info": {
 "paymentUrl": {
 "web": "https://sandbox-web-pay.line.me/web/payment/wait?transactionReserveId=WVZub2tRakxRbzk0NWVsa1VMZ1pyTzhOSk00QXJqNXgvbTZIeXZ2NklpL2ZiMHlBUGN4SnJrTG4xVWh6bFA1cg",
 "app": "line://pay/payment/WVZub2tRakxRbzk0NWVsa1VMZ1pyTzhOSk00QXJqNXgvbTZIeXZ2NklpL2ZiMHlBUGN4SnJrTG4xVWh6bFA1cg"
 },
 "transactionId": 2022031100707222710,
 "paymentAccessToken": "785453599850"
 }
}

取得info.paymentUrl.web後, 使用瀏覽器打開如下:

點擊付款:

付款成功如下:

補充:
為什麼結帳後會原本的網頁會出現下圖?

文檔內的說明如下

Merchant's URL that the buyer is redirected to after selecting a payment method and entering the payment password in LINE Pay.
On the redirected URL, Merchant can call Confirm Payment API and complete the payment
LINE Pay passes an additional parameter, "transactionId"

Reference Detailed Explanation and Exceptional Case of ConfirmUrl

簡單來說就是:想讓結帳完的顧客看到什麼畫面。

confirm 確認

API:

POST {domain}/{transactionId}/confirm

範例:

https://sandbox-api-pay.line.me/v2/payments/2022031400707322810/confirm

Headers添加

X-LINE-MerchantDeviceType: POS
X-LINE-MerchantDeviceProfileId: DUMMY

Request Body:

{
 "amount": 1,
 "currency": "TWD"
}

Response成功的Json如下:
(補充:此次訂單是重新發起的新的訂單,所以transactionId與orderId會與上面請求訂單時的資料不一樣, 主要目的是呈現成功的結果)

{
 "returnCode": "0000",
 "returnMessage": "Success.",
 "info": {
 "transactionId": 2022031400707322810,
 "orderId": "dev202203140002",
 "payInfo": [
 {
 "method": "CREDIT_CARD",
 "amount": 1,
 "maskedCreditCardNumber": "************1111"
 }
 ]
 }
}

若失敗或是orderId有重複, 則會告知錯誤。

Check Payment Status 查看訂單狀態

API

GET {domain}?transactionId={transactionId}

範例:

https://sandbox-api-pay.line.me/v2/payments?transactionId=2022031400707322810

Response成功的Json如下:

{
 "returnCode": "0000",
 "returnMessage": "Success.",
 "info": [
 {
 "transactionId": 2022031400707322810,
 "transactionDate": "2022-03-13T16:11:08Z",
 "transactionType": "PAYMENT",
 "productName": "MyProd",
 "currency": "TWD",
 "payInfo": [
 {
 "method": "CREDIT_CARD",
 "amount": 1
 }
 ],
 "orderId": "dev202203140002"
 }
 ]
}

注意:
正常來說是要先檢查是否付款後才執行confirm這支API，但因為v2是需要先進行confirm這支API才有辦法使用，否則會出現:

{
 "returnCode": "1150",
 "returnMessage": "Transaction record not found."
}

若是使用v3則可正常先進行Check Payment Status 後再進行確認。

refurnd 退款

取消已付款的交易。

API:

POST {dimain}/{transactionId}/refund

Headers添加

X-LINE-MerchantDeviceType: POS
X-LINE-MerchantDeviceProfileId: DUMMY

refundAmount: 退款金額

{
 "refundAmount": 1
}

Response:

{
 "returnCode": "0000",
 "returnMessage": "Success.",
 "info": {
 "refundTransactionId": 2022031400707327211,
 "refundTransactionDate": "2022-03-13T17:05:50Z"
 }
}

[Python] LinePay串接Online APIs – 申請測試帳號 (1/5)

Sun, 13 Mar 2022 17:17:51 +0000

以下測試環境使用:

Sandbox

一、創建Sandbox帳號

測試流程文件網址

LinePay建立Sandbox:Sandbox網址
正式LinePay商戶請使用:網址

填入下方訊息, 及使用中的信箱, 此處我是使用與line相同的信箱，若是以有相同信箱會跳出:此email已註冊過Sandbox ID。請輸入其他email以註冊Sandbox。

創建成功如下圖(有興趣可自行點擊後查看)

二、收信並登入商家

到信箱收信如下:

使用剛才收到的來登入Merchant Center:網址

使用收到的測試帳號及密碼登入

三、取得Channel ID及Channel Secret Key

紅框內的要保留好, 不要外流。

補充:

Sandbox: 指測試帳號的url及後台等等環境
v2/v3指的是在串接api時的linepay版本

[Python 3.6] f-Strings (字串雙引號前加f)

Mon, 21 Feb 2022 07:03:38 +0000

Python 3.6之前式字串格式化:

str.format()

處理多個引數和更長的字串時，程式碼很冗長

f-Strings 比 %-formatting 和 str.format()更輕鬆，且更快。
大小寫f都可以使用:

>>> name = "Bocky"
>>> age = 18
>>> f"name={name}, age={age}"
'name=Bocky, age=18'

也可以運算:

>>> f"{2*100}"
'200'

使用function:

>>> def to_lowercase(input):
... return input.lower()
...
>>> name = "BOCKY"
>>> f"{to_lowercase(name)} is funny."
'bocky is funny.'

文檔:2.4.3. Formatted string literals

參考2

[Python] 不打印轉義字符串，字串不轉義處理(\t\f)

Thu, 17 Feb 2022 07:26:33 +0000

在轉義字符前多加一個\
字符串前面加上’r’

print('123\n123\t123')

結果如下:

123
123 123

在轉義字符前多加一個（\）

print('123\\n123\\t123')

結果如下:

123\n123\t123

使用r，整個字串不轉義

print(r'123\n123\t123')

結果如下:

123\n123\t123

範例

最需要注意的是，如果再windows下，如果不使用r，使用\t會出現下圖

C:\\Dev\\mytoolbox\\myfile\\testfile.txt

會發現\t變成一個tab的功能，但若使用r的話即可解決

[Python] File “manage.py”, line 17 ) from exc ^ SyntaxError: invalid syntax (已解決)

Mon, 17 Jan 2022 10:27:31 +0000

我在env內，有python2.7與python3.8。
當使用 python 運行命令時，Django 無法預測確切的 python 版本。

執行下列指令後出現錯誤:

python manage.py runserver

問題訊息如下:

 File "manage.py", line 17
 ) from exc
 ^
SyntaxError: invalid syntax

解決方式:

python3 manage.py runserver
python3 manage.py runserver 0.0.0.0:8899 # 轉port為8899

參考:How to solve SyntaxError on autogenerated manage.py?

[Mac|M1] ModuleNotFoundError: No module named ‘pip._internal.cli.main’ (已解決)

Mon, 17 Jan 2022 07:01:50 +0000

問題訊息如下:

$ pip install --upgrade pip
Traceback (most recent call last):
 File "/usr/local/bin/pip", line 6, in <module>
 from pip._internal.cli.main import main
ModuleNotFoundError: No module named 'pip._internal.cli.main'

解決方式:

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py --force-reinstall

Defaulting to user installation because normal site-packages is not writeable
Collecting pip
 Using cached pip-21.3.1-py3-none-any.whl (1.7 MB)
Installing collected packages: pip
 WARNING: The scripts pip, pip3 and pip3.8 are installed in '/Users/bocky/Library/Python/3.8/bin' which is not on PATH.
 Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
Successfully installed pip-21.3.1
WARNING: You are using pip version 19.2.3; however, version 21.3.1 is available.
You should consider upgrading via the '/Applications/Xcode.app/Contents/Developer/usr/bin/python3 -m pip install --upgrade pip' command.

訊息告知建議執行的內容:

/Applications/Xcode.app/Contents/Developer/usr/bin/python3 -m pip install --upgrade pip

下方為執行結果:

Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: pip in ./Library/Python/3.8/lib/python/site-packages (21.3.1)

解決!

[Python] Django第一個Urls與View

Sun, 28 Nov 2021 09:13:19 +0000

定義視圖函數
books\views.py:

from django.shortcuts import render
from django.http import HttpResponse

#定義視圖函數
def hello(request):
 return HttpResponse("<h1>Hello, world.世界你好.</h1>")

修改項目(mydjango) urls.py文件

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
 path('books/', include('books.urls')),
 path('admin/', admin.site.urls),
]

在books的資料夾新增 urls.py文件

from django.urls import path
from . import views

urlpatterns = [
 path('hello/', views.hello, name='hello'),
]

建立完成後的資料如下，執行

python manage.py runserver

開啟瀏覽器，輸入

http://127.0.0.1:8000/books/hello/

URL配置

urlpatterns: 路由模式列表,通過URL模式映射到視圖
path函數：返回urlpatterns元素
定義：path(route, view, kwargs=None, name=None)
route：路由模式,
view:可以是視圖函數、視圖類或include函數返回值
path(”, views.home, name=’home’)
path(”, Home.as_view(), name=’home’)
path(‘blog/’, include(‘blog.urls’))
include函數：導入其他的模塊,include(‘books.urls’)是導入books.urls模塊

[Python] 創建一個Django專案

Mon, 15 Nov 2021 16:08:12 +0000

使用：Mac M1
Python 3.8
Django:3.2

建立環境

可參考：安裝virtualenv

進入env後，安裝及查看Django版本：

pip install django
pip list

建立專案

尋找一個位置，建立第一個專案：

django-admin startproject mydjango

創建的資料結構如下：

執行方式：

python manage.py runserver

若想更改默認端口：

python manage.py runserver 0.0.0.0:8899

執行成功如下圖：

開啟瀏覽器，輸入：

http://127.0.0.1:8000/

第一次運行，會看到下圖畫面：

停止方式：Control + C

此時，會多出現一個檔案db.sqlite3

Django主要提供了四種數據庫引擎：

django.db.backends.postgresql
django.db.backends.mysql
django.db.backends.sqlite3
django.db.backends.oracle

打開setting.py會看到默認引擎是sqlite3，

# Database
# https://docs.djangoproject.com/en/3.2/ref/settings/#databases

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.sqlite3',
 'NAME': BASE_DIR / 'db.sqlite3',
 }
}

MySQL設置方式:

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.mysql',
 'NAME': 'djangodb',
 'USER': 'root',
 'PASSWORD': '12345',
 'HOST': '127.0.0.1',
 }
}

如果需要更多的配置信息，可以指定配置文件：

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.mysql',
 'OPTIONS':{
 'read_default_file': '/path/to/my.cnf',
 },
 }
}

配置文件：

# my.cnf

[client]

databases = djangodb user = root password = 12345 default-character-set=utf8

PostgreSQL數據庫配置:

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.postgresql',
 'NAME': 'mydatabase',
 'USER': 'mydatabaseuser',
 'PASSWORD': 'mypassword',
 'HOST': '127.0.0.1',
 'PORT': '5432',
 }
}

初始化：

python manage.py migrate

創建應用程序

python manage.py startapp books

生成books，如下的資料結構

.
├── books
│   ├── __init__.py
│   ├── admin.py
│   ├── apps.py
│   ├── migrations
│   │   └── __init__.py
│   ├── models.py
│   ├── tests.py
│   └── views.py
├── db.sqlite3
├── manage.py
└── mydjango
 ├── __init__.py
 ├── asgi.py
 ├── settings.py
 ├── urls.py
 └── wsgi.py

admin :網站管理設置
apps :註冊應用相關
migration ：數據庫的升級文件包，會自動升級專案的數據庫
models ：定義模型
tests :測試相關代碼
views ：定義視圖函式

主要程式撰寫是在views及models

[Python] break、continue、pass、return及exit的用法與區別

Thu, 04 Nov 2021 16:53:04 +0000

break 結束循環語句
continue 跳出本次循環，繼續下一個循環
pass 不做任何事情，站位而已
return 退出整個函數(def)
exit 結束整個程序(進程)

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

break

用來終止循環語句，即使循環條件沒有False或者序列還沒被完全遞歸完，也會停止執行循環語句。

break語句用在while和for循環中。

def config():
 for num in '12345':
 if num == '3':
 break
 print('當前數字:', num)
 print('=' * 10)

config()

結果如下：

當前數字: 1
當前數字: 2
==========

continue

continue 語句跳出本次循環，然後繼續進行下一輪循環。

def config():
 for num in '12345':
 if num == '3':
 continue
 print('當前數字:', num)
 print('=' * 10)

config()

輸出結果：當for迴圈到3時，被跳過了。

當前數字: 1
當前數字: 2
當前數字: 4
當前數字: 5
==========

pass

空語句，pass 不做任何事情，一般用做佔位語句，是為了保持程序結構的完整性。

def config():
 for num in '12345':
 if num == '3':
 pass
 print('當前數字:', num)
 print('=' * 10)

config()

結果如下：

當前數字: 1
當前數字: 2
當前數字: 3
當前數字: 4
當前數字: 5
==========

補充：

為什麼要站位？

事實上站位就是要先預留位置，回頭再補上具體的代碼實現。
很多時候我們在開發的時候，會把已知的判斷條件或函式寫好，然後在對應的塊中寫上pass，後續再慢慢完善這些站位的部分。

return

return 語句就是將結果返回到調用的地方，並把控制權也一起返回。

def config():
 for num in '12345':
 if num == '3':
 return f'for迴圈在 {num} 時回傳了'
 print('當前數字:', num)
 print('=' * 10)

print(config())
print('上方function已返回')

結果如下：

當前數字: 1
當前數字: 2
for迴圈在 3 時回傳了
上方function已返回

exit

用來結束整個程序（進程）。

def config():
 for num in '12345':
 if num == '3':
 exit()
 print('當前數字:', num)
 print('=' * 10)

config()
print('*' * 10) #程式已結束所以不會印出

顯示如下：

當前數字: 1
當前數字: 2

[Python] 有序的Dict – OrderedDict (必學)

Wed, 21 Jul 2021 17:00:01 +0000

特性:依據key被插入的先後做排序，如果更新了某個key的值，不會影響排序位置，除非是把key刪除後又重新插入。後續加入的key都會從最末做添加。
本篇沒做增刪查改的範例。

dict(一般常用的)

一般常用的dict都會說是無序，但其實還是有一定的順序，是按照hash來存儲的，和存儲的數據結構有關(本篇不多說明)，但通常這個跟我們一般認真的序列有一點不一樣，因為不是填入時的順序。

example_dict = dict(
 name='Bocky',
 phone='0912-345-678',
 address='Taiwan-Taipei',
 age='18'
)
print(example_dict)

輸出結果:

{'phone': '0912-345-678', 'age': '18', 'name': 'Bocky', 'address': 'Taiwan-Taipei'}

OrderedDict

from collections import OrderedDict
import json
# 錯誤示範，沒有照順序排列的效果(與一般dict結果一樣)
example_ordered_dict_0 = OrderedDict(
 name='Bocky',
 phone='0912-345-678',
 address='Taiwan-Taipei',
 age='18'
)
print('錯誤示範的輸出:\n{}'.format(example_ordered_dict_0))
print("="*20)

example_ordered_dict_1 = OrderedDict([
 ('name', 'Bocky'),
 ('phone_number', '0912-345-678'),
 ('address', 'Taiwan-Taipei'),
 ('age', '18')
])
print("OrderedDict輸出結果:\n{}".format(example_ordered_dict_1))
print("="*20)

print("添加一個key為interest到最末端:")
example_ordered_dict_1['interest'] = 'sleep'
print(example_ordered_dict_1)
print("="*20)

print("把OrderedDict轉成字串,並剔除空白:")
print (json.dumps(example_ordered_dict_1).replace(" ", ""))

輸出結果:

錯誤示範的輸出:
OrderedDict([('phone', '0912-345-678'), ('age', '18'), ('name', 'Bocky'), ('address', 'Taiwan-Taipei')])
====================
OrderedDict輸出結果:
OrderedDict([('name', 'Bocky'), ('phone_number', '0912-345-678'), ('address', 'Taiwan-Taipei'), ('age', '18')])
====================
添加一個key為interest到最末端:
OrderedDict([('name', 'Bocky'), ('phone_number', '0912-345-678'), ('address', 'Taiwan-Taipei'), ('age', '18'), ('interest', 'sleep')])
====================
把OrderedDict轉成字串,並剔除空白:
{"name":"Bocky","phone_number":"0912-345-678","address":"Taiwan-Taipei","age":"18","interest":"sleep"}

如果是要a~z排序的話就使用sorted，網路上很多參考，但這就不需要使用OrderedDict了，一般dict就可以做到，只是排序拼接而已，我自己工作上是很常用:

data = "&".join("{0}={1}".format(str(k), str(example_ordered_dict_1[k])) for k in sorted(example_ordered_dict_1.keys()))

輸出結果:

address=Taiwan-Taipei&age=18&interest=sleep&name=Bocky&phone_number=0912-345-678

[安裝]Mac pro M1 安裝virtualenv

Sun, 27 Jun 2021 11:55:45 +0000

目前自帶版本有:
Python 2.7.16
Python 3.8.2

查詢路徑：

which python3 # which python

安裝virtualenv
用pip就可以安裝 virtualenv，可以同時用在 Python 2 和 3，

pip install virtualenv

創建虛擬環境

mkdir work_venv # 建立一個名為work_venv的資料夾
python3 -m virtualenv XXXvenv # 創建名為XXvenv的虛擬機

進入/安裝模組/離開虛擬環境

source XXvenv/bin/activate

# 進到虛擬環境，最前面就會多（XXvenv）
pip list

pip install XXXX # 安裝模組
pip install -r requirements.txt # 導入requirements.txt(路徑自行填寫)
deactivate # 離開虛擬環境

[Python]字串轉型態ast.literal_eval，且為什麼不建議eval(必學)

Thu, 03 Jun 2021 09:40:06 +0000

三分鐘學習一個小知識，還有範例直接看!

當python在做型態轉換，str轉dict、list、tuple、set或是int時，有些人會使用eval 或 ast.literal_eval，但eval是不推的，安全性是其中重要的原因。
若要單純轉換型態，我。

稍微講一下eval會說是危險原因:

# coding:utf-8

"""
輸入下方指令:
"1000"
"1+3"
"[0, 1, [2, 2]]"
"(1, 3, 5, [7])"
"{'A': 'aa', 'B': 'bb', 'C': 'cc'}"
"__import__('os').system('ls /')"
"""
std = input('please input: ')
eval_std = eval(std)
print('input: ',eval_std, type(eval_std))

以上5種輸入，下方為輸出結果:

input: 1000 <type 'int'>
input: 4 <type 'int'>
input: [0, 1, [2, 2]] <type 'list'>
input: (1, 3, 5, [7]) <type 'tuple'>
input: {'A': 'aa', 'C': 'cc', 'B': 'bb'} <type 'dict'>

bin boot cdrom dev etc home lib lib32 lib64 libx32 lost+found media mnt opt proc root run sbin snap srv swapfile sys tmp usr var VBox.log
input: 0 <type 'int'>

eval 不只是可以轉型態、將輸入做處理，甚至系統的命令都能執行!
如果今天(使用者)輸入的內容是輸入刪除文件、顯示目錄結構等命令，那是很大的危險，所以要轉型態是不建議使用eval的!(本篇不介紹惡意操作的指令有哪些)

使用下方程式:ast.literal_eval

# coding:utf-8
import ast

"""
輸入下方指令:
"1000"
"1+3" # 會報錯
"[0, 1, [2, 2]]"
"(1, 3, 5, [7])"
"{'A': 'aa', 'B': 'bb', 'C': 'cc'}"
"__import__('os').system('ls /')" # 會報錯
"""
std = input('please input: ')
ast_std = ast.literal_eval(std)
print('input: %s %s'% (ast_std, type(ast_std)))

ast.literal_eval會去判斷要解析的內容是否安全，不安全就報錯，我們只要處理報錯的處理就好，比起找回刪除的檔案或是被偷的資料，這輕鬆多了。

結論:字符串進行類型轉換，一律用ast.literal_eval()

連結:python document

[Python]實現php serialize函數

Wed, 28 Apr 2021 08:50:46 +0000

不同的程式語言之間物件的傳遞，就必須把物件序列化為標準格式，比如XML，但更好的方法是序列化為JSON，因為JSON表示出來就是一個字串，可以被所有語言讀取，也可以方便地儲存到磁碟或者通過網路傳輸。

舉例A公司用php撰寫後序列化(物件轉字串)傳送到B公司，而B公司用Python反序列化時要用到。
通常是用在Python編程環境和PHP編程環境，相互之間需要進行數據交換時。

pip3 install phpserialize

導入庫：

import phpserialize

利用dumps 進行序列化（物件轉字串）：

phpserialize.dumps(vary)

使用loads 進行反序列化（字串轉物件）：

phpserialize.loads(formated_string)

來源1

[Python]並發編程的三種方式

Mon, 19 Apr 2021 08:07:14 +0000

1.多進程(Process)
2.多線程(Thread)
3.多協程(Coroutine)

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

1.什麼是CPU密集型計算、IO密集型計算?
2.多進程、多線程、多協程的對比

<li class='ez-toc-page-1 ez-toc-heading-level-2'>
 <a class="ez-toc-link ez-toc-heading-6" href="https://quietbo.com/2021/04/19/python-%e4%b8%a6%e7%99%bc%e7%b7%a8%e7%a8%8b%e7%9a%84%e4%b8%89%e7%a8%ae%e6%96%b9%e5%bc%8f/#3_%E5%A6%82%E4%BD%95%E6%A0%B9%E6%93%9A%E4%BB%BB%E5%8B%99%E9%81%B8%E6%93%87%E5%B0%8D%E6%87%89%E7%9A%84%E6%8A%80%E8%A1%93" >3. 如何根據任務選擇對應的技術?</a>
</li>

1.什麼是CPU密集型計算、IO密集型計算?

bound在這邊是限制的意思。

CPU密集型(CPU-bound):
CPU密集型也叫計算密集型，指的是I/O在很短的時間就可以完成，CPU需要大量的計算和處理。特點是CPU占用率極高。
例如:壓縮/解壓縮、加密/解密、正則表達式搜索。

IO密集型(I/O-bound):
指的是系統運作大部分的狀況CPU在等I/O的讀寫。CPU占用率相對的會較低。
例如:文件處理、爬蟲網路、讀寫數據庫。

小總結:

若程式依賴大量的外部連結(內存、硬碟、網路、DB..等等外部連結)就是IO密集型。若其他的只在CPU運算，則是CPU密集型。

2.多進程、多線程、多協程的對比

這三個是有一個級聯關係的。一個進程中可以包含和啟動多個線程，一個線程中可以啟動多個協程。
協程的概念比較新，在任務中可以啟動很多的協程，但本身都在一個線程中進行。

多進程Process(multiprocessing)

優點:可以利用多核CPU並行運算
缺點:占用資源最多，可啟動數目比線程少
適用於:CPU密集型計算

多線程Thread(threading)

優點:相比進程，更輕量級，占用的資源更少。
這裡的資源指的是每個線程運行都要包含自己的一些變量存儲，存儲到內存區域
缺點:
相比進程:多線程只能併發執行，不能利用多CPU(GIL-全局解釋器鎖)
相比協程:啟動數目有限制，佔用內存資源，有線程切換開銷
適用於:IO密集型計算、同時運型的任務數木要求不多

多協程Coroutine(asycio) – 異步io

優點:內存開銷最少，啟動協程數量最多(甚至到幾萬個)。
缺點:支持的庫有限制(aiohttp vs requests)、代碼實現複雜。
目前有很多技術是不支持協程的，例如requests這個爬蟲常用的類庫，但在python協程中是不支持的，
所以要用協程來進行爬蟲的話，可以用aiohttp。
相比進程、線程，代碼實現複雜，且要考慮的點也較多。
適用於:IO密集型計算、需要超多任務運行、但有現成庫支持的場景。

3. 如何根據任務選擇對應的技術?

來源:youtube
蚂蚁学Python【Python并发编程】怎样选择多线程多进程多协程

[安裝]Python 2.7以及Python virtualenv

Wed, 24 Mar 2021 10:51:20 +0000

因ubuntu從18.04開始，內建的python版本都是為3.6以上 (舊的內建2.7)，所以要手動輸入版本號

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

安裝python2.7

sudo apt update
sudo apt install python2.7 -y

檢查一下python2.7版本:

python2.7 -V

輸出結果:

安裝pip套件

這邊的作法是下載get-pip.py來安裝。

注意:
第3行的URL不一定是最新的，若有跳出錯誤訊息是URL找不到，請自行更換成錯誤訊息跳出的URL。

cd ~
cd 下載
curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python2.7 get-pip.py

若安裝成功，最後會看到這個訊息:

(可略過不做)
為使用pip套件建立別名:
後面的指令pip2請自行改成python2.7 -m pip

cd ~
touch .bash_aliases
echo "alias pip2='python2.7 -m pip'" >> .bash_aliases
source .bash_aliases
pip2 -V

輸出結果:

pip 20.3.4 from /home/ubuntu/.local/lib/python2.7/site-packages/pip (python 2.7)

使用pip安裝virtualenv

日後為每個專案製作一個專屬的python environment

pip2 install virtualenv
# 等同於 python2.7 -m pip install virtualenv

為virtualenv製作別名

這是因為如果安裝其他python版本的virtualenv，用別名來區分使用的版本。也可以略過，後續指令virtialenv2.7自行替換成virtualenv

echo "alias virtualenv2.7='python2.7 -m virtualenv'" >> ~/.bash_aliases
source .bash_aliases
# 測試一下
virtualenv2.7 --version
# 輸出結果
# virtualenv 20.4.3 from /home/ubuntu/.local/lib/python2.7/site-packages/virtualenv/__init__.pyc

製作一個test_venv專屬的python environment。

mkdir python27_venv
cd python27_venv
virtualenv2.7 test_venv # 方法1:有製作別名(上方操作)才可使用此方法
python27_venv python2.7 -m virtualenv test_venv # 方法2

創建完後進入虛擬環境:

source ~/python27_venv/test_venv/bin/activate

# 命令列多出前綴(test_venv)。表示已經啟用此虛擬環境
(test_venv)$ python -V
Python 2.7.17 # 輸出結果
(test_venv)$ pip list

(test_venv)$ deactivate # 離開虛擬環境

# 前綴消失，表示已經關閉虛擬環境

[Linux]背景執行py方法

Wed, 10 Mar 2021 10:33:33 +0000

2022/07/06 – 新增[Python] 背景執行nohup, & 與 nohup.out

主要介紹在linux下使用Terminal來背景執行python的幾種方式，
執行3隻python檔，每5秒、10秒、15秒各別顯示當前時間。

以下為python範例:
test.py、test2.py、test3.py這三隻同時使用背景來執行的畫面。

執行test.py後，會顯示跳出PID為25270。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 1
 sleep(5)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

如果想讓程式跑在背景，在結尾的地方加個&
python 背景執行指令如下:

python 程式碼名稱 &

再執行一隻test2.py，不會讓原本的test.py停住，仍在背景繼續執行，並且顯示test2.py新的PID。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 2
 sleep(10)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

再執行test3.py。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 3
 sleep(15)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

查詢背景運行的程式:

ps -ef

想停止某隻程式的話，輸入下方指令:

kill PID

下圖為停止第一支test.py的程式。

kill掉後原本的Terminal會出現已終止的程式名稱。原本的test2.py和test3.py還會繼續執行。