Python on Quietbo

[Python] 日誌記錄第三方庫 – Loguru(附簡單的範例)

Fri, 12 Aug 2022 11:01:01 +0000

use:

pycharm, FastAPI, Loguru

一開始在學log時, 會使用標準庫 logging。
設置上較爲繁瑣, 甚至有些在多進程多線程等特殊處理時, 還會導致日誌記錄會出現異常, 還有幾次都在找為什麼logg會印兩次…
現在單純開發時都會使用Loguru來做一些log的紀錄,下方提供簡單的範例

安裝

使用 pip 安裝即可，Python 3 版本的安裝如下：

pip3 install loguru

log.py

from loguru import logger
logger.add("./logs/test.log", rotation="00:00", enqueue=True, retention="30 days")

#logger.info(1)
#logger.error(2)
#logger.warning(3)

main.py

import uvicorn
from log import logger
from fastapi import FastAPI

app = FastAPI()

@app.on_event("startup")
async def startup_event():
 logger.info('Hi startup')

@app.get("/")
async def root():
 return {"message": "Hello World"}


if __name__ == "__main__":
 uvicorn.run("main:app", host='127.0.0.1', port=8000, reload=True)

執行python main.py

會看到下方的

INFO: Will watch for changes in these directories: ['C:\\Dev\\FastAPI_demo']
INFO: Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO: Started reloader process [21476] using watchgod
INFO: Started server process [4168]
INFO: Waiting for application startup.
2022-08-12 18:53:32.579 | INFO | main:startup_event:9 - Hi startup
INFO: Application startup complete.

打開瀏覽器輸入下方:

127.0.0.1/

打開logs資料夾會看到已經有印出來的檔案。

2022-08-12 18:56:21.419 | INFO | main:startup_event:9 - Hi startup
2022-08-12 18:56:27.969 | INFO | main:root:13 - {'message': 'Hello World'}

[Python] os.chdir 更改當前工作目錄

Tue, 19 Jul 2022 09:49:44 +0000

語法:

os.chdir(path)

參數

path − 更改到新位置的目錄的完整路徑。

不返回任何值。沒有找到指定的路徑，會拋出FileNotFoundError

舉例:
我在跟目錄(/)的狀態下, 使用python3 絕對路徑/xxxx.py後, 要在運行別隻py檔案,

使用下方兩隻py檔來做演示,路徑都在/home/ubuntu/Dev

檔名:chdir.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import os, sys

path = "/home/ubuntu/Dev"

# 查看當前工作目錄
retval = os.getcwd()
print("當前工作目錄:%s" % retval)

# 修改當前工作目錄
os.chdir( path )

# 查看修改後的工作目錄
retval = os.getcwd()

print("目錄修改成功:%s" % retval)

# 接著要運行的指令
os.system("python3 pping.py")

檔名:pping.py

import os
a=os.system("ping 192.168.1.101") #使用a接收返回值
print(a)

以下是在終端機執行過程:

ubuntu@ubuntu:~/Dev$ cd ~
ubuntu@ubuntu:~$ python3 /home/ubuntu/Dev/chdir.py 
當前工作目錄:/home/ubuntu
目錄修改成功:/home/ubuntu/Dev
PING 192.168.1.101 (192.168.1.101) 56(84) bytes of data.
64 bytes from 192.168.1.101: icmp_seq=1 ttl=128 time=5.19 ms

由此可見os.getcwd是獲得終端機當下在運行python時的路徑, 而os.chdir是會修改為新的工作路徑, 若沒有修改的話, 是沒辦法透過os.system來運行pping.py的, 會出現找不到檔案的error。

[Python] 背景執行nohup, & 與 nohup.out

Wed, 06 Jul 2022 10:13:54 +0000

本篇提到的「背景」指的是: 在終端機模式下使用 [ctrl]-c, 並不會中斷的一個情境!

[Linux]背景執行py方法雖然是在背景執行, 不會因為[ctrl]-c而中斷, 但會因為「終端機關閉後而中斷」。

中斷可能多個原因, 例如ssh連線到機器後, 操作時不小心將視窗關閉,或是網路斷線而關閉。

本次主要目的為: 「在離線或登出系統後，還能夠讓工作繼續進行」。

演示的code為my_nohup.py:

# coding:utf-8
from datetime import datetime
from time import sleep
import logging

Log_Format = "%(levelname)s %(asctime)s - %(message)s"

logging.basicConfig(filename = "mylog.log",
 filemode = "w",
 format = Log_Format,
 level = logging.INFO)
logger = logging.getLogger()
logger.error("Our First Log Message")

while(1):
 sleep(5)

 print("print " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
 logger.info(str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
 # print(1/0) # 輸出錯誤時使用

指令介紹

nohup: no hang up的縮寫, 不斷地運行。
&: 在後台運行，關掉終端會停止運行。
> : 標準輸出符號。
-u: 在nohup.out內可以看到print的訊息。

背景執行(nohup, &)

nohup python3 my_nohup.py &

758865 為背景執行的PID

執行完會出現一段，所有輸出都被重定向到一個名為nohup.out的文件中

nohup: ignoring input and appending output to 'nohup.out'

此時輸入ls指令會看到多出mylog.log和nohup.out

admins@labs:~$ ls
Dev get-pip.py mylog.log my_nohup.py nohup.out Python-3.7.9

試著使用cat去看看這兩隻檔案, mylog.log會每5秒打印訊息, 但nohup.out是空的。

查看背景運行(若是關閉終端機後才使用指令，jobs已經無法看到後台跑得程序了, 需使用ps aux)

jobs -l

離開該終端機後, 背景仍會繼續執行這個服務, 可使用ps aux來查看。

[解決] nohup.out打開是空白問題

如果沒有指定導出的地方, 會在nohup.out檔案內, 但在執行時需使用
python -u
執行時使用下方指令:

nohup python3 -u my_nohup.py &

這樣print內的訊息都會在nohup.out了, 而log則是logger寫入的資料, 是分開的檔案。

指定輸出檔案(導出檔案)

可以指定導到其他檔案, 下方是導到my_print.txt

nohup python3 -u my_nohup.py > my_print.txt &

沒有nohup: ignoring input and appending output to ‘nohup.out’的訊息, 也沒有看到nohup.out的檔案。

這裡的>其實是 1> 的縮寫。

名稱	代碼	操作符號
標準輸入		< 或«
標準輸出	1	>或»或1> 或1»
標準錯誤輸出	2	2> 或2»

通常後台運行重定向可以寫成：

mkdir logs
nohup python3 -u my_nohup.py > logs/command.log 2>&1 &

2>&1 是將「標準錯誤輸出(2)」重定向到「標準輸出(1)」, 簡單來說就是標準輸出和標準錯誤輸出都在同一份檔案, 導入logs文件夾下的command.log日誌文件。

標準輸出與標準錯誤輸出分開儲存

如果想要把錯誤輸出存到另一份檔案,把最後一行的註解拿掉， print(1/0)在最後運行時會出錯, 下方指令, 會把標準輸出到out.log, 標準錯誤輸出err.log

nohup python3 -u my_nohup.py > out.log 2>err.log &

下方為故意讓程式有出錯的狀況的圖片, 會看到out.log是原本的print日期時間, 而err.log則是遇到錯誤的訊息

補充:
鳥哥私房菜-離線管理問題

[Python] 日誌按天分割，保存近一個月日誌

Thu, 30 Jun 2022 11:00:42 +0000

下方為code, 請根據自己需求去做調整, 主要是存放的路徑與log內的訊息格式

import datetime
import logging
import os
import pathlib
import re
from logging.handlers import TimedRotatingFileHandler


path = os.path.join(pathlib.Path(__file__).parent.absolute(), 'log')
log_folder_path = os.path.join(pathlib.Path(__file__).parent.parent.parent, 'log') # 與service同層, 自行調整parent的次數,

try:
 if not os.path.isdir(log_folder_path): # 如果日誌資料夾不存在，則建立資料夾
 os.mkdir(log_folder_path)
except Exception:
 print("建立資料夾失敗,資料夾路徑：" + log_folder_path)
 pass

log_name = 'serverlog' # 自訂log檔名稱
logger = logging.getLogger(log_name)

log_filename = datetime.datetime.now().strftime("%Y-%m-%d.log")
log_path = os.path.join(log_folder_path, log_name)
logger.setLevel(logging.DEBUG)

# when: 為一天, backupCount: 30個log檔案
file_handler = TimedRotatingFileHandler(
 filename=log_path, when="MIDNIGHT", interval=1, backupCount=30
)
file_handler.suffix = "%Y-%m-%d.log" # 可自訂
file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.log$") # 刪除過期log檔


# format_2 = '[%(asctime)s] [%(process)d] [%(levelname)s] - %(module)s.%(funcName)s (%(filename)s:%(lineno)d) - %(message)s'

# 可自訂想要的格式, 或是網路上提供的, 像format_2就給的訊息很多, 但本身不需要那麼多訊息可以自己訂些簡單的
file_handler.setFormatter(logging.Formatter('[%(asctime)s] %(levelname)1.4s: %(module)s:%(lineno)d %(message)s'))
logger.addHandler(file_handler)

檔案名稱如下, 名稱會照file_handler.suffix做修正。

[Python] pymysql.err.IntegrityError 解決

Fri, 15 Apr 2022 03:19:05 +0000

通常遇到這狀況代表有設定unique的欄位, 被重複了,
而且要新增的一筆資料又與該欄位有重複的值,則會報錯,

假設我的欄位id已經有202204150012的資料時, 要再增加一筆id是202204150012的資料, 錯誤訊息如下, 會告知是哪個欄位重複與重複的value

(pymysql.err.IntegrityError) (1062, "Duplicate entry '202204150012' for key 'tb_order.id'")

解決方式1:
將該欄位的unique拿掉

解決方式2:
做異常處理與回滾(rollback)

try:
 db.commit()
except:
 # 回滾
 db.rollback()
finally:
# 關閉數據庫連接
db.close()

解決方式3:例外處理時跳過

try:
 .... 
except IntegrityError as error:
 # 獨立處理重複
 result1 = re.search('Duplicate entry', str(error))
 if result1:
 logger.error('Duplicate entry')
 pass
except Exception as error:
 # 其他例外處理 ...

[Pycharm] 導出&導入虛擬環境(venv導出requirements)

Wed, 06 Apr 2022 05:24:22 +0000

導出虛擬環境

一般命令為導出的是系統環境，不是虛擬環境(venv)

pip freeze > requirements.txt

在windows終端下是不可以使用的，使用以下代碼進行導出，運行後會產生requirements.txt

import os
import platform
import sys
import subprocess

# 當前目錄
project_root = os.path.dirname(os.path.realpath(__file__))
# project_root = os.path.realpath(__file__)
print('當前目錄' + project_root)

# 依據目前使用不同的系統會使用不同的command,目前使用linux及Windows
if platform.system() == 'Linux':
 command = sys.executable + ' -m pip freeze > ' + project_root + '/requirements.txt'
if platform.system() == 'Windows':
 command = '"' + sys.executable + '"' + ' -m pip freeze > "' + project_root + '\\requirements.txt"'
# 生成requirements的命令
print(command)
#
# 執行command
# os.system(command) #路徑有空格時不可用
os.popen(command) # 路徑有空格可用

安装requirement

開啟新的專案想使用requirement時，打開終端機輸入:

pip install -r requirement.txt

[Python|FastAPI] 返回沒有雙引號的字串(返回純文本)PlainTextResponse

Thu, 31 Mar 2022 10:26:15 +0000

問題:
對方是要的訊息Hello World，不是要”Hello World”

原本的FastAPI寫法如下:

from fastapi import FastAPI
import uvicorn

app = FastAPI()


@app.get("/")
async def root():
 return "Hello World"

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

可以看到最常見的postman發的請求得到是”Hello World”

解決方式:
使用:PlainTextResponse

from fastapi import FastAPI
import uvicorn
from fastapi.responses import PlainTextResponse

app = FastAPI()


@app.get("/", response_class=PlainTextResponse)
async def root():
 return "Hello World"

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

可以看到還滿順利的出現了單純只有文字的Hello World

不一定要放在response_class，以下方式也能成功:

from fastapi import FastAPI
import uvicorn
from fastapi.responses import PlainTextResponse

app = FastAPI()

def get_text(parameters):
 text = PlainTextResponse(parameters)
 return text


@app.get("/")
async def root():
 op = get_text('hello bocky')
 return op

if __name__ == "__main__":
 uvicorn.run("main:app", host="127.0.0.1", port=8000)

[Python 3.6] f-Strings (字串雙引號前加f)

Mon, 21 Feb 2022 07:03:38 +0000

Python 3.6之前式字串格式化:

str.format()

處理多個引數和更長的字串時，程式碼很冗長

f-Strings 比 %-formatting 和 str.format()更輕鬆，且更快。
大小寫f都可以使用:

>>> name = "Bocky"
>>> age = 18
>>> f"name={name}, age={age}"
'name=Bocky, age=18'

也可以運算:

>>> f"{2*100}"
'200'

使用function:

>>> def to_lowercase(input):
... return input.lower()
...
>>> name = "BOCKY"
>>> f"{to_lowercase(name)} is funny."
'bocky is funny.'

文檔:2.4.3. Formatted string literals

參考2

[Python] 不打印轉義字符串，字串不轉義處理(\t\f)

Thu, 17 Feb 2022 07:26:33 +0000

在轉義字符前多加一個\
字符串前面加上’r’

print('123\n123\t123')

結果如下:

123
123 123

在轉義字符前多加一個（\）

print('123\\n123\\t123')

結果如下:

123\n123\t123

使用r，整個字串不轉義

print(r'123\n123\t123')

結果如下:

123\n123\t123

範例

最需要注意的是，如果再windows下，如果不使用r，使用\t會出現下圖

C:\\Dev\\mytoolbox\\myfile\\testfile.txt

會發現\t變成一個tab的功能，但若使用r的話即可解決

[Python] Django第一個Urls與View

Sun, 28 Nov 2021 09:13:19 +0000

定義視圖函數
books\views.py:

from django.shortcuts import render
from django.http import HttpResponse

#定義視圖函數
def hello(request):
 return HttpResponse("<h1>Hello, world.世界你好.</h1>")

修改項目(mydjango) urls.py文件

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
 path('books/', include('books.urls')),
 path('admin/', admin.site.urls),
]

在books的資料夾新增 urls.py文件

from django.urls import path
from . import views

urlpatterns = [
 path('hello/', views.hello, name='hello'),
]

建立完成後的資料如下，執行

python manage.py runserver

開啟瀏覽器，輸入

http://127.0.0.1:8000/books/hello/

URL配置

urlpatterns: 路由模式列表,通過URL模式映射到視圖
path函數：返回urlpatterns元素
定義：path(route, view, kwargs=None, name=None)
route：路由模式,
view:可以是視圖函數、視圖類或include函數返回值
path(”, views.home, name=’home’)
path(”, Home.as_view(), name=’home’)
path(‘blog/’, include(‘blog.urls’))
include函數：導入其他的模塊,include(‘books.urls’)是導入books.urls模塊

[Python] 創建一個Django專案

Mon, 15 Nov 2021 16:08:12 +0000

使用：Mac M1
Python 3.8
Django:3.2

建立環境

可參考：安裝virtualenv

進入env後，安裝及查看Django版本：

pip install django
pip list

建立專案

尋找一個位置，建立第一個專案：

django-admin startproject mydjango

創建的資料結構如下：

執行方式：

python manage.py runserver

若想更改默認端口：

python manage.py runserver 0.0.0.0:8899

執行成功如下圖：

開啟瀏覽器，輸入：

http://127.0.0.1:8000/

第一次運行，會看到下圖畫面：

停止方式：Control + C

此時，會多出現一個檔案db.sqlite3

Django主要提供了四種數據庫引擎：

django.db.backends.postgresql
django.db.backends.mysql
django.db.backends.sqlite3
django.db.backends.oracle

打開setting.py會看到默認引擎是sqlite3，

# Database
# https://docs.djangoproject.com/en/3.2/ref/settings/#databases

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.sqlite3',
 'NAME': BASE_DIR / 'db.sqlite3',
 }
}

MySQL設置方式:

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.mysql',
 'NAME': 'djangodb',
 'USER': 'root',
 'PASSWORD': '12345',
 'HOST': '127.0.0.1',
 }
}

如果需要更多的配置信息，可以指定配置文件：

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.mysql',
 'OPTIONS':{
 'read_default_file': '/path/to/my.cnf',
 },
 }
}

配置文件：

# my.cnf

[client]

databases = djangodb user = root password = 12345 default-character-set=utf8

PostgreSQL數據庫配置:

DATABASES = {
 'default': {
 'ENGINE': 'django.db.backends.postgresql',
 'NAME': 'mydatabase',
 'USER': 'mydatabaseuser',
 'PASSWORD': 'mypassword',
 'HOST': '127.0.0.1',
 'PORT': '5432',
 }
}

初始化：

python manage.py migrate

創建應用程序

python manage.py startapp books

生成books，如下的資料結構

.
├── books
│   ├── __init__.py
│   ├── admin.py
│   ├── apps.py
│   ├── migrations
│   │   └── __init__.py
│   ├── models.py
│   ├── tests.py
│   └── views.py
├── db.sqlite3
├── manage.py
└── mydjango
 ├── __init__.py
 ├── asgi.py
 ├── settings.py
 ├── urls.py
 └── wsgi.py

admin :網站管理設置
apps :註冊應用相關
migration ：數據庫的升級文件包，會自動升級專案的數據庫
models ：定義模型
tests :測試相關代碼
views ：定義視圖函式

主要程式撰寫是在views及models

[Python] break、continue、pass、return及exit的用法與區別

Thu, 04 Nov 2021 16:53:04 +0000

break 結束循環語句
continue 跳出本次循環，繼續下一個循環
pass 不做任何事情，站位而已
return 退出整個函數(def)
exit 結束整個程序(進程)

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

break

用來終止循環語句，即使循環條件沒有False或者序列還沒被完全遞歸完，也會停止執行循環語句。

break語句用在while和for循環中。

def config():
 for num in '12345':
 if num == '3':
 break
 print('當前數字:', num)
 print('=' * 10)

config()

結果如下：

當前數字: 1
當前數字: 2
==========

continue

continue 語句跳出本次循環，然後繼續進行下一輪循環。

def config():
 for num in '12345':
 if num == '3':
 continue
 print('當前數字:', num)
 print('=' * 10)

config()

輸出結果：當for迴圈到3時，被跳過了。

當前數字: 1
當前數字: 2
當前數字: 4
當前數字: 5
==========

pass

空語句，pass 不做任何事情，一般用做佔位語句，是為了保持程序結構的完整性。

def config():
 for num in '12345':
 if num == '3':
 pass
 print('當前數字:', num)
 print('=' * 10)

config()

結果如下：

當前數字: 1
當前數字: 2
當前數字: 3
當前數字: 4
當前數字: 5
==========

補充：

為什麼要站位？

事實上站位就是要先預留位置，回頭再補上具體的代碼實現。
很多時候我們在開發的時候，會把已知的判斷條件或函式寫好，然後在對應的塊中寫上pass，後續再慢慢完善這些站位的部分。

return

return 語句就是將結果返回到調用的地方，並把控制權也一起返回。

def config():
 for num in '12345':
 if num == '3':
 return f'for迴圈在 {num} 時回傳了'
 print('當前數字:', num)
 print('=' * 10)

print(config())
print('上方function已返回')

結果如下：

當前數字: 1
當前數字: 2
for迴圈在 3 時回傳了
上方function已返回

exit

用來結束整個程序（進程）。

def config():
 for num in '12345':
 if num == '3':
 exit()
 print('當前數字:', num)
 print('=' * 10)

config()
print('*' * 10) #程式已結束所以不會印出

顯示如下：

當前數字: 1
當前數字: 2

[Python] 有序的Dict – OrderedDict (必學)

Wed, 21 Jul 2021 17:00:01 +0000

特性:依據key被插入的先後做排序，如果更新了某個key的值，不會影響排序位置，除非是把key刪除後又重新插入。後續加入的key都會從最末做添加。
本篇沒做增刪查改的範例。

dict(一般常用的)

一般常用的dict都會說是無序，但其實還是有一定的順序，是按照hash來存儲的，和存儲的數據結構有關(本篇不多說明)，但通常這個跟我們一般認真的序列有一點不一樣，因為不是填入時的順序。

example_dict = dict(
 name='Bocky',
 phone='0912-345-678',
 address='Taiwan-Taipei',
 age='18'
)
print(example_dict)

輸出結果:

{'phone': '0912-345-678', 'age': '18', 'name': 'Bocky', 'address': 'Taiwan-Taipei'}

OrderedDict

from collections import OrderedDict
import json
# 錯誤示範，沒有照順序排列的效果(與一般dict結果一樣)
example_ordered_dict_0 = OrderedDict(
 name='Bocky',
 phone='0912-345-678',
 address='Taiwan-Taipei',
 age='18'
)
print('錯誤示範的輸出:\n{}'.format(example_ordered_dict_0))
print("="*20)

example_ordered_dict_1 = OrderedDict([
 ('name', 'Bocky'),
 ('phone_number', '0912-345-678'),
 ('address', 'Taiwan-Taipei'),
 ('age', '18')
])
print("OrderedDict輸出結果:\n{}".format(example_ordered_dict_1))
print("="*20)

print("添加一個key為interest到最末端:")
example_ordered_dict_1['interest'] = 'sleep'
print(example_ordered_dict_1)
print("="*20)

print("把OrderedDict轉成字串,並剔除空白:")
print (json.dumps(example_ordered_dict_1).replace(" ", ""))

輸出結果:

錯誤示範的輸出:
OrderedDict([('phone', '0912-345-678'), ('age', '18'), ('name', 'Bocky'), ('address', 'Taiwan-Taipei')])
====================
OrderedDict輸出結果:
OrderedDict([('name', 'Bocky'), ('phone_number', '0912-345-678'), ('address', 'Taiwan-Taipei'), ('age', '18')])
====================
添加一個key為interest到最末端:
OrderedDict([('name', 'Bocky'), ('phone_number', '0912-345-678'), ('address', 'Taiwan-Taipei'), ('age', '18'), ('interest', 'sleep')])
====================
把OrderedDict轉成字串,並剔除空白:
{"name":"Bocky","phone_number":"0912-345-678","address":"Taiwan-Taipei","age":"18","interest":"sleep"}

如果是要a~z排序的話就使用sorted，網路上很多參考，但這就不需要使用OrderedDict了，一般dict就可以做到，只是排序拼接而已，我自己工作上是很常用:

data = "&".join("{0}={1}".format(str(k), str(example_ordered_dict_1[k])) for k in sorted(example_ordered_dict_1.keys()))

輸出結果:

address=Taiwan-Taipei&age=18&interest=sleep&name=Bocky&phone_number=0912-345-678

[Python]字串轉型態ast.literal_eval，且為什麼不建議eval(必學)

Thu, 03 Jun 2021 09:40:06 +0000

三分鐘學習一個小知識，還有範例直接看!

當python在做型態轉換，str轉dict、list、tuple、set或是int時，有些人會使用eval 或 ast.literal_eval，但eval是不推的，安全性是其中重要的原因。
若要單純轉換型態，我。

稍微講一下eval會說是危險原因:

# coding:utf-8

"""
輸入下方指令:
"1000"
"1+3"
"[0, 1, [2, 2]]"
"(1, 3, 5, [7])"
"{'A': 'aa', 'B': 'bb', 'C': 'cc'}"
"__import__('os').system('ls /')"
"""
std = input('please input: ')
eval_std = eval(std)
print('input: ',eval_std, type(eval_std))

以上5種輸入，下方為輸出結果:

input: 1000 <type 'int'>
input: 4 <type 'int'>
input: [0, 1, [2, 2]] <type 'list'>
input: (1, 3, 5, [7]) <type 'tuple'>
input: {'A': 'aa', 'C': 'cc', 'B': 'bb'} <type 'dict'>

bin boot cdrom dev etc home lib lib32 lib64 libx32 lost+found media mnt opt proc root run sbin snap srv swapfile sys tmp usr var VBox.log
input: 0 <type 'int'>

eval 不只是可以轉型態、將輸入做處理，甚至系統的命令都能執行!
如果今天(使用者)輸入的內容是輸入刪除文件、顯示目錄結構等命令，那是很大的危險，所以要轉型態是不建議使用eval的!(本篇不介紹惡意操作的指令有哪些)

使用下方程式:ast.literal_eval

# coding:utf-8
import ast

"""
輸入下方指令:
"1000"
"1+3" # 會報錯
"[0, 1, [2, 2]]"
"(1, 3, 5, [7])"
"{'A': 'aa', 'B': 'bb', 'C': 'cc'}"
"__import__('os').system('ls /')" # 會報錯
"""
std = input('please input: ')
ast_std = ast.literal_eval(std)
print('input: %s %s'% (ast_std, type(ast_std)))

ast.literal_eval會去判斷要解析的內容是否安全，不安全就報錯，我們只要處理報錯的處理就好，比起找回刪除的檔案或是被偷的資料，這輕鬆多了。

結論:字符串進行類型轉換，一律用ast.literal_eval()

連結:python document

[Python]實現php serialize函數

Wed, 28 Apr 2021 08:50:46 +0000

不同的程式語言之間物件的傳遞，就必須把物件序列化為標準格式，比如XML，但更好的方法是序列化為JSON，因為JSON表示出來就是一個字串，可以被所有語言讀取，也可以方便地儲存到磁碟或者通過網路傳輸。

舉例A公司用php撰寫後序列化(物件轉字串)傳送到B公司，而B公司用Python反序列化時要用到。
通常是用在Python編程環境和PHP編程環境，相互之間需要進行數據交換時。

pip3 install phpserialize

導入庫：

import phpserialize

利用dumps 進行序列化（物件轉字串）：

phpserialize.dumps(vary)

使用loads 進行反序列化（字串轉物件）：

phpserialize.loads(formated_string)

來源1

[Python]並發編程的三種方式

Mon, 19 Apr 2021 08:07:14 +0000

1.多進程(Process)
2.多線程(Thread)
3.多協程(Coroutine)

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

1.什麼是CPU密集型計算、IO密集型計算?
2.多進程、多線程、多協程的對比

<li class='ez-toc-page-1 ez-toc-heading-level-2'>
 <a class="ez-toc-link ez-toc-heading-6" href="https://quietbo.com/2021/04/19/python-%e4%b8%a6%e7%99%bc%e7%b7%a8%e7%a8%8b%e7%9a%84%e4%b8%89%e7%a8%ae%e6%96%b9%e5%bc%8f/#3_%E5%A6%82%E4%BD%95%E6%A0%B9%E6%93%9A%E4%BB%BB%E5%8B%99%E9%81%B8%E6%93%87%E5%B0%8D%E6%87%89%E7%9A%84%E6%8A%80%E8%A1%93" >3. 如何根據任務選擇對應的技術?</a>
</li>

1.什麼是CPU密集型計算、IO密集型計算?

bound在這邊是限制的意思。

CPU密集型(CPU-bound):
CPU密集型也叫計算密集型，指的是I/O在很短的時間就可以完成，CPU需要大量的計算和處理。特點是CPU占用率極高。
例如:壓縮/解壓縮、加密/解密、正則表達式搜索。

IO密集型(I/O-bound):
指的是系統運作大部分的狀況CPU在等I/O的讀寫。CPU占用率相對的會較低。
例如:文件處理、爬蟲網路、讀寫數據庫。

小總結:

若程式依賴大量的外部連結(內存、硬碟、網路、DB..等等外部連結)就是IO密集型。若其他的只在CPU運算，則是CPU密集型。

2.多進程、多線程、多協程的對比

這三個是有一個級聯關係的。一個進程中可以包含和啟動多個線程，一個線程中可以啟動多個協程。
協程的概念比較新，在任務中可以啟動很多的協程，但本身都在一個線程中進行。

多進程Process(multiprocessing)

優點:可以利用多核CPU並行運算
缺點:占用資源最多，可啟動數目比線程少
適用於:CPU密集型計算

多線程Thread(threading)

優點:相比進程，更輕量級，占用的資源更少。
這裡的資源指的是每個線程運行都要包含自己的一些變量存儲，存儲到內存區域
缺點:
相比進程:多線程只能併發執行，不能利用多CPU(GIL-全局解釋器鎖)
相比協程:啟動數目有限制，佔用內存資源，有線程切換開銷
適用於:IO密集型計算、同時運型的任務數木要求不多

多協程Coroutine(asycio) – 異步io

優點:內存開銷最少，啟動協程數量最多(甚至到幾萬個)。
缺點:支持的庫有限制(aiohttp vs requests)、代碼實現複雜。
目前有很多技術是不支持協程的，例如requests這個爬蟲常用的類庫，但在python協程中是不支持的，
所以要用協程來進行爬蟲的話，可以用aiohttp。
相比進程、線程，代碼實現複雜，且要考慮的點也較多。
適用於:IO密集型計算、需要超多任務運行、但有現成庫支持的場景。

3. 如何根據任務選擇對應的技術?

來源:youtube
蚂蚁学Python【Python并发编程】怎样选择多线程多进程多协程

[Linux]背景執行py方法

Wed, 10 Mar 2021 10:33:33 +0000

2022/07/06 – 新增[Python] 背景執行nohup, & 與 nohup.out

主要介紹在linux下使用Terminal來背景執行python的幾種方式，
執行3隻python檔，每5秒、10秒、15秒各別顯示當前時間。

以下為python範例:
test.py、test2.py、test3.py這三隻同時使用背景來執行的畫面。

執行test.py後，會顯示跳出PID為25270。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 1
 sleep(5)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

如果想讓程式跑在背景，在結尾的地方加個&
python 背景執行指令如下:

python 程式碼名稱 &

再執行一隻test2.py，不會讓原本的test.py停住，仍在背景繼續執行，並且顯示test2.py新的PID。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 2
 sleep(10)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

再執行test3.py。

# coding:utf-8
from datetime import datetime
from time import sleep

while(1):
 count = 3
 sleep(15)
 print(str(count) + " : " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))

查詢背景運行的程式:

ps -ef

想停止某隻程式的話，輸入下方指令:

kill PID

下圖為停止第一支test.py的程式。

kill掉後原本的Terminal會出現已終止的程式名稱。原本的test2.py和test3.py還會繼續執行。

Line bot – 創建Line bot帳號

Mon, 01 Mar 2021 15:13:05 +0000

Table of Contents

<span class="ez-toc-title-toggle"><a href="#" class="ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle" aria-label="顯示/隱藏內容目錄"><span class="ez-toc-js-icon-con"><span class=""><span class="eztoc-hide" style="display:none;">Toggle</span><span class="ez-toc-icon-toggle-span"><svg style="fill: #999;color:#999" xmlns="http://www.w3.org/2000/svg" class="list-377408" width="20px" height="20px" viewBox="0 0 24 24" fill="none"><path d="M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z" fill="currentColor"></path></svg><svg style="fill: #999;color:#999" class="arrow-unsorted-368013" xmlns="http://www.w3.org/2000/svg" width="10px" height="10px" viewBox="0 0 24 24" version="1.2" baseProfile="tiny"><path d="M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z"/></svg></span></span></span></a></span>

建立Heroku

首先進到Heroku的帳戶，登入會看到這個畫面

Create new app，創建名字

建立屬於自己的Line Bot

developers網址

登入後長下面這樣，點選Create a new provider

請輸入一個Providers的名稱之後，點擊Create

左上角是名字，選擇 Create a Messaging API channel

Channel name
Channel description
Category
Subcategory
Email address

以上這些填一填，最下方打勾

創建完成!

將創建好的Line Bot與Heroku進行串接

點選 Messaging API

點選 Auto-reply messages 右邊的 Edit

點選後會跳出一個新頁面，Webhook設置為啟用

點選Channel access token 右方issue，之後會產生一串有英文數字特殊符號的字串，可以先複製起來，後續會使用到。

移動到最上方，選擇Basic settings後，到Channel secret點擊issue，
這串也會跟著改變，也要複製下來，後面會使用到。

編輯程式

填入自己當時複製起來的字串。第一個最長，第二個是比較短的。

# Channel Access Token
line_bot_api = LineBotApi('YOUR_CHANNEL_ACCESS_TOKEN')
# Channel Secret
handler = WebhookHandler('YOUR_CHANNEL_SECRET')

將代碼傳送到Heroku上

到Heroku的官網，依照自己的系統來安裝套件。Heroku官網

安裝成功後我們來登入Heroku，輸入:

heroku login

會自動開啟新網頁視窗請你登入帳號密碼，下方為登入成功畫面，之後就不需要再管這個畫面了。

Git 基本設定以及Push Hearoku

查看目前的設定

git config --list

如果本來就沒有設定git，需要輸入以下指令來進行初始化:

git config –global user.name “你的名字”
git config –global user.email “你的信箱”

在自己的專案創建一個.git檔案(該動作只需要做一次)

git init

回到資料夾檢查看有沒有出現.git的資料夾，
通常是被隱藏起來，想看的話要把檢視->隱藏的項目打勾

將 git 資料夾與 Heroku作為連接，這邊HEROKU_APP_NAME是要照你當時在Heroku的專案名稱一樣，
如果不同，他則會報錯

heroku git:remote -a {HEROKU_APP_NAME}

下圖為錯誤訊息:

下圖為設定成功的訊息:

然後照下圖方式

指令如下:

git add .
git commit -m "你想輸入的訊息(必填)" 
git push -f heroku master

最後會執行一段時間，成功如下圖

Line Bot 與 Hearoku 綁定

剛剛已經完成將程式碼PUSH到Hearoku了，現在則是讓Line Bot能夠到Hearoku去運行我們想要機器人為我們做的事情。

回到LINE Developers的Messaging API，
選擇 Webhook URL 點擊Edit 將網址貼上去，格式:

https://{HEROKU_APP_NAME}.herokuapp.com/callback

輸入完後點選Verify，成功後就會將剛剛輸入的URL存上去了。

回到Heroku網站，點選Open app，跳出的新網頁就是你的專案網址。

測試自己做的機器人回覆內容

目前機器人是看打什麼字就回復什麼內容，
如果要關閉每次都跳出那感謝訊息，要到回到回應設定，將自動回覆訊息關閉。

clone heroku 的程式碼

有些人開發不一定是使用同一台電腦，clone的指令如下:

git clone https://git.heroku.com/YOUR_HEROKU_APP_NAME.git

在YOUR_HEROKU_APP_NAME這串英文改成你的專案名字就可以成功clone下來了。

Python on Quietbo

[Python] 日誌記錄第三方庫 – Loguru(附簡單的範例)

安裝

[Python] os.chdir 更改當前工作目錄

[Python] 背景執行nohup, & 與 nohup.out

指令介紹

背景執行(nohup, &)

[解決] nohup.out打開是空白問題

指定輸出檔案(導出檔案)

標準輸出與標準錯誤輸出分開儲存

[Python] 日誌按天分割，保存近一個月日誌

[Python] pymysql.err.IntegrityError 解決

[Pycharm] 導出&導入虛擬環境(venv導出requirements)

導出虛擬環境

安装requirement

[Python|FastAPI] 返回沒有雙引號的字串(返回純文本)PlainTextResponse

[Python 3.6] f-Strings (字串雙引號前加f)

[Python] 不打印轉義字符串，字串不轉義處理(\t\f)

範例

[Python] Django第一個Urls與View

URL配置

[Python] 創建一個Django專案

建立環境

建立專案

創建應用程序

[Python] break、continue、pass、return及exit的用法與區別

break

continue

pass

return

exit

[Python] 有序的Dict – OrderedDict (必學)

dict(一般常用的)

OrderedDict

[Python]字串轉型態ast.literal_eval，且為什麼不建議eval(必學)

[Python]實現php serialize函數

[Python]並發編程的三種方式

1.什麼是CPU密集型計算、IO密集型計算?

2.多進程、多線程、多協程的對比

多進程Process(multiprocessing)

多線程Thread(threading)

多協程Coroutine(asycio) – 異步io

3. 如何根據任務選擇對應的技術?

[Linux]背景執行py方法

Line bot – 創建Line bot帳號

建立Heroku

建立 屬於自己的Line Bot

將創建好的Line Bot與Heroku進行串接

編輯程式

將代碼傳送到Heroku上

Git 基本設定以及Push Hearoku

Line Bot 與 Hearoku 綁定

clone heroku 的程式碼

建立屬於自己的Line Bot