python – itbakery

พัฒนา API ด้วย Flask Application

March 29, 2018

by admin_itbakery front-end python

Flask คือ python webframe work เรียนรู้ได้ง่าย Flask object ที่ทำการ implement WSGI application และมีประสิทธิภาพ มาเรียนรู้ที่จะเริ่มต้นการพัฒนา ไปดูตัวอย่าง ได้ที่ http://flask.pocoo.org/
ติดตั้ง Flask ด้วย pip

$ mkdir Flaskexample1
$ cd Flaskexample1
$ sudo pip3 install virtualenv
$ python3 -m virtualenv venv3
$ source venv3/bin/activate
$ pip install flask

$ mkdir Flaskexample1

$ cd Flaskexample1

$ sudo pip3 install virtualenv

$ python3 -m virtualenv venv3

$ source venv3/bin/activate

$ pip install flask

Flask application เลือกสร้างได้ สองแบบ
1 สร้าง app.py ด้วยการสร้าง module (ไฟล์ที่มีนามสกุล py) เหมาะกับ application ขนาดเล็ ไม่ได้มีความซับซ้อน

/yourapplication
    yourapplication.py
    /static
        style.css
    /templates
        layout.html
        index.html
        login.html
        ...

/yourapplication

yourapplication.py

/static

style.css

/templates

layout.html

index.html

...

2 สร้าง app.py ด้วยการสร้าง python package (Directory ที่มีไฟล์ __init__.py)

/yourapplication
    /yourapplication
        __init__.py
        /static
            style.css
        /templates
            layout.html
            index.html
            login.html
            ...

/yourapplication

__init__.py

/static

style.css

/templates

layout.html

index.html

...

มาดูตัวอย่างแบบง่ายๆๆ ก่อนครับ ให้สร้าง python module

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

from flask import Flask

app = Flask(__name__)

@app.route("/")

def hello():

return "Hello World!"

วิธีการ Run

$ pip install Flask
$ FLASK_APP=hello.py flask run
 * Running on http://localhost:5000/

$ pip install Flask

$ FLASK_APP=hello.py flask run

* Running on http://localhost:5000/

class flask.Flask(import_name, static_path=None, static_url_path=None, static_folder='static', template_folder='templates', instance_path=None, instance_relative_config=False, root_path=None)
import_name จะแทนค่าด้วย __name__ เมื่อมีการเรียก Flask() constructor จะได้รู้ว่าเป็นของ Application อะไร

แต่หากเราได้ประกาศ application ไว้ใน application/app.py สามารถมีทางเลือกที่จะเรียก Flask contructor ได้ดังนี้

$ pip install Flask
app = Flask('yourapplication')
app = Flask(__name__.split('.')[0])

$ pip install Flask

app = Flask('yourapplication')

app = Flask(__name__.split('.')[0])

parameter ที่สามารถกำหนดให้แก่ constructor

import_name	ชื่อ application package
static_url_path	path ของ static file สามารถกำหนดได้แต่หากไม่มีการกำหนดจะใช้ค่า Default คือ static_folder
static_folder	folder ที่ใช้สำหรับ static file ที่จะใช้สำหรับ static_url_path โดยค่า default คือ static folder ที่ root ของ application
template_folder	folder ที่ทำหน้าที่เก็บ templatesโดยค่า default คือ templates folder ที่ root application
root_path	Flask กำหนดให้เอง อัตโนมัติ เพื่อกำหนด root path ของ Application

คราวนี้ลองมาสร้าง flask app ใน application/__init__.py อ้างอิงโครงสร้างแบบที่ 2 จากด้านบน แต่ การ start application จะมีสร้าง file ใหม่ที่จะใช้สำหรับการ start ชื่อ <code>setup.py</code> ไว้ ดังโครงสร้าง

/myapp
    setup.py
    /myapp
        __init__.py
        views.py
        /static
            style.css
        /templates
            layout.html
            index.html
            login.html
            ...

/myapp

setup.py

/myapp

__init__.py

views.py

/static

style.css

/templates

layout.html

index.html

...

คราวนี้ก็มาสร้าง file ดังนี้
1) file __init__.py สำหรับ flask application

from flask import Flask
app = Flask(__name__)

import myapp.views

from flask import Flask

app = Flask(__name__)

import myapp.views

2) views.py
1) file views.py สำหรับ กำหนด route

from myapp import app

@app.route('/')
def index():
    return 'Hello World!'

from myapp import app

@app.route('/')

def index():

return 'Hello World!'

Circular imports
ในกรณีที่ views.py มีการ import myapp และ ใน __init__.py ก็มีการ import myapp.views แสดงว่า module มีความสัมพันธ์ซึ่งกันและกัน ที่จริงเราไม่ได้ใช้งาน views ที่เรา import เข้ามาใน __init__.py เพียงต้องการที่จะทำให้มั่นใจว่า module จะต้อง import เข้ามา และเราจะวางไว้ ล่างสุดของ file

3 run app

export FLASK_APP=myapp
export FLASK_DEBUG=true

pip install -e .
flask run

export FLASK_APP=myapp

export FLASK_DEBUG=true

pip install -e .

flask run

$ flask run
 * Serving Flask app "myapp"
 * Forcing debug mode on
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
 * Restarting with stat
 * Debugger is active!
 * Debugger PIN: 451-832-605

$ flask run

* Serving Flask app "myapp"

* Forcing debug mode on

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

* Restarting with stat

* Debugger is active!

* Debugger PIN: 451-832-605

Flask configuration
สร้าง file config ชื่อว่า config.py โดย เป็นfile ที่ใช้สำหรับการ ตั้งค่า configuration ค่า ตัวแปรใน Config ใช้เป็นอักษรตัวใหญ่

DEBUG = True # Turns on debugging features in Flask
BCRYPT_LOG_ROUNDS = 12 # Configuration for the Flask-Bcrypt extension
MAIL_FROM_EMAIL = "robert@example.com" # For use in application emails

DEBUG = True # Turns on debugging features in Flask

BCRYPT_LOG_ROUNDS = 12 # Configuration for the Flask-Bcrypt extension

MAIL_FROM_EMAIL = "robert@example.com" # For use in application emails

โหลด config ใน application

from flask import Flask

app = Flask(__name__)
app.config.from_object('config')

from flask import Flask

app = Flask(__name__)

app.config.from_object('config')

Run App

$ flask run
 * Serving Flask app "myapp"
 * Forcing debug mode on
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
 * Restarting with stat
 * Debugger is active!
 * Debugger PIN: 451-832-605

$ flask run

* Serving Flask app "myapp"

* Forcing debug mode on

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

* Restarting with stat

* Debugger is active!

* Debugger PIN: 451-832-605

Deep Learning: Tensorflow

March 22, 2018

by admin_itbakery python

เรียนรู้ ใช้งาน Google’s Deep Learning Framework ที่ได้รับนิยม คือ TensorFlow ผ่านภาษา python3 เพื่อเรียนรู้ในการแก้ปัญหาต่างๆ ด้วยวิธีการวิเคราะห็แบบ BigData นำมาผ่าน Machine Learning เพื่อให้เรียนรู้ ข้อมูล (algorithms) ในรูปแบบที่เป็น multi-layer neural networks ผลลัพท์ที่ได้ คือ Data Model ที่จะนำไปใช้งานต่อไป

จากรูปจะสังเกตุได้ถึงกระบวนการของ Training Pipeline ที่ tensorflow ได้นำมาใช้วิเคราะห์ ผ่านทาง neutron network ที่จะให้คอมพิวเตอร์ สามารถเรียนรู้ข้อมูลต่างๆ ได้ด้วยตนเอง ในการเริ่มต้นการเรียนรู้ จะเริ่มต้นด้วยการใช้งานผ่านทาง ภาษา python ที่จะมีความเรียบง่าย และมีประสิทธิภาพ

Architecture Tensorflow

มีขั้นตอนการติดตั้งดังนี้

1). ติดตั้ง จะเป็นการติดตั้งผ่านทาง pip (package manager by python)
on mac

python3 -m pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.12.0-py3-none-any.whl

1	python3 -m pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.12.0-py3-none-any.whl

on linux ภายใต้ virtual environment ของ python

$ mkdir Tensorflow
$ cd Tensorflow
$ python3 -m virtualenv venv36
$ source venv36/bin/activate
$ pip install --upgrade pip
$ pip install --upgrade tensorflow 
$ pip freeze

absl-py==0.1.12
astor==0.6.2
bleach==1.5.0
gast==0.2.0
grpcio==1.10.0
html5lib==0.9999999
Markdown==2.6.11
numpy==1.14.2
protobuf==3.5.2.post1
six==1.11.0
tensorboard==1.6.0
tensorflow==1.6.0
termcolor==1.1.0
Werkzeug==0.14.1

$ mkdir Tensorflow

$ cd Tensorflow

$ python3 -m virtualenv venv36

$ source venv36/bin/activate

$ pip install --upgrade pip

$ pip install --upgrade tensorflow

$ pip freeze

absl-py==0.1.12

astor==0.6.2

bleach==1.5.0

gast==0.2.0

grpcio==1.10.0

html5lib==0.9999999

Markdown==2.6.11

numpy==1.14.2

protobuf==3.5.2.post1

six==1.11.0

tensorboard==1.6.0

tensorflow==1.6.0

termcolor==1.1.0

Werkzeug==0.14.1

Bottle: Python web Framework ตอนที่ 1

March 12, 2018

by admin_itbakery python

Bottle คือ WSGI web-framework สำหรับภาษา python มีคุณสมบัติโดดเด่นที่มีความเร็ว และใช้งานได้ง่าย ไม่จำเป็นต้องมีการติดตั้ง Dependency เพิ่มเติม เนื่องจาก ทั้งหมดเป็น Standard Library ของ python เอง

1). ติดตั้งด้วยคำสั่ง pip,pip3 แล้วแต่ว่าจะใช้ python version อะไร

เปิด terminal และพิมพ์คำสั่งเพื่อการติดตั้ง โดยให้พิมพ์เฉพาะ คำสั่งที่อยู่หลังเครื่องหมาย “$” เท่านั้น เพราะบรรทัดที่ที่ไม่มีเครื่องหมาย “$” จะเป็นผลลัพท์ที่ได้มาเท่านั้น เริ่มต้นให้สร้าง project folder ชื่อ bottle และสร้าง virtualenv ใน project folder

$ python --version
Python 3.6.4

$ mkdir bottle
$ cd bottle
$ python3 -m virtualenv venv36
$ source venv36/bin/activate
Using base prefix '/usr/local/Cellar/python/3.6.4_3/Frameworks/Python.framework/Versions/3.6'
New python executable in /Users/mee/Python/bottle/venv36/bin/python3.6
Also creating executable in /Users/mee/Python/bottle/venv36/bin/python
Installing setuptools, pip, wheel...done

(venv36) $ pip3 install bottle
(venv36) $ pip3 freeze
bottle==0.12.13
(venv36) $ pip3 freeze > requirements.txt
(venv36) $ cat requirements.txt
bottle==0.12.13

$ python --version

Python 3.6.4

$ mkdir bottle

$ cd bottle

$ python3 -m virtualenv venv36

$ source venv36/bin/activate

Using base prefix '/usr/local/Cellar/python/3.6.4_3/Frameworks/Python.framework/Versions/3.6'

New python executable in /Users/mee/Python/bottle/venv36/bin/python3.6

Also creating executable in /Users/mee/Python/bottle/venv36/bin/python

Installing setuptools, pip, wheel...done

(venv36) $ pip3 install bottle

(venv36) $ pip3 freeze

bottle==0.12.13

(venv36) $ pip3 freeze > requirements.txt

(venv36) $ cat requirements.txt

bottle==0.12.13

2). สร้าง ไฟล์ชื่อว่า app.py ดังนี้

from bottle import run,route

@route('/')
def index():
    return '<h1> Hello world from Bottle </h1>'

run(host='0.0.0.0', port=8080)

from bottle import run,route

@route('/')

def index():

return '<h1> Hello world from Bottle </h1>'

run(host='0.0.0.0', port=8080)

3) สตาร์ท webserver

(venv36) $ python  app.py
Bottle v0.12.13 server starting up (using WSGIRefServer())...
Listening on http://0.0.0.0:8080/
Hit Ctrl-C to quit.

(venv36) $ python app.py

Bottle v0.12.13 server starting up (using WSGIRefServer())...

Listening on http://0.0.0.0:8080/

Hit Ctrl-C to quit.

เพิ่มเติมการใช้งาน ร่วมกับ Docker
– สร้างfile Dockerfile สำหรับ container
– สร้างfile Docker-compose.yml

4) สร้าง Dockerfile ใน project

FROM python:3
ENV PYTHONBUFFERED 1
ADD . /code
ADD requirements.txt /code/
WORKDIR /code
RUN pip install -r requirements.txt
CMD python app.py

FROM python:3

ENV PYTHONBUFFERED 1

ADD . /code

ADD requirements.txt /code/

WORKDIR /code

RUN pip install -r requirements.txt

CMD python app.py

5) สร้าง .dockerignore

.git
.gitignore
/venv36/*

.git

.gitignore

/venv36/*

6) สร้าง docker-compose.yml

version: '3'

services:
  redis:
    image: redis
  web:
    build: .
    command: python app.py
    volumes:
      - .:/code
    ports:
      - "8080:8080"
    depends_on:
      - redis

version: '3'

services:

redis:

image: redis

web:

build: .

command: python app.py

volumes:

- .:/code

ports:

- "8080:8080"

depends_on:

- redis

– version กำหนด ใช้ version 3
– services ส่วนที่กำหนด service ที่จะนำไปสร้าง containers (redis,web)
– web service จะ service descriptor ดังนี้
– build . (จุด) จะอ่านไฟล์ Dockerfile ที่สร้างไว้ก่อนหน้านี้
– command จะทำการ override CMD ใน Dockerfile
– volumes ชี้ไปยัง volume path
– ports กำหนด port map จาก host ไปยัง container
– depends_on กำหนด dependency ระหว่าง container ผลคือ จะต้องมีการ start redis containner ก่อน webcontainer

7). เริ่มต้นขบวนการ build ด้วยคำสั่ง docker build

$ docker-compose build

redis uses an image, skipping
Building web
Step 1/7 : FROM python:3
 ---> c1e459c00dc3
Step 2/7 : ENV PYTHONBUFFERED 1
 ---> Running in 019004535b8d
Removing intermediate container 019004535b8d
 ---> bff88c8cfadf
Step 3/7 : ADD . /code
 ---> b715392582cb
Step 4/7 : ADD requirements.txt /code/
 ---> 51fa99b93893
Step 5/7 : WORKDIR /code
Removing intermediate container dc20028e5119
 ---> 4fd1cd8a1b77
Step 6/7 : RUN pip install -r requirements.txt
 ---> Running in dee72b4364f0
Collecting bottle==0.12.13 (from -r requirements.txt (line 1))
  Downloading bottle-0.12.13.tar.gz (70kB)
Building wheels for collected packages: bottle
  Running setup.py bdist_wheel for bottle: started
  Running setup.py bdist_wheel for bottle: finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/49/cf/37/132916b926fae01d6e27d94c0018e3ad07452ec3760e24a36a
Successfully built bottle
Installing collected packages: bottle
Successfully installed bottle-0.12.13
Removing intermediate container dee72b4364f0
 ---> 958975da26f3
Step 7/7 : CMD python app.py
 ---> Running in 9c0498779f50
Removing intermediate container 9c0498779f50
 ---> fd991683fa52
Successfully built fd991683fa52
Successfully tagged bottle_web:latest

$ docker-compose build

redis uses an image, skipping

Building web

Step 1/7 : FROM python:3

---> c1e459c00dc3

Step 2/7 : ENV PYTHONBUFFERED 1

---> Running in 019004535b8d

Removing intermediate container 019004535b8d

---> bff88c8cfadf

Step 3/7 : ADD . /code

---> b715392582cb

Step 4/7 : ADD requirements.txt /code/

---> 51fa99b93893

Step 5/7 : WORKDIR /code

Removing intermediate container dc20028e5119

---> 4fd1cd8a1b77

Step 6/7 : RUN pip install -r requirements.txt

---> Running in dee72b4364f0

Collecting bottle==0.12.13 (from -r requirements.txt (line 1))

Downloading bottle-0.12.13.tar.gz (70kB)

Building wheels for collected packages: bottle

Running setup.py bdist_wheel for bottle: started

Running setup.py bdist_wheel for bottle: finished with status 'done'

Stored in directory: /root/.cache/pip/wheels/49/cf/37/132916b926fae01d6e27d94c0018e3ad07452ec3760e24a36a

Successfully built bottle

Installing collected packages: bottle

Successfully installed bottle-0.12.13

Removing intermediate container dee72b4364f0

---> 958975da26f3

Step 7/7 : CMD python app.py

---> Running in 9c0498779f50

Removing intermediate container 9c0498779f50

---> fd991683fa52

Successfully built fd991683fa52

Successfully tagged bottle_web:latest

8). ตรวจสอบ ด้วยคำสั่ง docker images

$ docker images
REPOSITORY            TAG                 IMAGE ID            CREATED             SIZE
bottle_web            latest              fd991683fa52        22 seconds ago      698MB

$ docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

bottle_web latest fd991683fa52 22 seconds ago 698MB

9). สตาร์ท ด้วยคำสั่ง docker-compose up

(venv36) $ docker-compose up

Creating network "bottle_default" with the default driver
Pulling redis (redis:latest)...
latest: Pulling from library/redis
d2ca7eff5948: Pull complete
1d1a2245aaa6: Pull complete
9a483dd2a28b: Pull complete
7b78ebdc44f0: Pull complete
79b76500ef26: Pull complete
b2991d9a5624: Pull complete
Digest: sha256:e55dff3a21a0e7ba25e91925ed0d926d959dac09f9099fd1bcc919263305f1e4
Creating bottle_redis_1 ... done
Creating bottle_redis_1 ...
Creating bottle_web_1   ... done
Attaching to bottle_redis_1, bottle_web_1
redis_1  | 1:C 12 Mar 02:34:06.811 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
redis_1  | 1:C 12 Mar 02:34:06.811 # Redis version=4.0.8, bits=64, commit=00000000, modified=0, pid=1, just started
redis_1  | 1:C 12 Mar 02:34:06.811 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf
redis_1  | 1:M 12 Mar 02:34:06.813 * Running mode=standalone, port=6379.
redis_1  | 1:M 12 Mar 02:34:06.813 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
redis_1  | 1:M 12 Mar 02:34:06.813 # Server initialized
redis_1  | 1:M 12 Mar 02:34:06.813 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
redis_1  | 1:M 12 Mar 02:34:06.813 * Ready to accept connections

(venv36) $ docker-compose up

Creating network "bottle_default" with the default driver

Pulling redis (redis:latest)...

latest: Pulling from library/redis

d2ca7eff5948: Pull complete

1d1a2245aaa6: Pull complete

9a483dd2a28b: Pull complete

7b78ebdc44f0: Pull complete

79b76500ef26: Pull complete

b2991d9a5624: Pull complete

Digest: sha256:e55dff3a21a0e7ba25e91925ed0d926d959dac09f9099fd1bcc919263305f1e4

Creating bottle_redis_1 ... done

Creating bottle_redis_1 ...

Creating bottle_web_1 ... done

Attaching to bottle_redis_1, bottle_web_1

redis_1 | 1:C 12 Mar 02:34:06.811 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo

redis_1 | 1:C 12 Mar 02:34:06.811 # Redis version=4.0.8, bits=64, commit=00000000, modified=0, pid=1, just started

redis_1 | 1:C 12 Mar 02:34:06.811 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf

redis_1 | 1:M 12 Mar 02:34:06.813 * Running mode=standalone, port=6379.

redis_1 | 1:M 12 Mar 02:34:06.813 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

redis_1 | 1:M 12 Mar 02:34:06.813 # Server initialized

redis_1 | 1:M 12 Mar 02:34:06.813 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.

redis_1 | 1:M 12 Mar 02:34:06.813 * Ready to accept connections

10). ยกเลิกการทดสอบ

$ docker-compose stop
$ docker-compose rm

Going to remove bottle_web_1, bottle_redis_1
Are you sure? [yN] y
Removing bottle_web_1   ... done
Removing bottle_redis_1 ... done

$ docker-compose stop

$ docker-compose rm

Going to remove bottle_web_1, bottle_redis_1

Are you sure? [yN] y

Removing bottle_web_1 ... done

Removing bottle_redis_1 ... done

ติดตั้ง python 3 จาก source code

November 3, 2017

by admin_itbakery python

การติดตั้ง python3 จาก source code จะทำติดตั้ง โดยจะต้อง ไป ทำการ download source code จาก www.python.org โดย เวอชั่นที่ทำการติดตั้งคือ 3.6.3 เนื่องจากการ compile นั้นจะต้องทำการติดตั้ง gcc ก่อน

== Centos 7
yum groupinstall "Development Tools"
==Fedora 26/27
dnf groupinstall "C Development Tools and Libraries"

== Downlaod
wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz
tar xvf Python-3.6.3.tar.xz
cd Python-3.6.3

== make && make altinstall
./configure
make && make altinstall

== check

$ which python3.6
/usr/local/bin/python3.6

== Centos 7

yum groupinstall "Development Tools"

==Fedora 26/27

dnf groupinstall "C Development Tools and Libraries"

== Downlaod

wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz

tar xvf Python-3.6.3.tar.xz

cd Python-3.6.3

== make && make altinstall

./configure

make && make altinstall

== check

$ which python3.6

/usr/local/bin/python3.6