欢迎使用Python 服务端开发框架 Fastor
Fastor是一款专为Python 打造的API与后端管理系统，通过精心的设计与技术实现，集成了大部分稳定开发组件，memcache ， redis，tornado，django，mysql 等。特点概述：
功能丰富 : 支持大部分服务器组件，支持API Doc。
得心应手 : 简单的实例，非常容易上手。
代码自动生成 : 根据定义的model模型，自动生成增删改查代码。
性能优先 : API使用Tornado开发，性能极高。
稳定服务 : django和tornado经过深度优化，例如:数据库连接自动重连，缓存过期防止雪崩策略等等。
支付功能 : 支持微信，支付宝支付功能。
API安全 : 在nginx层使用lua插件，对api签名并校验。
Fastor = faster + 人 ， 意为(人效更高)
开始使用
Fastor 分为后端管理系统和API系统
1)后端管理系统
2)API系统
3)系统架构图
环境配置
部署
下载或者clone fastor 代码
支持python2.7，目前不支持python3.0。
框架结构
APP 目录结构
api: API 接口代码
app: ORM Model与后端Views代码
background: 分布式异步处理Async代码 & 定时任务
base: 基类和一些帮助函数
base/site-packages: 这里优先使用的是代码中的 site-packages 的python第三方库
一 后端管理系统
1)配置 base/settings.py
创建数据库fastor_db
配置数据库连接参数
配置redis连接参数
配置memached连接参数
其他配置等
示例
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'fastor_db', # Or path to database file if using sqlite3.
'USER': 'root', # Not used with sqlite3.
'PASSWORD': '123456', # Not used with sqlite3.
'HOST': '127.0.0.1', # Set to sempty string for localhost. Not used with sqlite3.
'PORT': '3306', # Set to empty string for default. Not used with sqlite3.
'CHARSET': 'utf8',
'OPTIONS': {
'init_command': 'SET storage_engine=INNODB; SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;set autocommit=1;',
},
},
配置 app/settings.py
配置应用(app) 如第一次使用默认配置即可
2)配置成功后，同步数据库并运行演示程序
cd app/
python manager.py syncdb #同步数据库并创建管理员
python runserver #启动服务
open http://127.0.0.1:8000/ ， 并使用刚创建的管理员账号密码登录
3)创建自己的 models
1. 在目录 iclass/models/中创建model文件，例如 user.py
2. 在 iclass/models/__init__中导入 user 中的model对象
3. 示例
class BaseUser(models.Model):
"""
用户
"""
user_id = models.CharField(max_length=32, verbose_name=u'用户ID', default='',primary_key=True)
username = models.CharField( max_length=11, verbose_name=u'用户名', default='')
nickname = models.CharField(max_length=20, verbose_name=u'昵称', default='')
password = models.CharField(max_length=100, verbose_name=u'密码', default='')
image_url = models.CharField( max_length=255, verbose_name=u'用户头像', default='')
sex = models.IntegerField( verbose_name=u'性别', default='1')
email = models.CharField( max_length=50, verbose_name=u'邮箱', default='' )
status = models.IntegerField( verbose_name=u'状态', default='0' ) # 0-关闭，1-开启
register_from = models.IntegerField(verbose_name=u'注册设备', default='0', choices=RegisterFromChoices)
last_login_time = models.DateTimeField(auto_now_add=True, verbose_name=u'最后登录时间')
create_time = models.DateTimeField(auto_now_add=True, verbose_name=u'创建时间')
class Meta:
app_label = "iclass"
db_table = "user"
verbose_name = u"客户"
4).执行自动生成view/templates代码 python manage.py gencode iclass.models.base_user BaseUser
- 这里将会在views和templates自动生成增删改查的代码
- 在iclass/urls.py 编写url规则
- view 导入views/__init__.py
- 设置入口导航 iclass/templates/cms_index/left_side_menu.html
"""
自动生成view.templates 说明：
图像上传: field_name 中包括 image 字符串的会自动检测为图像控件
时间: field_type 等于 DatetimeField 会自动生成时间控件
poistion 字段：如果包含position 字段，1，数据不分页 2.可以生成拖动保存位置
choices: 如果 module 里面包括choices，自动生成select控件
"""
5) 后台系统服务部署
- 部署nginx ，nginx配置文件路径， app/conf/nginx.conf
- 执行 bash app/app.sh 执行进程的数量，端口号均在这里配置。
6) 为了区分开发环境和线上环境支持本地my_settings.py，如果配置了my_settings.py,将覆盖原有配置，默认加到了.gitignore
- 配置 app/my_settings.py
#示例配置
def load_settings(settings):
settings.update({
'DEBUG': True,
'CACHES': {
'default': {
'BACKEND': 'django.core.cache.backends.dummy.DummyCache',
}
},
'DATABASES': {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'fastor_db', # Or path to database file if using sqlite3.
'USER': 'api', # Not used with sqlite3.
'PASSWORD': 'Win123456', # Not used with sqlite3.
'HOST': '58ec9db06f05c.sh.cdb.myqcloud.com',
'PORT': '3612',
'CHARSET': 'utf8',
'OPTIONS': {
'init_command': 'SET storage_engine=INNODB; SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;set autocommit=1;',
},
},
},
'AUTHENTICATION_BACKENDS': (
"django.contrib.auth.backends.ModelBackend",
"app.user.backends.LDAPBackend",
),
"memcache_settings": {
"func_cache": ["127.0.0.1:11211"],
},
'redis_settings': {
"REDIS_BACKEND": {"servers": '127.0.0.1', "port": 6379, "db": 11},
"MQUEUE_BACKEND": {"servers": '127.0.0.1', "port": 6379, "db": 12},
"MASTER_REDIS": {"servers": '127.0.0.1', "port": 6379, "db": 9},
"SLAVE_REDIS": {"servers": '127.0.0.1', "port": 6379, "db": 9},
},
"memcache_proxy_settings": {
},
})
7) 关于上传图片地址的配置
base/settings.py
#上传到本地地址
'SAVE_IMAGE_PATH':"/tmp",
#这个本地地址chrome访问无权限，如果存储在本地，可以启动nginx作为代理服务器访问本地图片
"IMAGE_URL_HOST":"file:///private/tmp",
#参考配置
server {
listen 80;
server_name image.fastor.com;
charset utf-8;
location / {
alias /data/images/;
expires 15m;
}
}
"IMAGE_URL_HOST":"http://image.fastor.com",
备注：建议上传到腾讯云或者阿里云的对象存储中。
8) DBrouter配置
base/settings.py
#默认配置
'DATABASE_ROUTERS': ['app.db_router.MainRouter'],
#语法： { 'app_label': '数据库连接' }
'DATABASE_MAPPING': {},
'DATABASE_READ_MAPPING': {},
#读写分离配置
'DATABASE_MAPPING': {"iclass":"default"},
DATABASE_READ_MAPPING': {"iclass":"slave"},
9) UMeditor配置
配置地址：app/statics/umeditor/umeditor.conf
#默认配置，如有需要可自行配置
,imageUrl:"/editor/upload_img" //图片上传地址
,imageFieldName: "files[]" //图片数据的key,若此处修改，需要在后台对应文件修改对应参数
10) 右侧菜单选中规则
右侧菜单：app/iclass/templates/cms_index/left_side_menu.html
data-menu-id="100"
#view 对应的增删改查 template 中的 menu-sel 须和 data-menu-id值相等
二 API管理系统
1)运行api管理系统
cd api/
python main.py --doc --debug --logging=debug
API系统默认用户名:admin， 密码:123456
密码可以在api/settings.py 中配置 ["api"]["password"] = "123456"
2)创建api文件，在api/handler/user_api.py
示例代码user_api.py
@handler_define
class GetUserInfo(CachedPlusHandler):
def get_cache_expire(self):
return 60 * 1
def get_cache_key(self):
return {
'user_id': self.arg('user_id', ''),
}
@api_define("GetUserInfo", r'/user/info/detail',
[
Param('user_id', True, str, "", "201702071511512892383865", u'用户id'),
],
description="""读取用户基本信息""",
return_desc=""""""
)
def get(self):
user_id = self.arg('user_id')
user = BaseUser.objects.filter(user_id=user_id).first()
if not user:
response = {
"code": 0,
"status": "fail",
"msg": "用户不存在",
}
return self.write(result)
response = {
"status": "success",
"code": 200,
"user":user.to_json()
}
return self.write(response)
2)注册api，在api/document/doc_insall_handlers.py 注册新增api
示例代码
INSTALL_HANDLERS = [
"api.handler.common",
"api.handler.user_api",
]
INSTALL_HANDLERS_NAME = {
"api.handler.common": "通用接口",
"api.handler.user_api":"用户接口",
}
3)重新运行API
python main.py --doc --debug --logging=debug
4)API 缓存配置
from api.view.base import BaseHandler , CachedPlusHandler
#1.接口缓存
@handler_define
class GetUserInfo(CachedPlusHandler):
#这个方法返回接口缓存时间带娃秒
def get_cache_expire(self):
return 60 * 1
#这个方法返回缓存key值，一般返回请求参数即可
def get_cache_key(self):
return {
'user_id': self.arg('user_id', ''),
}
#2.方法缓存
from wi_cache import function_cache
#cache_keys.方法参数，如多个参数用逗号分隔。例如："user_id,course_id"
#prefix:缓存key前缀#expire_time：缓存时间单位秒
@classmethod
@function_cache(cache_keys="user_id", prefix="func#get_user", expire_time=60*5)
def get_user(cls, user_id):
user = cls.objects.filter(user_id=user_id).first()
return user
#https://pypi.org/project/hash_ring/
#默认memcached分布式算法使用求余数，
#如果是大型应用，可以将memcached 修改为一致性hash算法
#一致性hash算法，主要解决key分布不均匀问题。
#备注：不建议使用memcached代理服务，对性能有损耗，出问题不好查找，max_open_files连接符开到2万没问题的，内存要够。
#修改算法路径 /fastor/base/site-packages/wi_cache/__init__.py #148行
# 将 func_cache = memcache.Client(memcache_settings["func_cache"])
# 替换为 func_cache = MemcacheRing(memcache_settings["func_cache"])
#示例代码
from hash_ring import MemcacheRing
mc = MemcacheRing(['127.0.0.1:11222','127.0.0.1:11111'])
mc.set('hello', 'world')
print mc.get('hello')
5)API 异步处理
#示例客户端代码
@handler_define
class AsyncDemo(BaseHandler):
@api_define("AsyncDemo", r'/api/async/demo', [
Param('user_id', True, str, "" , "123456" , u'用户ID'),
Param('course_name', True, str, "","Ed老师的python课程" , u'课程名称'),
], description="[示例]处理异步事件", return_desc="""""")
def get(self):
user_id = self.arg("user_id")
course_name = self.arg("course_name")
data = {
"user_id":user_id,
"course_name":course_name,
}
dispatch_client = Client()
dispatch_client.dispatch("demo.async.send", data)
response = {
"code": 200,
"status": "success",
}
return self.write(response)
#示例服务端代码 background/demo.py
def do_sync_worker(data):
print "**Recieve data: ", data
logging.error(data)
if __name__ == "__main__":
worker = Worker("demo.async.send",support_brpop=False)
try:
worker.register(do_sync_worker)
worker.start()
except KeyboardInterrupt:
worker.stop()
print "exited cleanly"
sys.exit(1)
except Exception as e:
logging.error(e)
#示例服务端代码启动配置 background/supervisord.conf
#启动：supervisord -c background/supervisord.conf
#重启：supervisorctl -c background/supervisord.conf restart all
#重启demo服务：supervisorctl -c background/supervisord.conf restart demo:*
[program:demo]
process_name = demo-%(process_num)s
command=/data/python2.7/bin/python /data/python/fastor/background/demo.py
process_name=%(program_name)s_%(process_num)02d
stdout_logfile = /data/logs/demo.log
numprocs=2 #这里需要配置你并发处理任务的进程数量
autostart=true
6)API 增加了微信支付宝支付接口
文档详见doc/pay文档
需要根据当前业务，实现业务逻辑
代码依赖第三发库，PIL,OpenSSL,qrcode 需要部署安装
#代码示例
@handler_define
class WeixinAppPayHandler(BaseHandler):
@api_define("WeixinAppPayHandler", r'/api/wx/app/pay',
[
Param('order_id', True, str, "", "201907261548295499512023", u'订单id'),
Param('good_name', True, str, "", "xxx", u'good_name'),
],
description="微信APP支付")
def get(self):
application_id = self.arg_int('application_id', 1)
order_id = self.arg('order_id')
good_name = self.arg('good_name','')
order = OrderInfo.objects.filter(order_id=order_id).first() #订单逻辑需要根据当前业务实现
pay = WePayDoPay(
out_trade_no=order.order_id,
subject=good_name,
total_fee= int(order.amount * 100),
body=good_name,
ip = self.user_ip,
payment_type = "NATIVE",
application_id=application_id
)
params = pay.get_pay_params()
results = {
"params": params,
"code":200,
'status': "success",
"msg":"成功",
}
return self.write(results)
8) API系统高级方法
#获取参数，必传
order_id = self.arg('order_id')
#获取参数，带默认值，非必传
order_id = self.arg('order_id','')
#获取int型参数
user_type = self.arg_int('user_type')
#获取bool型参数
is_admin = self.arg_bool('is_admin')
#(用户)客户端ip地址
user_ip = self.user_ip
9) API系统服务部署
- 部署nginx ，nginx配置文件路径， api/conf/nginx/nginx.conf
- 执行 bash api/tornado.sh 执行进程的数量，端口号均在这里配置。
日志切割
#Delete old more than 7 days log files
0 0 * * * /data/python/fastor/api/bin/logrotate-nginx.sh > /dev/null 2>&1
5 0 * * * /data/python/fastor/api/bin/logrotate.sh > /dev/null 2>&1
22 2 * * * find /data/logs/ -mtime +7 -type f -name "*log*" -exec rm -rf {} \;
10) API安全数字签名，此功能适合高手
1)API接口安全规则
Method ： GET | POST
增加参数:
_s_: signature 签名
_t_: 当前时间戳，校队系统时间在初始化接口返回,接口参数有效期30分钟
_t_ = timestamp = timestamp + (客户端当前时间 - 客户端从初始化获得timestamp的时间)
这样做到原因是需要客户端校对服务器时间，因为客户端时间有可能不准确。
签名方式:
token_string = req_method + ":" + path + ":" + sorted(query) + ":" + timestamp + ":" + secret
其中：sorted(query) 是按照key的自然顺序排列,然后以key=value的形式累加
例如: GET /test?b=2&a=1
token_string = GET + ":" + /test + ":" + a=1b=2 + ":" + 1457665234 + ":" + secret_xxxxxx
signature = ngx.md5(token_string)
*method为post的情况下，需要将请求发到body中，不支持url参数post*
接口返回状态码为 410 请重新更新服务器时间。
接口返回 403 为签名错误，访问被禁止。
2)Nginx 部署，详见 deploy.secure.api.sh
- 这里建议使用 nginx-1.0.4 版本，稳定/性能高。
- deploy.secure.api.sh部署起来过于繁琐，需要花费一定的时间和经历。
- 部署完毕后建议制作镜像。
- 如果下载不到历史版本，可以从百度云盘下载，链接: https://pan.baidu.com/s/19-5fSBn5wM-xwGLZL-K34Q 提取码: jhbt
3)nginx配置示例
#lua配置地址：api/conf/nginx/lua
#签名密钥配置：api/conf/nginx/lua/check_pid_signature.lua
local secret = "82406d2ff6c40894a26a3ad34eafff2f" #32位字符串
location / {
add_header Access-Control-Allow-Origin *;
add_header Access-Control-Allow-Headers X-Requested-With;
add_header Access-Control-Allow-Methsods GET,POST,OPTIONS;
#引入效验文件，如上传图片，初始化接口可不加载该配置
access_by_lua_file conf/lua/check_pid_signature.lua;
proxy_pass http://make_app_api;
proxy_connect_timeout 3;
proxy_send_timeout 3;
proxy_read_timeout 3;
proxy_redirect default;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Host $http_host;
proxy_set_header Range $http_range;
}
未来版本支持
tensorflow 基础版本基于大数据的用户分类
图像识别 opencv 拍照识别答题卡
作者： 向Ed老师曾经的战友们致敬！
 php,js-eval编码,js-eval解码)
...)
