东东东 陈煜东的博客

月份存档: 十二月 2016

一个有趣的微信公众账号 浦发褥积分红包

浦发信用卡有一个在线消费送红包的活动,红包里面有浦发信用卡的积分。一个红包和分享给五个好友,每天最多可以获取好友的15个红包。

面对这个活动,周围的好友都是采用拉微信群,群里面有15个好友,加上自己是16个人。一时间感觉大家好有头脑,褥羊毛的姿势还挺厉害。

期间,我一直想利用微信机器人,利用web微信的协议来点击群里的浦发红包,但是一直需要“在微信的客户端里打开”给折磨了很久,把cookie搞过来了也不管用。还得再研究研究。

后来有人推荐了一个公众账号《爱卡爱羊毛》,我觉得她的思路不错。她只做一个转发平台,有人给他发一个红包链接(可以被5个用户打开),她会给用户发送5个红包链接。理想情况下,只要假设用户稳定,每天分享的和收红包的应该是收支平衡的,因为想要获得红包,必须先分享红包。

什么场景会打破平衡?

用户不断的分享红包,但是忘记抢别人的红包了。这种情况,只是把红包给浪费了,后台应该无法记录红包是否有被打开过,如果根据是否有点击来判断,然后来跳转网址,工作量会比较大一些,但应该还是可以做的。可能还是要结合业务场景。

用户提前将红包分享给了其他朋友,然后又给公众账号发送了一个红包(可能只剩下4个了),但是却获得5个红包。这个时候就会破坏平衡了。面对这个问题,她的做法是增加举报功能,让这个用户被封号。

好想法

我觉得这个公众账号的思路非常棒,相当于一个平台的共享经济。她的这个功能感觉也有复用的空间能力,看看能不能联系上开发人员,看看能否一起开源维护。

声明:未经允许禁止转载 东东东 陈煜东的博客 文章,谢谢。如经授权,转载请注明: 转载自东东东 陈煜东的博客

本文链接地址: 一个有趣的微信公众账号 浦发褥积分红包 – https://www.chenyudong.com/archives/spdb-earn-points-in-wechat-public-platform.html

分类: 生活

Python 的 json 在 Nuitka 下性能好差

在商业项目中使用了 Nuitka 来进行源码的编译和保护。结果用户反馈使用的 HTTP 请求好慢,数据量一大就超时了。

案发现场

将代码在本地运行,进行 strace 发现好慢。

     0.000136 fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 22), ...}) = 0 <0.000008>
     0.000050 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa5d83f8000 <0.000019>
     0.000056 write(1, "\r\n", 2)       = 2 <0.000017>
     0.000048 write(1, "\r\n", 2)       = 2 <0.000008>
     0.000042 write(1, "\n", 1)         = 1 <0.000007>
     3.033367 brk(0x2a08000)            = 0x2a08000 <0.000019>
     1.743621 brk(0x2a41000)            = 0x2a41000 <0.000019>
     2.166131 brk(0x2a86000)            = 0x2a86000 <0.000021>
     2.687461 brk(0x2aaf000)            = 0x2aaf000 <0.000017>
     0.266587 brk(0x2ae3000)            = 0x2ae3000 <0.000165>
     4.485236 brk(0x2b3a000)            = 0x2b3a000 <0.000129>
     1.482029 mmap(NULL, 344064, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa596451000 <0.000331>
     1.977664 mremap(0x7fa596451000, 344064, 389120, MREMAP_MAYMOVE) = 0x7fa5963f2000 <0.000284>
     0.781643 munmap(0x7fa5963f2000, 389120) = 0 <0.000252>
     0.053389 mmap(NULL, 1929216, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa5962ce000 <0.000183>

一次请求开销 20 秒,发现 brk 之间的耗时有个 14 秒,加上下面的 mmapmremap 开销 2.8 秒。但是在纯 Python 文件下执行只需要 1 秒以内,非常的纳闷。

在使用 Nuitka 是将 Python 文件转化为 so 文件,而不是全部打成一个 so 文件,因此采用了 py 文件替换来进行调试。整个路径都用 py 文件来运行了,当然依赖的一些类库使用的 so 的形式,并没有什么进展。

没办法只能使用 pdb 来进行一行一行的跟踪了。临时写了一个文件做为入口。

python -m pdb test.py

进入后,使用

n 执行这行命令
s 进入函数内部
l 查看上下文的代码

一步一步的执行下后,发现在

class CJsonEncoder(json.JSONEncoder):
    """
        to solve json.dumps datetime.datetime TypeError.
        TypeError: datetime.datetime(2014, 07, 12, 08, 56, 23) is not JSON serializable

        Use:
            json.dumps(data_obj, cls=CJsonEncoder)
    """
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return obj.strftime('%Y-%m-%d %H:%M:%S')
        elif isinstance(obj, datetime.date):
            return obj.strftime('%Y-%m-%d')
        elif isinstance(obj, datetime.time):
            return obj.strftime('%H:%M:%S')
        else:
            return json.JSONEncoder.default(self, obj)

...

result = {
    'response':{
        'header':{
            'version':'1.0',
            'returnCode':self._code,
            'errorInfo':msg
            },
        'data':data
    }}
result_str = json.dumps(result, cls=CJsonEncoder)

CJsonEncoder 耗时 4 秒

一个令人惊讶的数值,对比了数据, 一个是 json.dumps(result, cls=CJsonEncoder) 一个是 json.dumps(result) ,耗时分别是 20 秒和 16 秒,光在这个自定义的json解析上居然花费 4 秒的时间。不可思议。

简直无可忍受,感觉这个 Nuitka 解决方案不行呀。

使用 simplejson 类库替换

刚好最近一直在做 json 相关类库的工作,之前也是测试过 Python 自带的 json 类库,性能也确实差,可能和我的 Python 版本有关系,还在使用 Python 2.6 的版本,吐血。

现有的 simplejson,后来 Python 将 simplejson 纳入标准类库了,但是由于 Python 分发出去,就无法更新标准类库了, 但是 simplejson 可以不断的独立更新,所以维护的更好一些,很多的很多的程序也都是用它。

看到 http://stackoverflow.com/a/17823905 上有说 simplejson 看是否有加速过,可以用这个

import simplejson
# If this is True, then c speedups are enabled.
print bool(getattr(simplejson, '_speedups', False))

如果返回 True ,那么就有使用特殊的加速过。所以性能更好一些。

具体替换实现

考虑到 simplejson 是符合 Python 的标准类库的接口,所以可以无缝兼容在使用。在使用了 simplejson 后,这个耗时回到了 1 秒的时间。

def patch_json():
    """
    using simplejson replace json
    """
    import json  # noqa
    import simplejson  # noqa
    sys.modules['json'] = sys.modules['simplejson']

在最开始的地方执行函数,替换掉标准的 json 的类库,让开发人员使用起来无感知,但是要注意做好兼容性测试。也要把这类隐形的替换在开发规范中声明好。

为什么使用了 Nuitka 变慢了

这个是我无法回答的了。因为 Nuitka 将 py 变成了 c++ 语言,再编译成 so 文件。按理不应该这么慢的。首先 strace 进入看,只有一些分配内存的情况系统调用。感觉这边在大量的一些 CPU 操作,不知道是不是 Nuitka 对这个优化不好,或者是老的 json 代码不行。

另外还发现,在 strace 中,一些查找 python 模块也还很耗时。

还有由于我的 Nuitka 解决方案是单个 py 直接变成单个 so,然后 py 和 so 混合使用的。不知道这边的切换会不会导致一些耗时的开销。

声明:未经允许禁止转载 东东东 陈煜东的博客 文章,谢谢。如经授权,转载请注明: 转载自东东东 陈煜东的博客

本文链接地址: Python 的 json 在 Nuitka 下性能好差 – https://www.chenyudong.com/archives/python-json-is-poor-performance-under-nuitka.html

分类: Python

Copyright © 2017 东东东 陈煜东的博客 粤ICP备13059639号-1

SITEMAP回到顶部 ↑