在modelarts上部署mask-rcnn模型

最近老山完成了对mask-rcnn在modelarts上的部署,部署模型来自于这个项目。部署的过程大体和我的上篇文章使用modelarts部署bert命名实体识别模型相似,许多细节也不在赘述。这篇文章主要介绍下大体的思路、遇到的问题和解决方案,文章结尾会附录运行需要的程序。

部署思路

生成savedModel

原模型是使用tensorflow做backend的keras模型。源程序中的keras模型又被封装在MaskRCNN类中。我们要先取出被封装的keras模型,在源程序提供的demo.ipynb第三步后,我们提取出keras模型

# Create model object in inference mode.
model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR, config=config)

# Load weights trained on MS-COCO
model.load_weights(COCO_MODEL_PATH, by_name=True)

# 前面来自于demo.ipynb
model = model.keras_model

之后就可以把keras模型变成tensorflow savedModel模型了,代码详见在modelarts上部署backend为TensorFlow的keras模型

customize_service.py书写

这仍然是工作最主要的部分,我们依然找到预测的源程序MaskRCNN.detect函数,我们把detect程序分成前处理+预测+后处理三段,做以下工作:

  1. 把前处理和后处理分别写成子函数,把预测部分去掉,保留类的结构,尽可能减少代码更改量;

  2. 前处理和后处理的数据交换通过类属性传递;

  3. 把无关程序(主要是train部分程序)尽可能去掉,以减少代码调试量。

class MaskRCNN:
   # .....
   
   def detect(self, images, verbose=0):
 # some code...

       if verbose:
           log("molded_images", molded_images)
           log("image_metas", image_metas)
           log("anchors", anchors)
       # 在此之前是前处理
       # 预测
       detections, _, _, mrcnn_mask, _, _, _ =\
           self.keras_model.predict([molded_images, image_metas, anchors], verbose=0)
       # 后处理程序
       results = []
       for i, image in enumerate(images):
   # ...
           })
       return results

遇到的问题

输出张量大小限制

模型输出张量(定义可见模型部署介绍)有30多M,超过了modelarts目前Tensorflow Serving的4M的限制,因此还需要对savedModel的模型进行更改,首先观察模型输出

0 mrcnn_detection shape:(1, 100, 6) size:600 dtype:float32
1 mrcnn_class shape:(1, 1000, 81) size:81000 dtype:float32
2 mrcnn_bbox shape:(1, 1000, 81, 4) size:324000 dtype:float32
3 mrcnn_mask shape:(1, 100, 28, 28, 81) size:6350400 dtype:float32
4 ROI shape:(1, 1000, 4) size:4000 dtype:float32
5 rpn_class shape:(1, 261888, 2) size:523776 dtype:float32
6 rpn_bbox shape:(1, 261888, 4) size:1047552 dtype:float32

由于输出的张量只有mrcnn_detection和mrcnn_mask两个应用于后处理,输出过大的原因在于mrcnn_mask。我们通过对后处理源程序的观察和运行结果发现,mrcnn_mask几个维度的参数意义如下

维度 意义
0 1 batch size
1 100 检测物体的数目,上限是100
2~3 (28, 28) 物体的mask,被压缩成28*28的网格,数据是float32
4 81 物体的类别id

mrcnn_detection的几个维度的意义:

维度 意义
0 1 batch size
1 100 检测物体的数目,上限是100
2 6 包括top, left, bottom, right, classid, score,如果classid是0,说明是不关心的部分

我们可以从2个方面去精简输出张量:

  1. 检测物体的数目不需要必须凑成100个,我们以实际输出的数目作为准,去掉classid是0的值,这个对mrcnn_mask和mrcnn_detection都做精简;

    通过这种方式,我们不能减少输出的上限,但对大部分情况,输出的张量都能减少到原来的10%左右;

  2. 我们关系的不是所有类别的mask,只关系被检测出物体的类别id下的mask;换言之,我们对于每个被检测的物体,可以在mrcnn_detection上找到他的classid,然后在mrcnn_mask物体类别id中,我们只需输出该id下的mask即可;

    通过这种方式,输出张量可以固定缩减成原来的1/81;

由于4M限制是对于模型输出的,因此更改也只能通过更改savedModel来实现。也因此只能使用tensorflow的一定底层操作。换言之,要把源程序中用python后处理的部分程序需要改写成tf.Operation。也许是考虑了自动求导的原因,tensorflow的张量操作虽然很多,但各个功能都弱的一逼,下面是老山的实现片段

# 前面程序是读入已保存的savedModel模型,读入输出张量y1-y7
detections = y1
mrcnn_masks = y4

# 把detections的classid列取出
detections = detections[0]
classes = tf.cast(detections[:, 4], tf.int32)

# 把classid做成一个是否为0的mask: boolean list
zero = tf.constant(0, tf.int32)
mask = tf.not_equal(classes, zero)

# 使用mask把detensions,classid精简,range_trim存储了剩下的id号
detection_trim = tf.boolean_mask(detections, mask)
classes_trim = tf.boolean_mask(classes, mask)
range_trim = tf.boolean_mask(tf.range(classes.shape[0], dtype=tf.int32), mask)

# 构造一个[index, classid]对的list,长度是已经精简完的classid,命名为stack
stack = tf.stack([range_trim, classes_trim], axis = 1)

mrcnn_masks = mrcnn_masks[0]
# 通过transpose把stack的两列弄到前面去
mrcnn_masks = tf.transpose(mrcnn_masks, perm = [0,3,1,2])
# 使用stack来精简mrcnn_masks_trim
mrcnn_masks_trim = tf.gather_nd(mrcnn_masks, stack)

# 后续是保存模型
# 详细可见附件

模型的输出张量改动之后,后处理模块的程序也需要做相应的调整。

输出结果的压缩

由于modelarts源程序的后处理的输出包括rois,masks, class_ids, scores等量,其中mask是每个识别物体在原图上的mask(换句话说,就是原图尺寸的boolean矩阵),如果直接变成json的话,原先的占1bit的True/False就会变成文字,下载数据量达到几十M,时间太长。为此,我们需要对输出的masks进行压缩。

老山尝试了这2类算法:

  1. PNG压缩

from PIL import Image
import base64
def mask2str(mask):
   # 变成图片
   image = Image.fromarray(mask.astype('uint8')*255, 'L').convert('1')
   # 把图片输出到buffer里
   buffered = BytesIO()
   image.save(buffered, format='PNG')
   # 使用base64变成文本
   base_bytes = base64.b64encode(buffered.getvalue())
   base_str = base_bytes.decode('utf-8')
   return base_str

2.自建索引压缩

import numpy as np
import base64
import lzma

def mask2str(mask):
   # 把mask打成一维,寻找值发生变化的索引序列
   mask_flatten = mask.reshape(-1)
   mask_flatten_toright= np.insert(mask_flatten, 0, False)[:-1]
   diff = np.where(mask_flatten!=mask_flatten_toright)[0]
   counts = np.diff(diff, prepend=0).astype('int32')
   # 使用lzma压缩
   counts_bytes = bytes(counts)
   lzma_bytes = lzma.compress(counts_bytes)
   # 使用base64变成文本
   base64_bytes = base64.b64encode(lzma_bytes)
   base64_str = base64_bytes.decode('utf-8')
   return base64_str
  1. 索引压缩的想法是mask通常是在False背景下的True图,对于每行我们其实只要知道True的起始index和末了index就好,或者更抽象一步的说,图中交替的存在大量的连续False和True序列,那我们只要把他们的长度值变成list即可(默认第一个序列是False,哪怕长度是0)。这样的话,记录长度的好处在于比记录位置值更小,更便于压缩。为此,我们干脆的,把图片拉成一维,然后记录交替False、True序列的长度,再用lzma压缩。

    压缩结果是使用索引只有PNG压缩大小的45%左右。

生成图片

源程序使用matplotlib画图,不好保存,老山用PIL重写了这段程序。

附件结构

附件结构如下,部署使用的模型大家自行在github上下载,然后在notebook上使用modify.py生成savedModel模型。预测中修改get_x_auth_token.py获取x_auth_token后,更改x_auth_token.py,然后下载图片数据,然后便可以使用predict预测了。

root
├── deploy # 部署相关文件
│   ├── coco.py
│   ├── compression_.py
│   ├── config_.py
│   ├── config.py
│   ├── customize_service.py
│   ├── image_util.py
│   ├── model_util.py
│   └── surround.py
├── modify.py # 用于notebook生成savedModel模型
└── predict # 用于预测
   ├── compression_.py
   ├── get_x_auth_token.py
   ├── new_visualize.py
   ├── predict.py
   └── x_auth_token.py

如果觉得老山的文章不错,不妨点击下关注。

present.zip

作者:山找海味

发布了877 篇原创文章 · 获赞 5228 · 访问量 66万+
展开阅读全文

没有更多推荐了,返回首页

分享到微信朋友圈

×

扫一扫,手机浏览