济南热力收费系统建设实录
引子
济南热力是我们2015年通过第三方引荐后开始建立合作的,当时我们作为OEM厂商为济南热力提供的客服系统以及技术支持。2016年,济南热力公开招标收费系统,我们带着满满的诚意参与投标,不过事与愿违未能中标。之后两年我们还是继续保持和济南热力关于收费系统的沟通和交流,纯粹的相互学习和共同进步,逐步建立了信任。回想2016年我们很想努力去争取而无果,此次合作这份信任来得更加可贵,这次我们有足够的信心把济南热力打造成国内客服信息化的NO.1。
济南热力董事长潘世英正带领着济南热力集团快速发展,并在管理和品牌上注入了很多心血,每年接待200家供热企业来访,打造了很多宣传视频和资料,大家都很喜欢给别的供热企业展示信息化成果。借着济南热力在全国供热行业的影响力,可以说未来这就是我们第一个品牌输出渠道。
济南热力集团版收费系统我们中标,我认为此项目的意义至少与大同热力相当,是我们至今为止业内影响力最大的一个,由于济南热力历经北京博达、辽宁北软、大连海心,最终和我们牵手,因此项目挑战不小。我们也做好了一切准备,齐心协力,艰苦奋斗,势必打好今年这一场大仗。
项目启动
4月18日,我们得知中标消息后李总立即召开了项目筹备会议,任命了总项目经理,代表众齐软件在收费、客服项目上整体和济南热力交互,又任命了我为收费项目经理。我们实施四人组成了济南热力实施小分队,不过在我们后面站着的还有众齐整个团队。
次日,李总带领众齐团队成员去济南热力召开项目启动会,只可惜我当时在外地无法抽身回来。启动会由项目经理主讲PPT,将双方项目组成员、实施计划、风险控制一一阐述,另外此次去还有一个重要任务就是他们财务特别担忧银行对接和POS对账,还有用友接口等,这次去需要全面解决财务的担忧,让所有部门都能信任地配合我们。
最终PPT介绍得很不错,会议开得整体很成功!济南热力数控部主要人物全部参加,客服部也基本参加了,财务部此次参加了不少人,沟通交流的时候我们也全面答复了财务部提出的问题,最后财务部相关主管表示对众齐软件很满意。到此为止,济南热力从上到下对我们算是都有信任了,给后面的工作开启了一个好头。
银行对接
济南热力共有16家银行和机构为他们代收热费,总代收金额达4、5个亿,因此与银行系统对接工作在此次项目中不可小视。集团财务在项目启动初期专门召开了一次“银行代收启动会”,会上说明了项目背景和目标,并将我们的实施计划进行分享,让银行方务必按计划进行工作推进,不要影响本年收费工作。会议结束后,各银行与我们开始建立联系,我的通讯录里一下子多了几十个银行联系人,有负责业务的、有负责开发的、还有负责协调的等等,为此我还专门做了一个《银行进度管理表》来管理各银行的信息和工作进展。
不过依据实施计划来看,银行方的进度仍然普遍滞后。在一次项目例会上,我汇报了各银行的工作进展,随后济南热力数控部马主任给各家银行发函通告:7月20日银行方不能依据技术要求完成开发工作的,本年度热力公司的宣传内容将不予体现该银行。
到了8月上旬,各家银行的开发进度才接近尾声,开始频频与我们联系进行测试,那段时间,我的电话几乎被各家银行打爆,大家都很着急。为了保证联调测试工作的顺畅,我向公司额外申请了资源,研发部临时投入了两名同事配合此次联调,随后我又根据各家银行的进度做了资源匹配,于是才缓解了这次联调资源不对称的情况。
到了8月中下旬,一部分银行已经联调完毕,但是有的银行由于流程问题或者技术问题进度上已明显落后,甚至有无法按时上线的风险。经过与济南热力数控部及财务部沟通,暂定的方案是:哪些银行具备上线条件就先安排上线,不能一味等下去了,否则风险性太高。于是在9月1日正式收费前,已经有9家银行达到了上线标准,接下来的一个月内,其他各家银行也陆续上线了,不过最终仍然有两家银行未上线。
银行代收对接工作算是告一段落了,最终各银行很少有能按原定计划上线的,这次再一次让我看到了银行流程的冗长、进程的缓慢,为以后我们预估银行上线时间提供了更多的实践基础。
数据迁移
上篇
由于济南热力要在8月10日进行上线试运行,所以各项工作都得提前,虽然说叫试运行,但是收费、打票、线上支付等功能都是动真格的,半点马虎不得。
试运行的准备工作首当其冲的就是数据迁移,为此,负责此项目的研发经理提前赶赴现场与我们并肩战斗在一线。
8月9日,济南热力业务受理暂停一天,专门用来给我们进行数据迁移。为了保险起见,我们前一天17:30就开始动手了,因为那会各营业厅下班了,数据不再变化了。
有研发经理在场心里就放心多了,我们本来想把上次迁移的数据库清空直接用,但发现脚本里不仅有增加字段的语句,还有处理数据的语句,混在一起不好处理,所以最终决定还是用beta1的数据库。
数据库脚本补充是由实施工程师操作,结合上次迁移过程中出现的问题,又把缺失的触发器整理了出来,提前执行。然后根据上次测试的情况,把迁移后需要核对的内容整理了一下,用来验证迁移后的准确性。最后,这些整理完又跟数据迁移组同事进行了沟通,数据迁移工程师把数据迁移的最终脚本整理完发给了现场的研发经理。准备工作每一项我们都进行得很仔细,而且把整个迁移的脚本细分了11个批次,要严格按顺序执行,这些工作准备好后,我们就等待着17:30的钟声响起。
要想把原服务器的数据库迁移到新服务器上,需要以下几个步骤:数据导出、数据压缩、文件拷贝、数据导入、脚本执行。
五点半一到,实施工程师就把应用服务停止了,运维工程师配合他将数据库进行导出操作,我们趁着导出的等待时间去外面先把晚饭吃了,晚上不知道几点能搞完,先得把肚子填饱。我们吃完回来时数据已经导出完毕,正在压缩。没过多久就压缩完毕,我和实施工程师去机房把压缩文件通过移动硬盘拷贝到新的服务器上,差不多1个小时左右数据就全导入进去了,剩下的就是整个过程中最重要最难的一步了-脚本执行。
脚本执行由研发经理操刀,首先要执行的就是表复制操作,由于上次用了四个多小时,所以这次也是很忐忑。好在这次sql developer用了新版本,发现复制的速度很快,差不多半个小时的时间就复制完了,比上次提前了三个半小时,大家都很振奋。数据库表复制完后,就开始了剩下脚本的执行,不过刚开始执行迁移脚本,就出现了问题,一是有一部分脚本重复了,导致机构的数据多了一倍。刚开始就报错让每个人都情绪紧张,而且如果不能尽快处理的话会影响大家的士气。当时研发经理思考了一会,决定根据parent_Id为‘null’的字段进行处理,很好地解决了问题,然后剩下的脚本一路狂奔到最后都没什么大问题。11个批次的脚本全都执行完差不多12点了,由于今天产品经理晚上12点多到达济南,我和研发经理去车站接她,所以剩下的核对工作留给明天吧,大家早点休息也能保持不错的精力。
下篇
虽然昨天晚上数据迁移完成了,但是只能算是成功了一半,每次数据迁移后的核对工作都尤为重要。
一大早我们就来到了济南热力临时办公点,首先要做的就是将迁移完的数据库进行异地备份,一是方便我们操作测试,二是安全性考虑。然后我们开始进行数据验证,验证的方式是原系统与众齐系统数据分级比对。由于上一次数据迁移“演习”时发现了一些错误,我们把这些问题整理成了检查项,这次就先从这些检查项开始。
数据核对一直到持续到下午,主要是数据迁移工程师在通过技术方法比对,发现了一些问题,如:原系统客户地址有两个字段,迁移后地址出现不对应的情况,又如:原系统客户资料的面积信息为冗余字段,与我们系统的采暖面积匹配不上等。这些问题有些发现了就随之处理了,有些不好处理的暂时搁置,但是最难的还是费用数据的核对。
济南热力的费用信息涉及到七八个供热年度,每个年度的数据都需要准确无误,所以这部分工作需要的时间比较长,到了下午才核对上两三个年度的数据。当核对到2017-2018年度时,遇到了更大的难点:由于原系统的取整数据我们处理过,处理成了欠费,所以这些取整数据有正有负,无法和原系统直接匹配。
发现问题后研发经理和数据迁移工程师通过电话沟通,决定将取整数据转成的9万多欠费,再加上总数的差值,与原系统2017-2018的欠费进行比对,发现我们的数据仍然多了33万。这部分汇总数据怎么也对不上,但是查看了具体某户数据是正确的,我们找了好多户验证都是一样,无法找到问题原因所在。
后来,我们又尝试着转变思路,把欠费减去多收的差额与原系统欠费进行比对,结果事与愿违,仍然核对不上,而此时已经不早了,大家的精力消耗得差不多了。
有时在困境中只要坚持一下就能重获希望。凌晨两点多,我们发现有一户具有两个2017-2018年度记录,欠费有些不对劲,仔细研究后发现是由于结转的余额处理得不对,问题终于有了突破!虽然找到了问题原因,但是此时大家精力透支得厉害,逻辑都不太清醒了,办公室就还剩我、研发经理和项目经理。关键时刻项目经理找到了正确的处理办法,带着数据迁移工程师把思路理了一遍,同时对更多单户进行了验证。凌晨五点多的时候,数据迁移工程师发现把热计量按月结算的数据去掉去,各费用信息终于对上了!
系统培训
2018年8月21日是收费系统正式培训的日子,选择这个时间的原因:一是要等系统的功能都开发完成再培训,二是培训的时间不宜离正式使用的时间太长,否则参训人员容易遗忘。
此次培训分四节课,上下午各两节,共一天时间。参加培训的人员主要是6个子公司的人,一共37人,因为集团本部的培训早在试运行的时候就渗透讲解了。培训教室是一间多功能微机教室,共设32个座位,每个座位配置1台电脑,就跟学校的计算机课堂一样,这么专业的培训场地在以往项目上是不多见的,我们也当了一把当年学生时代的“微机课老师”!
上午9:00培训正式开始了,教室一下子安静了下来,我们跟大家做了自我介绍并宣读了这一天的培训计划,然后把剩下的时间交给实施工程师了。
实施工程师提前把权限划分好了,并且按照使用场景进行培训,讲解得很细致。由于座位不够,有些人是三人共用两台电脑,不过大家都听得很仔细,对着电脑屏幕时而拍照、时而做笔记。上午大家的状态都很好,不知不觉就到了中午。
中午在济南热力食堂吃了工作餐,下午13:00就开始培训了,因为有些子公司属于济南郊县,离这里比较远,所以下午不宜太晚结束。下午大家的状态不是很好,可能是因为中午没怎么休息,我看有些人已经瞌睡了,于是提醒实施工程师加快点速度,给上机演练的时间多留出一些。果然进入了实操演练环节大家的问题反馈的多了,教室里的气氛愈见活跃,场面一度有些“失控”。当然倒不是真的失控,只是大家问题比较多,而答疑的讲师就我们两个,应接不暇倒是真的。
培训持续到下午五点多,最后拉了一个QQ群,把客户端分享到群里让大家回去安装试用系统,有问题在群里随时沟通。有一个子公司比较有趣,培训结束后迟迟不离开,就为了跟我们有单独交流的机会。然后把他们公司的特点和管理难点一一向我们询问,还邀请我们去他们公司指导指导,我们也一直陪到天色渐晚,要不是项目进度紧张,我真的会去他们公司帮助他们解决一些困难。真的是一群可爱的人呐!
项目上线
2018年的9月1日是个周末,也是济南热力正式开张营业的日子,但是由于周末的原因,济南热力项目上线显得那么地平静。
当天我和其他两位实施工程师怀着一种紧张的心情一早来到了济南热力,草草地吃了早点后就去收费大厅待着,准备迎接第一个交费用户。但是等了有半小时也没有见人来,于是我们跟收费员说先上楼,有来交费的用户就发信息给我们。
回到了办公室,我简单安排了一下工作,实施工程师主要负责维护银行代收以及微信支付宝等线上渠道的正常运行,另外的工程师主要负责大厅异常情况的汇报和处理,我负责全面问题的应急处理。又过了一会,楼下的收费员发来消息:有人来交费了,已经走了。收到信息后,我们仨都下楼了,了解到刚才的交费一切正常,于是就放心了。接着陆续有用热户来大厅办理业务,有缴费的、报停的、过户的,系统各项功能都正常,那一天我们是迎着落日下班的,大家说我们已经很久没看到下班时候的太阳了。的确,与绝大多数项目上线时情况相比,济南热力真的不太一样。
如果说保证收费工作的顺利进行算是上线的一部分,那么后面的报表部分可就没那么顺利了。济南热力第一批需求定制了不到十张报表,其中有两张报表需要上线时就用,由于提前试运行上线的缘故,我们还得提供另外一张月报,这张月报是集团领导每个月月初会看的,所以我们9月3日的工作就是出具这张报表。
报表的需求沟通及跟进工作之前都在实施工程师身上,今天实施工程师跟我汇报完报表的事情我就让他做好两手准备,一方面如果研发能够今天支持上那是最好,另一方面如果支持不上就得准备手动出具这个报表。到了下午下班的时候,实施工程师还在和研发部研发人员沟通报表的数据问题,报表改了又改但总是数据不对,实施工程师从此也练就了一双“火眼金睛”。于是我决定报表修改就此打住,晚上由我们几个手动出报表。手动出报表的事情我们之前也做过,但是济南热力明天就要出具三张报表,表与表之间数据都是有关联的,所以难度要更大一些。
吃过晚饭我们就开始分工,实施工程师负责通过数据库语句查询数据,我和另外一位工程师分别负责核对一张报表,然后再将两表的数据做逻辑复核,最终再与总表复核。安排得貌似不错,但是落地没那么简单。由于很多数据我们都要从原系统里查询,而原系统的数据逻辑本来就和我们系统存在差异,再加上还有一些错误的数据,所以报表的进展并不快,直到凌晨十二点,我们才完成了两个分表的数据统计。当时项目部另外一位工程师也来济南帮忙,但是他不了解该项目的业务逻辑,只能眼巴巴看着我们忙碌,困了只能趴在桌子上睡会。
凌晨一点多,报表的数据基本上核对完了,还有几个统计数始终没有核准,最后按照我们后台查询出的数据再经过逻辑运算填在了表格上。转天我们把报表呈报给了乔主任,项目上线工作总算是首战告捷!
实践效果总结
目前,项目上线已有一年多,我们共实施了八家子公司,足迹遍及济南市区以及章丘、商河、济阳三个区县,培训超过300名系统使用者,使众齐收费系统的优势和理念传播到每一个终端使用者。
收费系统的实施,进一步提升了收费、客服两个核心系统的数据连通性,方便济南热力对供热业务实施精细化管理。例如坐席人员现在可以对收费情况、用热情况以及咨询报修情实时掌控,再也不会出现坐席人员和收费人员的信息不对称。收费系统和客服系统联动性,也使工单自动化、精细化管理得到很好地提升,一项工作再也不用操作两次了。
第三方代收系统的对接也在此次项目中发挥了巨大的作用,特别是微信公众平台和支付宝生活缴费的推广,使用热户在手机端就能进行查询交费、办理交报停等业务,既方便了用户又缓解了大厅的业务压力。加上其它的代收渠道,业务笔数已经远超服务大厅,效果显而易见。
另外,此次项目我们还对接了济南不动产平台和济南热力官方网站,帮助济南热力集团实现“零跑腿”和“一次办成”的改革工作,这正是济南热力集团创新推出的一系列“代办式”服务便民举措中最具含金量的一项。目前,济南热力24项“零跑腿”事项和“一次办成”事项已正式推出,我们也很荣幸能参与到这项真正的惠民工程里,提供平台和技术的支持。
一年多的项目实施工作,让我们跟济南热力客服部、数控部都结下了良好的友谊,我们的努力和敬业也再一次获得客户的认同。