引子

645万，应该是国内热力企业收费和客服信息化软硬件最大的一个标了，也是众齐软件到目前为止最大的一个项目。

项目部第一时间收到中标的消息，作为此次项目的项目实施经理，喜悦的感觉转瞬即逝，随之而来的这份责任让人感觉沉甸甸的，但一看到研发部的同事们都摩拳擦掌，斗志高昂，信心满满的样子，心里也放下了一大半。

静下心来，查阅了一下大同热力的基本资料，了解到大同热力入网面积为7260万平米，为国家大型一类企业，下设10个供暖分公司，1个维护抢修分公司，5个客户服务点。截止2017年，公司共敷设供热一次管网875公里，热电联产集中供热面积5860万平米，十多年以来共拆除燃煤供热锅炉897台，拔掉烟囱698根，为实现“大同蓝”做出了突出贡献。

回忆之前销售的同事也分享过大同热力的信息化经历，以及此次投标的相关整个过程。大同热力之前和北京某公司在合作收费和客服软件系统，是早期就已经建立了信息化管理平台，对信息化管理工作认识非常深刻。但伴随着供热政策的变化，信息化技术的革新，原有管理系统已经无法满足热力企业日益增长的管理需求，加上原有系统多年不升级，系统卡顿僵死严重，统计报表不准确等原因，使管理人员工作量大大增加。特别是原有供热软件供应商服务不到位、不及时。许多地方需要半自动人工操作，比如每年供热收费前还需要软件公司派人到现场花一个多礼拜进行人工的账务结转，尤其是统计，每次统计一查询就是2个小时，而且查出来的东西还不准。有些话可能传得有些夸张，但从侧面也是呈现了业务部门的强烈诉求和不满，前车之鉴，后事之师呀，想当初我们也是学着同行在往前走的，现在该友商已经无法给自己的软件做升级，只能完全推翻重来，这是促使大同热力更换软件的导火线。

脑子里全面过了一下这个项目，大同热力经历了一次信息化洗礼，而且这次项目的软硬件的预算和标准都较高，想必会对我们提出很高的要求，另外这个项目启动时间算是比较早，公司往往到9月份10月份的时候都会特别忙，因此需要在3、4个月内力求完成上线，错开公司的项目高峰期。心中初步有了几个项目阶段和人力资源的规划蓝图，准备梳理到纸面上跟公司领导申请支持。

前期准备

看招标要求项目是7月底完成，8月底上线。从前期了解到的收费系统的那堆乱账，还有复杂的业务，客户要求现场有办事处是非常合理的。因此第一个目标就是要建设大同办事处，深入调研客户需求。现在能做的几件事情：1. 确定项目成员；2. 建办事处；3.组织启动会。

在公司内部确定了几个重要的项目角色：项目经理、收费实施负责人、数据迁移负责人、客服实施负责人、VMware虚拟化实施负责人、性能测试，以及对应的收费和客服研发团队。

清楚记得清明节后第一天，第一批成员就带上生活必需品自驾出发，到大同下午2点多了，下午完成了房屋租赁，晚上完成了生活用品购买，当天就入住了，这一整天简直就像农村的双抢一样，满满的收获呀。这个办事处还真的特别合适，去大同热力只需要从地下车库走过去就行，这为后来的调研、服务工作提供了很大的便利，响应及时多了。

第二批成员第二天也到达大同了，万事俱备，明天可以安排项目启动会了。

项目启动

项目启动会是必须要开的，而且尽可能大张旗鼓地开，要不然谁知道你项目经理是干什么的，谁认识你谁搭理你。这就像古代战前任命将军一样必须有仪式，只不过项目启动会的组织、形式、任命差不多都是项目方来推动，也就是说要抓住这个机会，把自己推广出去，避免在未来项目推进过程中遭遇被动。信息化工作本来就很艰难，要利用每一个环节的细节来积累双方的信任，非常重要，有了信任，再大的困难也能共同面对，一起解决，若没有信任，一个小问题都能被揪住不放导致全盘皆输。因此，在整个项目实施过程中，建立信任始终是我放在第一重要的位置。

2017年4月7日，上午8:10正式举行供热收费和客服信息化项目启动会，我们总共参加10个人，大同热力参加人数更多，王总带队，客服部徐经理，客服部董主任，收费部张主任，网络信息部张主任，财务总监李总，还有收费和客服的核心管理里人员一并参与。

启动会内容倒不是最重要的，就是双方项目小组进行认识和会面，大同热力领导表达了信息化推动的决心，向项目经理和项目小组成员进行授权，让大家都积极配合众齐软件的需求调研和项目实施工作。我也精心制作了一份PPT，向甲方全体项目组成员宣贯项目相关实施任务、计划、实施要求，让大家明确未来要做的工作，作好心理准备。

启动会还算顺利，能感受到甲方领导的重视，也体会到了经营部门对新系统诉求的急迫性，也收到了网络部门的支持信号，后来开完启动会就帮我们调好了临时办公室的网络环境，直接就算驻场了。

需求碰撞

开完启动会，项目调研就算开始了，甲方已经在一楼给我们安排好了办公座椅、电源、网络，到那里就可以开始工作了，这效率高的！这个办事处的对面就是收费主管张主任、客服主管董主任及客服部徐经理的办公室，简直就是在一起办公，我们随叫随到，他们也是随叫随到，沟通可以轻轻喊一声人就过来了。

三位主任过来聊了聊，记忆深刻的有三句话，第一句是无论晚上、节假日加班他们都可以随时积极奉陪，第二句是徐主任反复说合作了就是一家人了，第三句是收费张主任问项目经理你不会离职吧。这第三句话我能明白其中的含义，张主任解释说之前的软件公司人过来，他也问这句话，人家说不会，并说把问题带回公司解决，结果一回北京就再也没见着过。

需求沟通了用了两天，由于是第一次沟通，所以要对大同热力的原有系统做全面的功能分析，张主任真是个敬业的人，不厌其烦的给我们一遍又一遍介绍，生怕我们不理解或者遗漏了，这为后续的开发设计奠定了稳固的基础。每天结束之后，由于信息量较大，我们都得把当天信息进行归纳汇总，并且针对重点问题进行探讨。总体而言，大同热力客户配合力度很大，沟通人员责任心、积极性都很强，大家都是秉持着尽早暴露问题、解决问题的思路，积极推动项目进度，不让问题藏匿到项目上线后再处理。而我，也从客户那里收获了不少的用户故事，非常宝贵。

数据迁移

4月10日，也就是项目实施的第二周开始，负责数据迁移的同事开始驻场。大同热力的客户基础数据有60万左右，再加上7年的历史数据，构成了我做项目以来最大量级的数据，所以我们相当重视数据这部分工作。

数据迁移的第一步就是数据分析，这也是最重要的一步。随着我们对数据分析的不断深入，发现大同热力的数据迁移工作比我们想象的要复杂的多，这个复杂性倒不是上面提到的超大的数据量级，而是数据的不规范性。我们了解到，原有收费系统在应用过程中由于部分功能满足不了业务需求，所以操作软件的人往往以一种非常规的操作来实现某项业务，比如报停后复热不了的就直接修改暖费应收、面积结算不对的就直接修改台账等等，而且张主任还说，有时系统出现点问题需要找原软件公司处理，工程师并不是将问题修复而是直接在后台改数值，这样根本就是治标不治本。所以导致了很多数据面积和应收对不上、当年跟往年对不上，我们开玩笑说：系统被你们玩坏了。

数据迁移陆陆续续进行着，这个浩大的工程持续了四个多月的时间，我们就像遨游在数据海洋的邮轮，时不时地打捞出一些问题数据供业务部门核验修改，直到最后把新账和老账核对到差1块多钱，我还记得张主任当时开玩笑说：这1块多钱不找了，我担了！实际上在数据迁移的工作范畴中，误差是很难避免的，何况我们将十几亿的款项核对到差1块钱，实属不易！只记得那天我们都很开心，甚至有些激动。

硬件入场

大同热力的硬件部分也是重头戏，整个平台涉及到诸多硬件，并且采用Vmware虚拟化方式部署，包括服务器、防火墙、交换设备、办公电脑、高拍仪、打印机、一体机、电视机等等，其中一台核心交换机就价值20万，真是刷新了我的三观。

5月18日，核心的服务器硬件到货，我们的硬件工程师已经早两天到场等候了，当天下午我们在信息处的带领下把硬件拉进了机房。大同热力的机房挺专业的，外屋是监控室，里屋是硬件设备，中间是一块大玻璃墙，透过玻璃能轻松看到机房的温度、湿度等情况。机房的门是指纹识别的，只有信息处的人员能进出。进入机房后，整齐落座着12台机柜，布线整洁不凌乱，我们和信息处的兄弟一起把服务器上了架，接下来就是走线布线了。

本次项目一共是5台服务器，每台服务器有8个千兆口，2个万兆口，也就是说每台服务器需要走8根网线2根光纤。好在都是用的成品线，省去了自己做线的时间，并且也保证了线的质量，但是总共40根网线10根光纤，再加上和交换设备的连线，想在机柜里走的规整、看着舒服，也不是件简单的事情，我们做了将近一天也没能完成。

第二天继续工作，加上Vmware虚拟化的部署总共10天时间，看着整齐的机房、飞速运行的服务器，心里还是蛮有成就感的。到目前为止，硬件部分就还差400台手机移动端没有到，我想，等到货后我得拍照留个念，400台手机铺在桌子上同时安装众齐移动端App也是很壮观的啦！

安装部署

硬件都安装完成后，接下来就是软件的安装部署了。

5月24日，我通知我们实施工程师开始进行系统的部署，虽然目前有些虚拟化的工作还没完成，但是我决定并行进行，因为只有在软件部署完成之后才能进行功能测试、性能测试、系统调优等工作。

大同热力的系统部署我们也花过不少心思，整个平台兼顾速度与安全性考虑，做了一整套部署方案。环境部署采用Vmware虚拟化部署方式，5台服务器组成了虚拟化私有云平台，允许任意两个服务器发生故障而不影响系统使用，每台服务器配备6块1.2T的企业级硬盘，其中5块硬盘又与其它服务器通过万兆光纤相互连通，组成磁盘存储池，另外配备两块400G高速固态硬盘作为缓存盘，提升数据读写效率。软件部署我们采用tomcat集群与负载均衡的部署模式，不管是收费系统还是客服系统，每个服务都是用Apache作为集群管理器，其下搭建多个Tomcat服务器，这样即可保证系统运行的稳定性、安全性，也可以在系统更新和升级的时候做到无感切换。

系统部署到6月中旬，我们在虚拟机上搭建了8台虚拟服务器和100台虚拟桌面。8台虚拟服务器其中有4台是银行前置机，另外4台是应用服务器，分别是收费系统应用服务器、客服系统应用服务器、数据库服务器和一台备用服务器。接下来是安装虚拟桌面，在这个环节上我们可费了些体力。对，没错，是体力！

大同热力共有4各营业厅和10个分公司，散落在城市的东南西北，4个营业厅隶属于总公司管理，分别为西城、南城、北城和花都营业厅，每个营业厅都有6-8台收费电脑，每一台电脑都要安装一个虚拟桌面以登录系统，而且碰到安装不了的电脑还需要重做操作系统。再加上每个分公司需要有1-2台电脑使用系统，电脑科、财务部等等，所以我们需要安装80个左右远程桌面，当时我们现场就3个人，想想都头大。好在大同热力的信息处的兄弟们帮了我们很多忙，而且徐主任给我们安排车辆，才不至于累死沙场。

对接风波

税控对接

近两年由于国家大力推广企业开具电子发票，大同热力今年也由纸质发票全面切换为电子发票，从环保角度来讲，利国利民，绿色环保。但是由于是头一年使用，我们所承受的压力也不小，后来事实也证明了我的担忧并非多余。

与我们做技术对接的是国内两大税控系统提供商之一：航天信息股份有限公司（简称:航信），说实话我个人对航信还是挺有信心的，之前我们对接过纸质发票，问题不是很多，所以对此次电子票对接持乐观的态度。

4月份我们拿到了航信的接口文档，但是接口的开发需要等收费系统的整体架构搭建起来才能进行，所以税控接口7月底才完成。后来在调试阶段遇到了不少的问题，首先是航天的技术总是说太忙没时间，遇到问题就让我们看文档，沟通了几次我也有些着急了，如果看文档能解决的话还找你干嘛？不过后来航信现场的工程师杨工帮忙协调了，这才帮着把开票接口调通。然后调试过程中也出现了各种问题，比如免税字样出不来、发票下载没有返回信息等，这些问题天天都有，我们也是加班加点的忙碌着。

从7月27日接口开发完成到8月17日调试完成，我们测试了几百张发票，不断地试错，不断的修改，好在大同热力的发票数量较多，废点票不是大事。我们也是为了保证项目上线后电子票不要出错，否则大同热力每天开票量几千甚至上万张，出了错想补救都难。

银行对接

4月23日，由大同热力方组织，我方主持的银行代收启动会在四楼会议室召开了，参会的银行有中国银行、建设银行和大同银行。会上我介绍了我们此次项目的对接方式及进度计划安排，主要是推动银行尽早启动工作，早日完成代收费对接上线。

会上各家银行都表了态，愿意积极配合这部分工作，不过时间安排上有点紧，毕竟银行的流程比较慢。实际上后来他们用行动印证了当时的话，因为没有一家是在预期时间内完成上线的，最好的应该算是大同银行了，在正式收费前完成了上线。

在银行对接的过程中，由于后期时间比较紧，所以我们经常加班加点，从网络调试到服务部署平均2天搞定一家银行，技术联调的时候我们张工更是一对三的进行响应。上线测试前，我们通过对大同热力业务种类的分类，做出了一份详细的测试用例，总共41种类型，120多个可变参数，这份用例为后面银行代收的稳定运行提供了重要的技术保障。

性能测试

大同热力的性能测试工作是必不可少的，以往我们在其他项目上从未如此大动干戈，因为数据量级达不到。这次我们组织了专门的小组来负责大同热力的性能测试和调优。

测试分为性能排查阶段和压力测试阶段。

性能排查阶段：按照测试用例测试系统的所有功能，找出导致系统资源增加的功能和响应速度缓慢的功能并记录下来，针对这一阶段暴露出的性能问题进行优化。

压力测试阶段：对常用功能进行并发压力测试，这一阶段我们关注几个主要性能指标：响应时间、吞吐量、系统资源消耗情况。首先确定了需要进行压力测试的常用功能并整理测试脚本。根据客户真实使用情况，确定5,10,15,30,50的测试并发量，模拟50,100,150,300,500人同时使用系统。根据并发测试结果锁定存在性能问题的功能，同时确定如何分配每个虚拟机资源以及创建多少个集群的Tomcat。

现场培训

八月初，徐主任把我叫到办公室商量系统培训的事宜，想把培训的事情往前提，担心大家接受得慢，所以多留出些时间给大家模拟练习，既然领导重视培训，我们肯定全力配合，我表示培训随时能够开展。

8月5日，按照徐主任的要求，我拟定了一份培训计划表：收费系统的培训分为两个批次，第一批针对于客服中心和营业厅的业务人员进行培训，第二批针对于分公司进行培训。第一批培训共分8个场次，每半天为一场，参训人员共105人，主要讲解系统9大功能，59个功能模块；第二批培训为4场，也是每半天为一场，参训人员共56人，主要讲解系统9大功能中的32个功能模块。客服系统的培训也是如法炮制，总起来说，培训的强度还是蛮大的，尤其对我们工程师更是一种挑战。

8月10日，培训正在如火如荼的进行着，我们主讲工程师由于嗓子发炎不得不休息一下了，事实证明不是所有的挑战都那么容易成功，毕竟我们也是凡人，在现场没有任何扩音器的条件下，面对如此多的人每天不间断地讲，嗓子能不疼吗？但是培训不能停止，于是我顶替了两场培训，这也是我意料之内的事情。

8月16日，培训终于落下帷幕，这几天大同热力的兄弟姐妹们听的都很认真，积极性很高。我认为一个企业的员工如果对工作有一股积极的心态，乐于接受新鲜事物，那么这个企业就是一个有活力的企业，我们愿意为他们服务，虽然这几天有一点辛苦，但是我们内心是很欣慰的。接下来的日子徐主任让大家进入熟悉系统、模拟练习的阶段，同时我们也印制了《用户手册》进行发放，帮助大家学习和巩固系统操作。到了系统上线之时，大家对系统的了解和操作熟练度已经完全达标，有些人甚至超出了我的意料，很棒！

上线运行

项目上线运行的前几天，就好像是黎明前的黑暗。这个阶段系统整体上都已经开发完毕，但是由于时间关系和一些新功能的测试强度不够，系统总是暴露出一些小BUG，每天忙到很晚来处理问题。那几天几乎没有十二点之前睡过觉，一忙就忙到凌晨一两点钟，弟兄们都很辛苦！与此同时，来自大同热力方面的压力也不小。听说上一次信息化建设，软件到上线前一天还没调试好，最后工程师忙了个通宵才算勉强把系统推上线，所以这次客服中心的领导们担心我们重蹈覆辙，不断地督促我们。其实我心里知道，剩下的这些问题都不是大问题，只要大家一努力就能把问题都搞定。

8月29日一早，研发部的两位同事赶到了现场，此时距离正式收费还剩3天时间。当天我们开了个会，把项目上剩余的问题都汇总沟通了一下，我给出的时间是到今天晚上处理完！总共还剩13个问题，而现在我们正在跟时间赛跑，能早一点处理完我们的胜算就会更大一些，于是我们各自分工，迅速进入战斗状态！

实际上当天晚上我们没有完成目标，倒不是不可能，主要是不划算，影响了明天白天的工作效率得不偿失，然后我们第二天又用了一上午的时间完成的所有问题的修复，项目随时可以上线！

8月31日 8:48，一笔2175元的暖费进入了系统并成功开具了电子发票，标志着大同热力项目正式上线运行了！昨天，我跟徐主任商议，让系统提前一天上线运行，万一出现点状况我们当天还来得及处理，事实证明我们的决定是明智的。

9月1日早上，各营业厅还没开门营业，门外的老百姓已经排起了队伍，我真没想到大同的热用户交费这么积极，不过好在我们昨天已经“演习”了一天，所以对今天这种场面满怀信心。还别说，昨天试运行了一天发现的问题还真不少，主要表现在打印机兼容问题、操作人员不熟练、电子票页面偶尔卡死没反应、高拍仪连续拍照报错等，针对于昨天出现的问题，今天我们安排了工程师专门到问题多的营业厅进行辅助指导，业务不熟练我们就现场讲解，打印机、高拍仪不工作我们就现场示范调试，电子票卡死我们就教会如何重开并且联系在总公司的航信工程师进行问题排查。总之，真正意义的上线，我们顺利完成了任务！付出了半年的努力终于在今天变得熠熠生辉！大同热力业务部门的领导们也对项目上线的效果表示满意，当天的对账、财务报表等都很准确，我们每个人心里都很高兴，一种“拨开云雾见天日，守得云开见月明”的感觉慢慢在心中蔓延开来。

现场支持

从8月25日开始，我陆续向公司申请资源派往大同热力，目的很明确，就是为项目的稳定运行保驾护航。到了8月31日，我们团队已经各就各位了：研发工程师杨工负责软件突发问题快速处理，实施工程师韩工负责花都营业厅及收费系统的稳定运行，研发工程师张工负责收费数据及报表的准确，实施工程师杨工负责西、南、北城营业厅的机动巡查，另外还有1人负责客服系统的运行、1人负责电话及呼叫中心的检测、1人负责服务器及网络的通畅，最后还有我负责资源调度及替补，总共8人在现场全方位的支持。

9月3日，在项目上线稳定运行了两天后，一些问题渐渐浮出了水面，比较严重的有两点：一是电子票签章失败，二是打印机过热宕机。先说第一点：电子发票的开具由于是国家税务系统统一管制，所以每一张票都要经过国税局系统进行签章，签章成功后才算成功。大同热力的电子票开具偶尔就会出现签章失败的现象，而且一旦失败就会持续十多分钟，虽然也不算很久，但是外面排队的热用户情绪就会变得焦躁。我们经过对系统接口的分析测试，确定不是由于收费系统的原因导致，所以建议徐主任联系航信公司进行问题排查。航信公司的杨工响应很及时，过了一会就到热力公司了，经过分析多半是因为网络拥塞导致的数据上传失败，又经过和大同热力信息处配合进行网络测试，基本确定是联通网络的问题。当天下午结账后，信息处张处联系了电信公司，将专线网络由联通切换为电信，在此之后，虽然也会出现签章失败的情况，但是问题出现的频率大大的降低了，看来选择网络运营商还真得因地制宜。再说说第二点：大同热力的硬件采购标准很高，为了让个别老百姓更容易接受电子发票，打印机采购的是惠普彩色激光打印机，不仅价格高而且耗材也贵，我还是头一回见热力公司采用彩色打印呢。但是问题来了，彩打的效果固然好，但是它的持续工作能力可就不及普通黑白打印机了，最明显的问题就是打印机过热保护。每天上午11：00左右，打印机就开始接二连三的宕机，这时收费人员会拿着书本或者扇子对打印机进行人工降温，人多的时候大家排成一排扇扇子，场面有些好笑。徐主任觉得这样子可不行，后期进入高峰期的话问题会更加严重，所以请示了领导之后当机立断，更换为黑白打印机，如果客户对黑白票据不认可的话去服务台换取彩色发票，这样既满足了开票效率的问题，也迎合了个别用热户的特殊要求，问题得到了完美的解决。

这种现场支持持续了一个月，高峰的时候一天收费和开票2万多笔，直到国庆节放假我们陆续离场，只留了一人驻场。这一个月的时间我们始终和大同热力共同奋战在一线，期间解决过不少的问题，忙的时候我们一个个都顶着月亮回家，闲的时候我们还能到大同的古城墙上逛一逛。这一个月过得很快，和大同热力的兄弟姐妹们相处得也很融洽，工作上和生活上都相互帮忙，我们都很珍惜这段回忆。