中国游客在尼泊尔徒步失联华为大援救
产品简介: 听说它属于艰苦国家,心中不免有些担忧。怀揣憧憬与忧虑,我开始在网上搜索尼泊尔,发现这是喜马拉雅山南麓的山脚下,一个被称为“雪山之国”的小国,更是佛教创始人佛陀释迦摩尼的诞生地,宁静祥和,民风淳朴。尽管人文环境独具特色,但是尼泊尔的人均国内生产总值长期处在全球后四分之一之列,经济结构以农业和旅游业为支柱,工业化与城市化进程尚处在起步阶段……新的征程充满了未知。 “作为尼泊尔PMO Lead
产品详情
听说它属于艰苦国家,心中不免有些担忧。怀揣憧憬与忧虑,我开始在网上搜索尼泊尔,发现这是喜马拉雅山南麓的山脚下,一个被称为“雪山之国”的小国,更是佛教创始人佛陀释迦摩尼的诞生地,宁静祥和,民风淳朴。尽管人文环境独具特色,但是尼泊尔的人均国内生产总值长期处在全球后四分之一之列,经济结构以农业和旅游业为支柱,工业化与城市化进程尚处在起步阶段……新的征程充满了未知。
“作为尼泊尔PMO Leader(项目管理办公室负责人),首先你要管好部门,其次你有大代大项目经验,要把成熟的经验流程带到尼泊尔并固化下来。”
初到尼泊尔,我的直接主管、交付VP(副主任)海兵总就语重心长地跟我谈心,介绍了工作重点。以此为目标,我着手规划,并约谈交付各业务线负责人了解情况:收入管理是否还在人拉肩扛,是否有自动化看板方案?PO(采购订单)下发是否延迟,是不是真的存在无PO入场风险?是否有内控风险,华为是否连接客户和供应商背靠背转移风险?
充分调研,理出头绪,结合以往经验及对尼泊尔业务的认识,PMO各项管理工作逐渐走上正轨。主管对我的工作安排也随之升级:“目前工程大项目都还没签单,我现在每天跟维护项目组开早会,你也一起参加吧。”
来到尼泊尔之时我就抱着学习一切能学习的心态,“虽然没干过维护,但那也是交付体系,万变不离其宗”,我在心里给自己打气,随后便开始例行参加维护项目例会。
正当一切工作有条不紊推进时,挑战不期而至。在某次华为与N客户双周例会上,客户CTO(首席技术官)和Unit Head(产品线主管)突然皱起眉头、面色阴沉,言辞激烈地把维护项目痛批一顿:
客户的责难像连珠炮一般打过来。维护PD(项目总监)是一位技术型人才,在客户强压之下,尝试用专业相关知识说服客户,结果却是适得其反。正在气头上的客户没有正真获得情绪安抚,听到维护PD不带情绪的技术反馈,心中的火气更加汹涌。看到客户的眉毛拧成麻花,我的心弦也如同上紧了的发条一般紧绷。我想起之前常听的一句话:“客户满意程度管理不是专业管理,针对不同的人要对症下药。”
恰在此时,一系列“内忧外患”接连出现:光纤维护事故频发,区域客户直接升级投诉,区域经理管理松散、不受控制……面临棘手的困境,主管也在此时对我提出了新的要求:“维护项目最近的情况你都看到了,维护PD因为要照顾生病的家人,提出了辞职,办事处计划不招新人,作为中方员工,你责无旁贷,尽快把维护PD的岗位接起来!”
刚刚接触新的领域,短时间内要快速上手,以往建立系统框架、学习基础知识一步一步打怪升级的方法论难以快速响应当下急切需求。我想从客户的真实需求入手,所有维护相关的客户会议无论大小无一例外全部参加,然而一段时间后,我发现实际上客户的关注点比较零碎,很难通过对话总结出客户的逻辑框架,自然也就无从找出其中的核心问题所在。
于是,我向代表处维护主管程明请教,他的话使我深受启发:“维护无外乎是管好流程、IT平台和人。”要深入学习流程,最有价值的材料莫过于合同。
说干就干,我把维护项目的所有合同专门建一个单独文件夹,边学习边读合同,边读胶片边看合同,同时向采购专家了解每一家分包商,向技术专家了解每一个指标和细节,终于似乎摸到了一些维护的门道。
9月26日9点,一则本地员工发送的尼泊尔天气预报引起了我的警觉,预计今后5天尼泊尔将会遭受持续性暴雨袭击。尼泊尔基础设施建设水平不高,全境地形以山地为主,极易发生山体滑坡阻断道路,并且当地电力系统稳定性差,暴雨引发电力中断的风险很大,道路和电力基建面临的双重挑战对于通信维护提出了极大考验。
9月26号当天,项目组召开全员紧急例会,做好防灾规划,加强站点/光纤巡检,加大站点油机燃油准备,移动油机随时待命。
尽管我们预先做好了各项准备,此次天气灾难还是以迅猛的攻势向尼泊尔袭来。后续据新闻媒体报道,此次事件是尼泊尔特别是加德满都谷地五十年来最严重的极端天气。
9月27日,NOC(网络运营中心)的一则消息打破了平静:“当前监测到大批量站点断站,大多分布在在西部区和远西区,显示无告警,具体原因排查中。”
2分钟内,所有人集结到NOC办公室,看到密密麻麻的红点,我们的第一反应就是怀疑数据中心连接的100G光纤断了。客户CTO也在工作群里问出同样的问题,为了检验是否是数据中心连接的100G光纤出现一些明显的异常问题,我们第一时间派出站点和光纤维护团队前往现场进行检查。
然而,做完OTDR(确定光纤故障点的自检)后,并未发现任何异常。于是,我们怀疑可能是某个波分核心节点的问题。但是,系统并未显示任何持续告警,且每个核心节点同时具有太阳能、市电、电池和油机四种电力输入源,即使在最坏情况下,油机也会自动启动。
为了精准找出故障点所在,项目组立即启动手动排查,果真察觉缺陷出现在核心节点。5分钟内,队伍到达,发现节点油机控制器处于挂起状态,人工修复后,站点启动,NOC监测到相关站点全部恢复。
排查后发现,由于连夜暴雨,市电持续性波动1429次,波动频率高达30秒一次。根据油机的启动规则,至少需要几分钟的持续性掉电告警才会自动启动,这一机制设计目的是防止误触等情况。然而,市电的持续性波动没办法触发油机启动,并且电池由于连夜持续放电导致自动低压下电,这一些因素致使电池无法正常工作。于是,所有的电力源被切断,且无告警提醒。
虽说在故障发生20分钟内快速发现并解决了问题,但心里却没有胜利的喜悦,所有人都对如此大规模的断站心有余悸。当晚,客户CTO一通电话直接打给VP,要求所有关键成员立刻赶到客户办公室开会。
那天的暴雨大得惊人,导致非常严重交通瘫痪,原本只要10分钟的路程硬是用了1个小时。到达客户办公室,汇报完成后,客户CTO高度关注:“虽然是天灾,但是我们的网络足足中断了20分钟,我们还能把网络交给你们吗?”
9月28日凌晨2点半,一个电话让我从梦中惊醒:“Geoffrey(我的英文名),Pokhara DC Isolated!(博卡拉数据中心断联了!)”
我迅速做出一定的反应:“立即组织作战室,所有人赶往办公室,区域经理线上接入!”
我有幸见证了尼泊尔从“小蓝楼”到“玻璃幕墙”的变迁。尼泊尔华为人曾在“小蓝楼”奋战25年。时光流逝,“小蓝楼”也在变老,窗外的藤蔓已长出一米多长。为了适应业务发展新需求,代表处决定搬迁新办公室,全新的华为Tower成为了一个新地标,规模翻倍,设施升级,之后有客户跟同事开玩笑说,“坐飞机在加德满都的上空,唯一能看见的就是华为办公楼和华为标志”。
进入新办公室,看到全新的一切,亲眼见证搬迁时领导说“要打造尼泊尔最好的办公室”的豪言此刻真真切切落地在每个人面前。克服一次又一次困难,攀登一座又一座高山,我们越来越相信,一切都在变得更好。愿我们:祥光瑞彩盈门庭,菩提禅语净土清。诸君携手同风起,扶摇直上九万里!