我这里是北京时间2005-10-31 晚上22:10。还有一个时辰大家都关心的“星期一”就要过去了。今天到底发生了什么?项目组是怎么挺过来的?我们还能继续往前走吗?…
现在项目组的核心开发小组,DBA,服务器管理,报表组,Domain还有一些协调的工作人员都集中在信心中心。我们就下到医院流程现场。
核心开发小组:这组基本上是新加坡,马来西亚过来的同事。他们负责解决系统随时出现的紧急情况。
DBA:这个小组主要负责继续做移植数据的效验,和紧急的数据patch,最主要的还是负责数据库压力监控和调优。
服务器管理组:他们负责看好四台Web服务器(有两台是备用的),一台应用服务器。还有其他的测试服务器。
报表组:这组人员现在的压力可不小。各个部门的流程单据,还有PA的财务报表,那可是用户眼见为实的东西。他们的 从容, 总算让我了解ShuaiYu同志去年拿那么多奖金背后的故事拉。
Domain组:…
协调的同事组:他们也挺辛苦的,杂乱的工作。该怎么去阅读他们,我想自己尝试过后都能理解。
大家可能会疑惑,goingmm你娃在说啥子哦!半天说不到主题,大伙张着嘴巴呼吸在等现场镜头呢!!
没有伏笔,没有漂亮的引词.我们直接去住院处看看吧!
早上8:00准点到达现场。大厅挤满了人,和大家念书的时候去学校财务处交钱是差不多的。大家都生怕自己手上的钱交不掉似的。这次单枪匹马杀过来的。打心里还是有一点不塌实的感觉。还没有按上门铃人家已经热情的开门叫我进去拉。还没打完招呼做完自我介绍,他们领导说话了:“快,小伙子8:30就开始录入拉,我们还有两员工是第一次使用系统,赶快带他们过一次”。当场晕忽忽的…怎么还有这回事啊。没办法啊,我们出来混,上面明确要求不能对用户说“不”。
8:30到了,全部窗口打开,那可是钞票进,发票出的场面。站在里面的我看着心里挺爽的。时间过了大概一个小时,系统开始有异常的情况出现了。最先暴露的就是大家熟悉的查询。我横着一看四台机器全部显示请等待。紧接着就是标准的北京腔调的疑问,“小伙子,你得给我看看,这是怎么拉。半天没动静,你叫我怎么办啊?”稳住他们,立马电话连通信息中心,“喂…请帮我查一下,为什么系统现在特别慢,住院处已经没法继续拉”。还没有收到电话里面的回复。信息中心已经有人赶到现场,通知用户赶快把系统切换到103(另一台web服务器)。结果出人意料,切换到103的用户登陆后,页面错误频频。用户操作一半失败了。眼睛帖着屏幕仔细一看内存不严重不足。NND一直惊风火扯的Error Page 这回算是看过瘾了。四台电脑同时Show给我看,
住院处的领导们还是见过大场面的。临场指挥,果断坚决。帖一纸条“手工办理”上窗户。指挥着,“大家体谅一下,现在系统正在升级,难免出现问题。紧急的用户可以先到这边来,我们帮你们做手工录入,呆会系统好了,录进去把条子给你们送过去。”
我也没有傻呆着,组织起两台客户机器,再试一试101(住院处主服务器)。TNND这回就更加不可接受了。服务器直接down掉。我看到的是IBM字样的提示信息了。“IBM”啊,我们把你们的硬件软件一起放在那间神圣的机房里面。门口得刷卡进去。其他得连灰尘也没让它靠近你。就差点上几根香,搁一大盘子放点苹果橘子把你供起来拉!就这样回报我们啊???
NND不会吧?才一个小时就玩完拉?这时候信息中心果断的重起了一次服务器,虽然没有通知我们。但是我还是很感谢他们及时的处理。NND再进页面状态入初,那种感觉就像是早上起床推开那玻璃窗户。多爽啊!后来,103也重启好拉,这回通知拉,主要给住院处用。我又指挥着,大家都确认进103吧。这次切换还算满意,一直到病人录入完毕都没有发生问题(四台一起工作)。在住院处守侯了一天,看着他们不时拿出全部发票,钞票,数着算着,最后打开报表核对,呵呵!他们也怕钱不够。还好,平均每个人核对过3次。精确到小数点后面两位数。都能对上。
中午回研发室吃盒饭。正好碰上老大在给蔡总汇报情况。挺实在的,包括问题,出现原因,现在的解决办法。从系统设置,到硬件,那可是都说到点子上拉。“就好比公司说要让他们动起来每人发5000先用着吧。” 话语中我能感觉到明天早上的压力会比今天小。不管能小多少,能不断进步就好。听得入神拉,难吃的盒饭,快吃完才感觉出来难吃死老。这回还真对得起这10块钱。
看到这里,我想大家,还会为我明天早上的遭遇,捏一把汗。总结一下:“问题会延续... 时间不确定;压力依然在,时间不确定;”可能这个时间越短,我们能学到的越多。
2005年10月31日 听涛 601室 窗台