关停旧HIS的第一周，，，，，检验汇报“隐没”了

先讲一个真实的故事。。。。。

一家日均门诊量7000+、运行着300多个业务子系统的综合三甲医院，，，，，上线了新的HIS系统。。。。。新系统安稳运行一段功夫后，，，，，信息中心按打算把老HIS下线。。。。。

当天，，，，，问题来了。。。。。

医生工作站看不到LIS的检验汇报——LIS系统里明明有；；；；；患者做了CT，，，，，PACS里有影像，，，，，医生电脑和患者手机端都显示“没有汇报”。。。。。

患者做了查抄拿不到汇报，，，，，医生没法判断病情，，，，，临床科室的反馈电话一个接一个打到信息中心。。。。。

排查的过程，，，，，是一场典型的“三不论”：

找LIS厂商——“数据已经发给HIS了”；；；；；

找HIS厂商——“没有收到LIS的数据”；；；；；

找PACS厂商——“影像已经推从前了”；；；；；

再问HIS——“同样充公到”。。。。。

三家厂商，，，，，都说自己没问题。。。。？？？？？？？苫惚，，，，，就是看不到。。。。。

转折来自一个细节：信息中心的工程师把稳到，，，，，问题刚好呈此刻老HIS关停之后。。。。。抱着碰运气的设法，，，，，把老HIS沉新启动——业务立刻复原。。。。。

过后，，，，，几家厂商一路到现场定位，，，，，真相浮出水面：LIS和PACS有一部门接口，，，，，挪用的依然是老HIS的接口，，，，，切换时没有换到新HIS上。。。。。而之所以没换，，，，，是由于——没有人知路系统之间到底有哪些接口在挪用、每个接口是干什么的。。。。。系统间的挪用关系，，，，，对信息中心来说，，，，，齐满是一个黑河祝。。。。

这家医院的信息掌管人过后说了一句话：“这还只是很少的业务关联。。。。。此刻各系统的关联关系、接口关系底子看不清，，，，，各厂商只掌管自己的部门，，，，，没有人从全局去排查定位。。。。。”

这不是一家医院的问题

几位同业的心声：

某肿瘤专科三甲医院（日均门诊量2700，，，，，100+业务子系统）的信息中心主任：“我不怕已经梳理明显的业务系统，，，，，最怕的是还有几多业务架构问题是不知路的。。。。？？？？？？？缫滴裣低车墓收吓挪榧嚷榉，，，，，厂商间相互推诿，，，，，目前也没有人能牵头急剧定位。。。。。”

某妇儿专科三甲医院的运维掌管人：数据库死锁和慢SQL每周出现屡次，，，，，手工梳理要1-2个幼时能力找到源头，，，，，能力kill掉会话复原业务。。。。。我们但愿有工具能支持死锁和慢SQL的监测、诊断、一键kill。。。。。”

某日均门诊量11000的综合三甲医院运维掌管人的进展更直接：“系统改观大，，，，，接口频仍增改，，，，，一旦坏了影响很广。。。。。但愿能定位到具体哪条蹊径、哪个IP异常，，，，，不要再被动救火——吓宗临床发现风险，，，，，是信息中心的第一职责。。。。。”

三家医院，，，，，规模、系统、故障各不一样，，，，，却指向统一件事：信息中心手里，，，，，缺一个能看清全局的伎俩。。。。。

为什么业务故障越来越难定位？？？？？？？

根因一：业务互联化，，，，，牵一发而动全身

在电子病历评级、互联互通测评等政策推动下，，，，，医院通过集成平台、ESB、API把上百个系统深度耦合在一路，，，，，任何一个主题系统或关键接口出问题，，，，，都可能让依赖它的一串系统集体趴窝。。。。。

根因二：工具看不懂业务

传统运维工具检测的是基础设施指标——CPU、存储IO、网络健全度、数据库表空间占用。。。。。这些指标正常，，，，，不代表业务不卡、不慢、不休。。。。。至于系统间的接口关系？？？？？？？无数单元靠一份手工守护的Excel台账或静态架构图，，，，，系统一改就过期。。。。。

根因三：没有人能掌控全局

用户接见一次业务系统，，，，，要经过：终端→有线无线网络→安全设备→云/虚构化→存储→中央件→数据库→利用法式→API接口→表部支付机构。。。。。链条上每一段属于分歧厂商。。。。。信息中心无论从技术能力还是职责分工上，，，，，都不具备全局两全的伎俩。。。。。

根因四：熟悉的运维模式失效了

从前业务系统独立，，，，，出问题找对应厂商就能解决。。。。。此刻问题可能出在基础设施、上游系统，，，，，甚至表部支付机构——各厂商各自为政，，，，，都说自己没问题，，，，，客户被迫当裁庞祝。。。。

也想过上APM（利用机能治理）工具，，，，，但两条路都走不通：代码侵入式采集，，，，，医院基于信息安全思考不接受；；；；；即便允许，，，，，APM的挪用链、火焰图是给研发人员看的，，，，，驻场运维底子用不起来。。。。。

乐享3.0的解法：零侵入的全链路可观测

全发国际乐享3.0的主题主张是：

在不扭转业务系统一行代码的前提下，，，，，让驻场运维人员实现业务故障的分钟级发现、分钟级定界，，，，，并把常见故障的预防造成日常巡检。。。。。

若何做到？？？？？？？乐享3.0通过四个关键能力，，，，，逐一回应信息中心每天最想问的四个问题：

问题一：系统之间到底是怎么连的？？？？？？？

看不清，，，，，就始终不知路“黑盒”里有什么。。。。。乐享3.0用看清业务的能力来回应：不必要业务厂商共同，，，，，也不必要改一行代码，，，，，三种零侵入的采集方式并行，，，，，把“谁在调谁、调得好不好”摸明显：

eBPF Agent：在操作系统内核层采集数据，，，，，覆盖虚构化内部和容器的器材向流量——系统与系统之间的横向挪用靠它看。。。。。轻量、零侵入，，，，，占用系统资源低于5%，，，，，支持HTTP/HTTPS/TCP/DNS/RPC/SQL等主流和谈；；；；；

网络流量镜像：通过互换机旁路镜像采集南北向流量——终端接见业务系统靠它看，，，，，对业务零影响；；；；；

过程关系发现：通过SSH鉴别过程间的TCP挪用关系，，，，，连Agent都不用装。。。。。

并且这张挪用地图是“活”的：系统自动鉴别业务系统天堑、自动发现接口及互访关系和挪用质量，，，，，接口的新增、调换、参数变动都能自动跟上——信息中心不用再依赖那份始终赶不上调换的手工接口台账。。。。。

问题二：出问题，，，，，能不能比临床更早知路？？？？？？？

好多故障，，，，，信息中心不是第一个知路的。。。。。故障的第一发现人，，，，，决定了信息中心是“自动措置”还是“被动挨批”。。。。。乐享3.0用实时感知的能力来回应：让系统替信息中心站岗。。。。。两类故障，，，，，两种机造：

可用性故障（业务打不开）：表置拨测点对业务系统持续仿真探测，，，，，最快1分钟内收到告警；；；；；

卡慢故障：基于用户履历指标持续观测，，，，，为预防“闪断”造成误报，，，，，持续观测5-10分钟后触发告警。。。。。

履历类故障急剧正确发现鉴别

问题三：问题到底出在哪一段、是谁的责任？？？？？？？

故障定位难，，，，，一半难在“说不清是谁的问题”。。。。。乐享3.0用智能定界的能力来回应：故障产生时，，，，，1-3分钟内给出结论——问题在网络、利用，，，，，还是基础资源，，，，，把信息中心从“被迫当裁判”的地位上解放出来。。。。。

SLE（Service Level Expectation，，，，，服务水平进展）用户履历指标系统是整个规划的技术内核。。。。。它不看资源，，，，，看履历——用四组指标（网络衔接成功率、网络衔接时延、利用响应成功率、利用买卖时延）衡量业务运行健全度：

故障产生时，，，，，SLE指标关联分析器自动关联异常指标、自动推算各原因的占比、直接给出定界结论——问题出在哪个天堑：

指向网络：DNS解析异常、TCP建连异常、网络拥塞丢包导致的无法接见或接见慢；；；；；

指向利用：接见无响应、接见谬误、响应时延高；；；；；

指向基础资源：操作系统CPU/内存瓶颈、中央件衔接池不及、数据库死锁或慢SQL。。。。。

基于SLE业务故障诊断模型的故障根因急剧定界定位分析

定界给出方向之后，，，，，还有两件事决定故障能不能真正关环：

一类是“复现不了”的疑难杂症。。。。。故障产生时不在现场，，，，，等厂商参与已经“好了”，，，，，一句“复现不了”就能把问题挡回来。。。。。这类故障怎么破？？？？？？？乐享3.0把原始用户接见数据留存7天，，，，，肆意时刻的异常都能下钻回溯齐全会话——是哪个五元组、哪个要求、错在哪里，，，，，全程有据可查。。。。。

另一类是数据库死锁和慢SQL等“老弊端”的自动化处置。。。。。系吐溷侵入地自动捕获锁与慢SQL清单，，，，，智能分析源头锁、关联锁，，，，，支持锁溯源和一键KILL。。。。。

数据库深度分析

问题四：能不能让故障底子不产生？？？？？？？

乐享3.0用自动预防的能力来回应。。。。。预防难在哪？？？？？？？隐患在出事前底子看不见。。。。。死锁、慢SQL这类问题，，，，，第一次出现前没有任何征兆；；；；；等它们造成“每周都来”的老问题，，，，，信息中心其实已经反复救火很久了。。。。。

乐享3.0靠两个自动化的日常作为：

风险预防查抄项：内置覆盖常见数据库（锁、慢SQL、超时SQL）、操作系统、网络设备及链路的预防查抄项，，，，，后盾自动巡检，，，，，在死锁造成业务中断之前躲避风险；；；；；

接口质量劣化检测：对接口的响应功夫、成功率、挪用频率、超时率做多指标趋向分析——不是等接口“坏”，，，，，而是在它“在变坏”的时辰就预警。。。。。

这两套自动化跑起来，，，，，好多故障会在产生之前就被拦下。。。。。

风险隐患健全查抄，，，，，防患故障于未然

实战检验

福建省人民医院（综合三甲，，，，，80多个子系统）

移动查房系统早顶峰卡顿，，，，，PAD上打不开、一向转圈，，，，，网络厂商与软件厂商相互推诿近一个月没有结论，，，，，护士长把投诉电话打到了主任那里。。。。。

引入乐享3.0后，，，，，通过全链路追踪，，，，，几分钟内锁定根因——服务器TCP衔接未开释，，，，，研发一周内解决。。。。。

目前，，，，，该院复杂故障均匀处置时长从120分钟降至20分钟，，，，，故障处置从“多方线下会诊”转变为“一人线上关环”。。。。。

结语

业务系统不会越来越少，，，，，挪用关系不会越来越单一。。。。。业务陆续性的性质，，，，，是有人站在全局看业务。。。。。

全发国际乐享3.0致力于：让信息中心占有站在全局看业务的伎俩——看清挪用关系，，，，，吓宗临床感知，，，，，分钟级定界，，，，，日常；；；；し馈！！。。