数据中心整体搬迁策略方案.docx

《数据中心整体搬迁策略方案.docx》由会员分享，可在线阅读，更多相关《数据中心整体搬迁策略方案.docx（62页珍藏版）》请在悟道方案网上搜索。

1、数据中心 整体 搬迁策略方案 数据中心整体搬迁策略方案 数据中心 整体 搬迁策略方案 第 2 页 目录 1 概述 . 3 1.1 XX 数据中心搬迁目标 . 3 1.2 XX 数据中心搬迁范围 . 3 1.3 搬迁策略制定的意义 . 5 1.4 搬迁策略制定 . 6 1.4.1 搬迁策略制定方法 . 6 1.4.2 搬迁策略制定原则 . 6 1.5 XX 数据中心搬迁方式 . 7 1.6 XX 数据中心搬迁策略制定的重点和难点 . 7 1.7 搬迁策略阶段工作总结 . 8 1.8 搬迁策略的总体思路及整体过程 . 9 1.9 XX 数据中心搬迁的特点 . 10 2 XX 数据中心搬迁策略分析

2、. 11 2.1 搬迁策略的要点 . 11 2.2 搬迁策略分析内容 . 11 2.2.1 IT 架构分析 . 11 2.2.2 应用关联分析 . 14 2.2.3 业务中断影响分析 . 15 2.2.4 批处理关联分析 . 15 2.2.5 系统保护分析 . 17 2.2.6 物理共享分析 . 18 2.2.7 设备冗余分析 . 20 2.2.8 机房环境分析 . 22 2.2.9 风险分析 . 26 3 XX 数据中心搬迁策略 . 29 3.1 XX 业务系统搬迁方式 . 29 3.2 搬迁批次划分要求 . 29 3.3 搬迁各批次分析 . 33 3.3.1 批次 1 搬迁分析 . 33

3、3.3.2 批次 2 搬迁分析 . 34 3.3.3 批次 3 搬迁分析 . 45 3.4 搬迁过程中的备份策略 . 46 3.5 搬迁中的容灾保护 . 48 3.6 搬迁的应急预案 . 48 3.7 XX 数据中心搬迁实施组织架构建议 . 51 3.7.1 搬迁实施总行领导工作委员会职责 . 52 3.7.2 搬迁实施工作组职责 . 52 4 总结 . 61 数据中心 整体 搬迁策略方案 第 3 页 1 概述 1.1 XX 数据中心搬迁目标 XX 现在使用的机房于 XX 年建成，位于某市 XX 东路，随着业务不断发展，业务系 统持续增加， 机房区间、机房 电力空调等基础 设施容量 趋于 饱和

4、 ，当时设计的能力已难以 满足 XX 业务发展需要 。 位于某市保税区市花路的新 数据中心 ，与现机房距离为 15 公里， 预计 20XX 年 2 月 12 日 完成机房整体 建设 。 为满足业务发展需要， XX 需尽快实施新数据中心的搬迁，使数 据中心的综合管理和生产运行能力上一个新台阶。 XX 初步计划于 20XX 年 3 月份实施现有数据中心的整体搬迁，搬迁期间整个银行业 务将全部中断，其对外影响非常重大。 XX 数据中心搬迁的目标为：完成当前数据中心及 中心机房内部所有 IT 基础设备的现状梳理、根据 XX 自身的业务特点和业务需求，制定出 符合 XX 的搬迁策略和详细方案，保障业务系

5、统顺利搬迁到新数据中心，将搬迁的风险以 及搬迁对业务的影响降到最低。 1.2 XX 数据中心搬迁范围 XX 数据中心搬迁的范围主要是 XX 位于某市某路某号， XX 大楼数据中心的 67 个计 算机系统 101 个业务系统，包括核心业务系统、网银系统、外联系统等。其中： 计算机设备 1063 台，包括： 主机 小型机 服务器 SAN 存储、磁带库、磁带机 网络设备 UPS、空调、加密机等其他设备 机房 范围 5 楼大机房 、小机房 数据中心 整体 搬迁策略方案 第 4 页 24 楼信用卡测试设备 27 楼资产管理部 5 楼动力机房（设备利旧） 11 楼测试机房 XX 分行 （部分测试设备） 不

6、包括： 11 楼集中作业部， 22 楼金融市场部 1 楼机房 ， XX 分行 库房 具体的业务系统如下表所示。 类别 业务系统 子应用系统 核心业务 综合客服、信用卡、个贷 4 个 前置类业务 卡交换、综合理财、黄金交易、个人实盘外汇买卖、 开放式基金代销、资讯平台、保理、商业汇票、银银合作、 资金交易前中后一体化、现代化支付、供应链金融、第三 方存管、联网核查公民身份信息、前置、分行前置等 42 个 渠道类业务 网上银行、 95501 客户服务中心、终端、全行 b/s 查 询机、统一消息平台、金卫士、网上招聘、内部网服务器 等 11 个 技术支撑 密码服务系统、通讯集群网关、加密机 3 个

7、业务管理类 资产托管、信贷风险管理、国际业务处理、 Swift、电 子数据存储、电子式储蓄国债、统一数据补录平台、电脑 验印、银税信息共享、统一征信、反洗钱监测报告、反恐 怖融资黑名单、关联方信息管理、员工买卖股票申报等 18 个 数据中心 整体 搬迁策略方案 第 5 页 经营分析 SAP、客户关系管理、财富管理、资产负债、综合报 表、金融统计统一报送、事后监督、 ODS 等 12 个 办公管理 OA、学习管理、人力资源等 6 个 科技管理 ITSM 1 个 分行 证券资金清算 1 个 1.3 搬迁策略制定的意义 搬迁策略是搬迁实施的指导原则，一个好的搬迁策略可以帮助 XX 安全、平滑地实现系

8、 统搬迁和业务切换，反之，一个不好的搬迁策略则会给搬迁工作带来很多的麻烦，严重时 甚至会造成搬迁的失败； XX 搬迁策略制定的主要意义在于： 保障业务系统顺利搬迁： 全面分析应用关联和物理关联 制定业务和数据安全保障建议 制定应急预案的建议 降低业务中断影响： 分析业务中断影响 保障业务按优先等级进行恢复 缩短重要业务的中断时间 降低搬迁风险： 多方位的风险识别、风险分析 制定风险应对策略建议 提高搬迁效率： 规划搬迁各批次的应用及设备清单 规划搬迁时间 梳理搬迁前的准备工作 数据中心 整体 搬迁策略方案 第 6 页 1.4 搬迁策略制定 1.4.1 搬迁策略制定方法 在整个搬迁策略制定的过程

9、中，我们采取了神州数码的搬迁策略制定方法。如下图所 示。 首先，通过访谈、问卷、现场勘查、现有资料分析，我们对 XX 的信息系统基础架构进行 了全面的了解，在此基础上，从 IT 基础架构、应用关联关系、业务中断影响、批处理关联、 系统保护现状、物理设备共享关系、设备冗余情况、机房现有环境、人员组织架构及搬迁 风险等方面，全面进行了搬迁分析，通过综合考虑各方面的要素，制定出 XX 数据中心的 整体搬 迁策略，包括各应用的搬迁方式、搬迁批次、搬迁阶段临时备份策略、搬迁过程中 的数据保护方式、搬迁组织架构、搬迁应急预案等重要策略。 1.4.2 搬迁策略制定原则 在搬迁策略策略的制定过程中，我们考虑了

10、以下原则： 采取 先易后难，循序渐进的原则进行分阶段、分步骤的实施， 从而可以 降低搬迁的系 数据中心 整体 搬迁策略方案 第 7 页 统性风险 ， 减少业务停顿次数和总体停业时间 。 按业务等级、应用关联和业务中断影响，决定搬迁过程中业务恢复的优先顺序以及不 同应用的搬迁方式。 制定完善的核心应用和数据保护方式，降低搬迁对核心数据和系统的风险。 保障重要应用系统应急环境的建立，缩短 搬迁过程的故障处理时间。 搬迁过程尽量保持原有 IT 服务水平（ Service Level），避免增加单点运行风险 。 提前测试和验证新机房的环境、网络及数据，保证的搬迁过程的平滑过渡 。 1.5 XX 数据中

11、心 搬迁方式 通常数据中心的搬迁分为三类： 物理搬迁：物理设备整体搬迁。 业务系统切换：数据、应用整体切换；无物理设备的搬迁过程。 混合型：部分数据、应用切换；部分数据、应用直接物理搬迁。 基于对 XX 现状的分析和实际的业务连续需求，建议 XX 采取 “ 混合型 ” 的搬迁方式 进行数据中心搬迁，部分系统的数据、应用采用切换方式，部分系统直接搬迁。 其中各业 务系统的搬迁方式如下表所示： 业务系统 单系统搬迁方式 优点 缺点 核心业务系统，关 键 7 24 对外系统 系统切换 平滑切换； 完整的系统和数据保护； 业务中断影响最小 需要专有的备用系统环 境，技术实施难度和投 入较大 对外服务

12、5 8， 7x15 业务系统 存储切换，服务 器物理搬迁 完整的数据保护； 业务中断时间较长 对内业务系统 设备物理搬迁 无需专有的备用环境 依赖本地数据备份保护 方式，业务中断时间长 1.6 XX 数据中心搬迁策略制定的重点和难点 XX 数据中心搬迁策略的重点和难点主要有以下几方面： 数据中心 整体 搬迁策略方案 第 8 页 应用关联复杂：从业务持续角度出发规划搬迁方案，需要充分考虑应用间的千丝万缕 的联系。 业务中断影响大：在制定搬迁策略时需要最大限度地减少中断时间，降低中断给业务 带来的影响。 应用搬迁和网络的割接同时进行：这样增加了搬迁的难度，需要确定网络割接所影响 的业务系统，保障应

13、用系统搬迁所需的网络环境。 应用和设备数量较多：无法一次搬迁，需要分批搬迁。 搬迁时间紧迫：三月底左右需要完成全部设备搬迁。 备份设备（ STK 带库）无法同时搬迁就位：需要考虑临时的备份方案。 设备冗余有限，不能全部切换：可以采用核心业务切换，其他系统搬迁的方式。 应用间数据交互量大：搬迁次序需要考虑业务间访问所造成的网络性能影响。 存储空间不足：需要分批进行 2 台 EVA 上数据的同步；同时需要租赁或新购一台 NAS 存储。 需要定义业务恢复时间，保护级别等关键指标，考虑保障数据安全和业务持续的技术 架构，编写业务恢复方案，应急预案，测试方案等详细步骤来满足业务持续的要求。 1.7 搬迁

14、策略阶段工作总结 搬迁策略阶段主要工作内容： 进行了 62 场访谈和研讨： 涉及 90 多名应用管理员、应用开发人员和系统、网络、设备、操作室主管、经理 及管理员 52 场应用访谈 3 次网络现状和网络割接研讨 4 次系统、备份、存储现状研讨 1 次操作室日常操作管理现状访谈 2 次搬迁策略研讨会 完成了对 103 个应用系统的访谈 数据中心 整体 搬迁策略方案 第 9 页 绘制了 57 份应用系统关联图 编制了 40 份单 系统 搬迁分析报告 整理了各应用系统的详细设备信息 制定了总体应用系统业务关联图、应用总表 应用系统批处理关联总表 完成了机房的初步勘查工作 老机房和新机房现场勘查 整理

15、了各机柜的详细设备信息 该阶段得出单应用分析报告、搬迁业务影响分析、定时批量任务关联分析、应用关联 分析、业务恢复时长分析、应用设备对应清单、机柜设备清单等文档。 1.8 搬迁策略的总体思路及整体过程 批次 思路 系统 批次一 为后续关键批次的搬迁提供必要的 技术条件，同时验证新数据中心的网 络、搬迁的路线、 影响较小或独立的业务系统、核心系统的备 机，他们的搬迁不会对银行的业务造成外部 影响 批次二 搬迁对外服务 724 或 715 的 业务 系统、以及相应紧密关联的对内业务 系统。将对外的业务影响降低最低 核心业务系统，一般都是 7*24 的业务系统， 对银行的外部影响较大 批次三 搬迁剩

16、余的业务系统、开发系统以及利旧的设备 一般是 58 的业务系统，对外部的影响较低 由于 XX 数据中心需要搬迁的设备和应用比较多并且业务对外影响大，故我们采用分 批搬迁，搬迁的总体思路如上表所示。 整个搬迁过程如下图所示。 数据中心 整体 搬迁策略方案 第 10 页 从上图可以看出在各批次搬迁前必须具备一定的前提条件，在之后的章节中我们将做 详细的讨论。 1.9 XX 数据中心搬迁的特点 通过对 XX 数据中心现状的分析以及基于数据保护的要求， XX 数据中心搬迁将会具 有以下特点。如下图所示： 搬迁准备工作 新旧机房网络连通、 测试完成；新机房线 路测试完成 D MX 上第一批次系统 数据同

17、步 EV A8 1 0 0 - 2 至新机房 EVA8 400 数据同步 过渡备份环境搭建 第一批次搬迁 部分对内业务系 统搬迁 第二次数据 同步 D MX 上第二批次 系统数据同步 EVA8 1 0 0 - 1 至 EV A8 1 0 0 - 2 数据 同步 （部分业务 系统）及数据验 证、测试 第二批次搬迁 网络设备搬迁 网络线路割接 核心业务系统切 换 主要业务系统搬 迁 第三次数据同 步 EV A8 1 0 0 - 1 至 EVA8 1 0 0 - 2 数据 同步 （剩余业务 系统 SAP 、 OA ） 及数据验证、测 试 第三批次搬迁 剩余业务系统、安 全、网络管理类系统 D MX1

18、 0 0 0 、 D MX3 、 EVA8 1 0 0 - 1 、 ST K 带 库搬迁 利旧设备： U PS 、 空调等 3 月 20 日2 月 20 日 3 月底 4 月初 3 月 6 日 核心类系统的备机搬迁 2 月 5 日 E V A 8 1 0 0 - 2 及相关业务系统搬迁 数据中心 整体 搬迁策略方案 2 XX 数据中心搬迁策略分析 数据中心搬迁策略分析是搬迁策略制定的基础，分析的目的是制定搬迁策略，分析的 范围都是围绕搬迁策略的考虑要点而进行。因此本章将首先简单介绍搬迁策略的要点，然 后详细描述 XX 搬迁策略分析的过程，及其对搬迁策略制定的影响。 2.1 搬迁策略的要点 搬迁

19、策略的要点包括： 整体搬迁方式 搬迁过程中的数据保护方式 搬迁批次划分 各批次应用系统清单 各批次搬迁系统的设备数量统计 各批次搬迁时间 各批次内应用系统搬迁先后顺序 各业务中断和恢复时间分析 各批次搬迁前 的准备工作 搬迁过程中的数据备份策略 搬迁过程中的应急环境策略 搬迁组织架构策略 2.2 搬迁策略分析内容 2.2.1 IT 架构分析 XX 的 IT 总体架构如下图所示， 核心区包含了绝大部分对外对内的业务系统，将与新机房核心区连通； 网银区包含的系统有：网银及数字证书、外汇系统、黄金系统、前置 -银企直连、 公路收费、个贷系统（预审批）、网站、离行办公系统（ VPN)； 数据中心 整体

20、 搬迁策略方案 第 12 页 外联区包含的系统有：金卫士、统一消息平台、电子储蓄国债。 从 IT 总体架构可以看出，搬迁过程中，由于网络分区的现状及部分网络设备需要搬迁， 对外业务相关系统最好一起搬迁，核心区内的业务，由于新老机房核心区联通，可以按多 个批次进行搬迁。但整个搬迁过程中，网络环境的具备与快速恢复将是搬迁的重要条件。 考虑数据安全的重要性， XX 在新机房采购了 DMX3 和 HP 存储，并计划采用数据同 步复制结合数据切换的方式，从而避免数据丢失或者存储故障而带来的严重后果。 当前的 SAN 与存储架构如下图所示。 外联区系统： 金卫士 统一消息平台 电子储蓄国债 网银区系统：

21、网银及数字证 书、 外汇系统 黄金系统 前置 -银企直 连、公路收费 个贷系统（预审 批） 网站 离行办公系统 （ VPN） 核心区 包含了绝大部 分对外及对内业务系 统，将与新机房核心区 联通 分行接入 专线 外联专线接 入 数据中心 整体 搬迁策略方案 第 13 页 新机房采购的 DMX3 其空间容量比较充分，可以同时和老机房 DMX3、 DMX1000 进行数据复制，而新机房新购的 HP 空间则容量相对有限，不能同时存放 EVA8100-1， EVA8100-2 的数据，因此，在数据复制过程中，只能先复制其中一台 EVA 存储，等数 据复制完成并将相关系统搬迁到新机房后，再将空闲存储搬迁

22、至新机房，并和另外一 台 EVA 存储进行数据复制同步。这就要求搬迁策略必须充分考虑 HP 存储数据复制时 间的要求。 当前存储与应用系统的对应关系如下图所示： M a i n f r a m e S e r v e r s S e r v e r s D M X 1 0 0 0 O pe n 200B 200B 5100B 4900B5100B 4900B D M X - 3 EV A 8 1 0 0 - 1 EV A 8 1 0 0 - 2 O pe n DS - 24 - M2 DS - 24 - M2 数据中心 整体 搬迁策略方案 第 14 页 从图中可以看出 EVA8100-2 对应

23、的系统比较少，因此可以先行搬迁， EVA8100-1 上的 系统比较多需要分批次搬迁。资产托管系统连接单独的存储。 另外，电子存储系统、网银系统、商业汇票、征信系统、 ODS 连接 NAS，因此，也 需要考虑 NAS 的同步复制关系，但目前并没有采够新 NAS，因此搬迁策略中要考虑相应 的 NAS 问题。 2.2.2 应用关联分析 通过前期的应用访谈以及对现有信息的收集，我们对各应用的关联的系统进行分析汇 总得出应用关联分析表，如下所示。 根据以上的应用关联关系表，在相关系统搬迁至新机房后，就可以判断相关业务测试 的可行性以及对外恢复的能力。 根据应用关联分析，结合 XX 的应用服务等级定义，

24、可以发现搬迁过程中，各应用的 恢复等级如下： DMX1000 DMX3 EVA8100-1 EVA8100-2 FAS3140-NAS DS4300 电子存储系统 网银系统 商业汇票 征信系统 资产托管 系统 个人实盘外汇买卖 开放式基金代销 国际业务处理 综合客户服务系统 卡交换 信用卡系统 新代收代付 信贷风险管理系统 银税信息共享 对外 724 或 715 业务系统 对内服务 系统 对外 58 业务系统 信用卡催收管理 财富管理 ITIL 信用卡 个人贷款 黄金交易 网上银行 OPICS 现代化支付 各前置系统 分行前置 总行前置 保理业务 统一消息平台 终端系统 电子存储系统 ODS、

25、 SAP 事后监督系统 人力资源管理系统 OA 系统、 CRM 信用卡系统 -测试 终端整合测试 综合报表系统 信用卡数据集市 电子式储蓄国债 商业汇票 统一征信 OD S 事后监督 零售信贷 (开发 ) ODS(备机 ) 信用卡反欺诈 数据中心 整体 搬迁策略方案 第 15 页 1. 综合客服、信用卡、个贷 是对外服务的核心，需要最优先的恢复； 2. SNA 网关、前置平台 是其他对外服务到综合客户服务的关键通道，也需要最 优先的恢复； 3. 网银、终端系统、 ATMPCV、多媒体自助、金卫士 是对外服务的窗口，需要 优先恢复； 4. 卡交换 是银联接入深发行的通道，需要优先恢复； 5. 网

26、银 的业务与现代化支付关联紧密，需要优 先恢复现代化支付； 6. 其他系统按应用服务等级进行恢复 2.2.3 业务中断影响分析 通过对访谈信息的收集及分析得出业务中断影响分析表，如下图所示。 根据业务中断影响，可以发现对外服务的业务需要尽量减少停机次数，并需要尽可能 地建立专用应急环境。 2.2.4 批处理关联分析 各应用批量关联表如下图。详见交付文档 XX Relocation_搬迁策略分析 数据中心 整体 搬迁策略方案 第 16 页 其中红色批量任务是需要按时完成的任务，很难进行更改。因此系统搬迁时，需要考 虑这些时间段，尽量保证这些批量任务在完成后再进行设备搬迁或者系统切换。 另外，和主

27、机直接依赖的批量任务有： 直接关联应用 通道应用 批量名称 原批量时间 备注 综合理财系统 扣款、还本、付息 主机批前任务 总行前置 金抵利 :到期自动转存批量 主机批后任务 总行前置 金抵利 :回盘处理 主机批后任务 总行前置 报表生成 主机批后任务 国际业务处理 国际业务晚间批量程序 22:0023:00 主机批前任务 OBS 批量 6:00-6:30 主机批前任务 OPICS OPICS 批量 18:3021:00 主机批前任务 商业汇票系统 日终批量脚本 21:456:10 主机批前任务 给 ODS 送数 主机批后任务 给 rtc 送报表 主机批后任务 新终端系统 给 ODS 提供数据

28、 3:003:15 独立批量 备份 4:004:30 独立批量 主机回盘处理 4:304:45 主机批后任务 更新机构表、行部表、人力 资源表、角色互斥批量 6:006:20 独立批量任务 发送批量文件 21:0521:20 主机批前任务 更新柜员状态 23:0123:10 独立批量 生成报表 23:1023:30 独立批量 服务重启 23:3023:59 独立批量 个贷系统 个贷批量计提扣款 20:000:30 主机批前任务 日间批量 主机批前任务 个贷存低贷系 统 批量代收代付 系统 存抵贷收益批量支付 17:0018:00 主机批前 保理系统 日终作业 21： 3021： 45 主机批前

29、 换日作业 8： 008： 15 主机批后 网上银行 总行前置 商户入账批量 21:00 主机批前 数据中心 整体 搬迁策略方案 第 17 页 0:00 主机批前 集团自动划拨 22:00（ 1min） 主机批前 卡交换系统 日终批量 0:202:20 独立批量 日始批量 2:002:30 主机批后 RMAN 数据库备份 3:005:30 独立批量 黄金交易系统 黄金批量 3:003:05 主机批前 个人外汇实盘 买卖系统 行情备份 6:006:10 独立批量 前置日志备份 6:306:40 独立批量 交易系统日志备份、数据清 理 6:306:40 独立批量 传 ODS 数据 1:301:40

30、 独立批量 与主机对账 6:006:10 主机批后 客户信息同步 主机批后 前置 某前置 hibatchnoecho.sh 2： 006： 00 主机批后 其他分行 hibatchkeep.sh 5： 006： 00 主机批后 电子式储蓄国 债系统 日终处理 17:0017:45 主机批前 电子数据存储 系统 JGP-CONVERT 3： 0016： 00 主机批后 ODS ODS 批处理 23： 4011： 30 主机批后 新代收代付批 量系统 hibatchkeep.sh 2： 003： 30 主机批后 ATMPCV 系统 更新机构表 6:106:20 主机批后 启动主机与前置， ATM

31、与前置对帐 3： 003： 10 主机批后 给 ODS 供数 2： 002： 10 独立批量 信贷风险管理 从 ODS 取文件，该文件来自 主机 4:00-10:00 主机批后 对于主机批后的任务，由于主机做完批量后，会将在次日自动覆盖，因此相关应用需 要尽快搬迁至新机房，并获取数据后补做批量任务。如不能在规定时间搬迁至新机房， 则需要考虑利用备份进行恢复。 2.2.5 系统保护分析 目前系统连接同城灾备中心做容灾，如下图所示 数据中心 整体 搬迁策略方案 第 18 页 当前系统的主要备份方式有： 磁带机备份：操作系统主要采用此方式。 Lan-Free 备份：主机系统先备份到 VSM4 虚拟带

32、库，再归档到 STK 物理带库。 （ VSM4 容量 1T，仅能支持 3 天备份） Lan 备份：开放平台采用 Veritas 备份软件 RMAN 备份到 STK 物理带库（注：信 用 卡 DB 采用 LanFree 备份）。 综合当前系统的备份方式，我们在搬迁过程中需要考虑临时备份问题。 另外，综合客服等 4 个系统已经在 GDS 建立了灾备系统，搬迁过程中，如出现紧急情 况，可以考虑使用灾备系统进行应急恢复，另外，等系统搬迁至新机房后，也需要考 虑尽快恢复灾备系统。 2.2.6 物理共享分析 通过对收集的信息进行分析我们发现当前系统有物理共享的情况，包括： 服务器共享： 反洗钱（应用服务器）、 ODS（文件服务器）、综合报表共 享 10.51.1.95(P55A)，综合报表、反洗钱和 ODS 共享数据库服务器 10.1.51.230(P570)， 等共享情况如下图所 数据中心 整体 搬迁策略方案 第 19 页 F5 和 Citrix 共享： ATM 前端系统、 CRM 系统、 RMS 系统（信贷风险管理）、自助终端系统、 ABS 系统、票据系统、黄金系统、密码系统共用 F5； 信贷管理系统、资产保全系统、电子数据存储系统、征信信息系统、信用卡销 售人员管理系统共用办公 Citrix； 网银系统、外汇系统、黄金系统、公路收费（前置）、个贷系统、银企直连（前