运营商存储四大挑战创新方案实现高效管理

近年来，运营商各个机构数据量每年都在成倍增长，随之而来的是对数据存储资源的大量需求。然而运营商对存储环境的管理还处于起步阶段，在存储监控、存储使用方面都缺少相应的方法管理，导致不能及时发现故障，以及存储资源的利用率不高或过度使用，使企业在信息化存储方面付出了高昂的成本。

　　因此，运营商需要建立一套基于存储容量监控、预警、预测和管理的系统，帮助公司降低综合的存储运行成本，同时达到绿色节能环保的目的，提升公司效益和社会效益。黑龙江移动根据存储系统所面临的问题，以及未来云存储时代存储的运维和管理分析，提出相应的管理方案和系统方案。通过创新系统完善运营商存储资源的管控过程，以及容量数据的收集、关联、整合，实现容量资源的动态预警。

　　数据快速增长带来挑战

　　在企业信息化快速发展的今天，各大机构的IT存储系统作为应用数据承载的核心载体，每年都在快速地增长，无法相对准确地了解存储运行情况和预知存储容量的变化情况几乎成为每个IT组织最大的困扰。

　　黑龙江移动在存储运维过程中，面临多个问题，主要集中在四个方面。一是存储设备健康状态、性能状态、容量状态等都需要依靠人工统计分析，无法真正做到对存储设备的实时监控和告警，针对存储设备的运维处于被动方式，这种被动式运维导致有了问题不能得到及时发现和处理，同时消耗大量人力、物力资源。

　　二是存储设备厂商多、种类多，环境复杂、设备间关系不明确。出了问题需要各个厂商一同查找问题，很难快速直接判定问题出在哪，对故障处理时间有直接影响，同时导致业务恢复时间的推迟，影响业务系统的正常运行，大大降低服务质量。

　　三是黑龙江移动需要一套基于存储运维的管理系统，收集所有存储设备相关的信息，以图形化方式展现出来，帮助黑龙江移动做到对存储系统知过去、晓现在、预未来。同时做到系统的自动化，尽量避免人工干预，降低人力、物力资源成本。

　　四是未来的IT运维管理发展趋势必定是一体化、多厂商的运维管理模式，这套运维管理系统应该考虑到此因素，向综合运维管理平台靠拢。

　　因此，黑龙江移动需要建设一个存储运维管理系统，帮助IT管理者预知存储容量的变化趋势、性能趋势、故障情况等，使黑龙江移动能够有计划的准备适当的存储资源，以最高效的方式解决业务发展和存储管理成本间的矛盾。

　　创新存储系统需求分析先行

　　需求分析是决定系统能否符合公司需求的关键步骤。由于黑龙江移动对存储的容量、性能、监控、配置管理当前还没有一个统一的管理方法，对于解决问题所需的数据还没有获得积累的途径，因此对于存储运维管理信息的准确捕获、积累和分析是需求分析的重点内容。

　　在之前的系统运维管理中，存储运维管理都是花费较多时间人工进行管理。在传统的存储管理方式下，存储设备一般会与应用一同立项采购、建设投产和运维管理。通常使用设备级管理工具分散管理，并且没有专设的管理人员。

　　在分散式的存储管理模式下，由于存储设备由某一应用独立占用，存储与业务应用间的关系显而易见，也不会与其他应用间产生存储容量使用上的冲突，但这种模式对于存储资源的高效利用非常不利，大量的存储资源由于应用上线前的评估问题处于闲置浪费状态，这不仅会给公司带来采购成本上的压力，额外的运维持续成本付出也是也是非常可观的费用。

　　因此，当前公司正采用集中式的存储管理模式应对分散管理的缺陷(图1)。集中式的存储管理模式基于SAN网络环境架构，这使得应用与存储设备之间的关系相对独立，存储系统本身形成了IT基础设施的独立核心子系统，后台多个应用通过SAN网络可以共享同一存储设备上的存储空间。这种方式大大缓解了分散模式下存储资源利用的问题，但同时也带来了新的三个问题。

　　一是应用与容量间的关系复杂化：由于存储系统的独立性，单从存储设备的配置情况很难了解容量在应用间的分配情况，这就要求在日常运维过程中对存储的分配有详细的记录和跟踪。

　　二是应用容量的需求更容易超出设备的能力：由于存储资源的集中供给，在应用的存储容量分配过程中更易产生容量和性能的冲突。这就要求我们能实时的观察存储容量的变化，发现潜在的容量和性能问题，通过运维手段及时解决潜在的性能和容量问题。

　　三是对于存储管理的需求日益突出，管理成本明显提升:集中式的管理对存储系统集中规划提出了更高的要求，对存储资源的统筹规划要求运维人员随时掌握存储系统的变化情况，另一方面，随着IT服务管理的不断深化，存储资源作为重要的IT服务资源，也需要被更精细化的管理起来。

　　因此对于黑龙江移动来讲，存储管理是要建立基本的存储运维管理方法，在此管理方法的指导下，建设一套集存储架构管理、自动采集、分析、监控、预警，以及容量变更管理的系统工具，有效的建立起容量管理的基础平台。

　　通过分析，黑龙江移动希望通过存储容量管理系统的建设，达到以下管理目标：清晰的了解存储系统当前的系统架构和配置情况;准确掌握存储资源的分配和使用情况;用规范化的流程管理存储配置和资源的变更情况;对存储资源的利用情况进行实时的监控，在合理的范围内进行容量预警;对业务存储容量趋势能够进行一定程度的预测;所有数据的采集、解析、关联、展现等尽量做到自动化，减少人工干预。[nextpage]

　　建立存储管理功能模型

　　从对存储运维管理的需求和困扰出发，分析实现和解决上述问题需要建立的基础运维管理的方法模型，根据方法模型的指导，总结系统开发和建设的功能性需求。

　　存储容量管理过程模型是由一系列复杂的管理子过程组成的，目的是从不同侧面描绘存储系统在运维的各个时期内的总体和细节情况，这些管理子过程将提供最终进行容量分析和预测的操作数据，并根据特定的数据挖掘方法进行统计、分析和预测。

　　容量数据管理包括对容量信息的识别、采集和导入活动。容量数据管理将对存储系统中的容量分配和业务使用情况进行记录，保证数据的及时、准确和完整性。这些信息一方面是面向存储的容量管理信息，从存储设备的角度观察设备容量的分配和变化情况，这些信息可以包括：设备的裸容量、可用容量、已分配容量、空闲容量等信息。面向存储的容量管理信息可以指导我们分析当前设备的容量消耗情况和剩余能力。

　　另一方面是面向应用的容量管理信息，从主机或应用的角度观察当前分配容量和容量使用情况，这些信息可以包括：文件系统容量、文件系统使用率等信息。这些容量信息来自于最底层的应用存储单元，需要结合配置管理的关联信息整合成特定应用的容量信息。面向应用的容量管理信息可以指导我们分析当前应用的存储容量占用和使用情况，容量管理的总体过程如图2所示。

　　存储容量管理的核心内容是控制存储资源的分配，使不同设备上的资源使用合理化，因此对于存储系统的物理配置和逻辑配置的变更，都需要在规范的过程指导下完成。日常运维的操作需通过严格的审批审核流程，保证资源的分配使用不会带来业务性能和容量的冲突，同时保障生产系统的变更过程能够在风险可控的范围内平滑过渡，变更过程可追溯、可评估。变更管理过程将控制存储系统的配置变化和容量分配变化情况，并将更新的信息第一时间输入到配置管理数据库和容量管理数据库。

　　此外，在配置管理中将建立统一的配置管理数据库来记录各存储配置元素的属性、配置和关系，使存储环境信息能够准确、完整、直观的表现出来。配置管理本身的任务是维系一个与实际环境一致的配置管理数据库，因此需要相关的管理过程进行支持。这里我们采用ITIL推荐的配置管理方法进行管理。

　　在存储性能管理方面，存储设备的性能主要关注存储IOPS、吞吐量、物理磁盘、前端口、后端口、LUN、容灾接口等设备的性能，通常这些性能数据无论哪个厂家的存储设备都可以通过它自己的性能管理工具采集到，我们需要对这些性能数据进行解析和展现。

　　在存储监控告警管理方面，存储设备的监控告警包括故障监控、性能监控及容量监控，故障告警监控来自于存储设备，可以通过存储管理软件、SNMP、SMI-S等方式获取，性能、容量监控都来自于存储性能管理和容量管理功能模块中的性能阀值管理和容量阀值管理中获取报警信息，这些告警信息同时会与BOMC接口，及时送到BOMC系统中。

　　完善存储系统自动化设计

　　在总体框架设计中，存储运维管理系统的主要实现目标是维护存储数据的准确性、完整性，系统架构的设计除应满足这一目标外，还应使数据处理过程尽量自动化。架构设计需有利于数据操作和过程管理功能的完整实现，功能归纳、定义清晰，但尽量简洁明了。

　　存储运维管理系统的软件架构设计采用三层结构，分别为：展现层、业务逻辑层、数据层。如图3所示。

　　展现层构筑于企业运维门户的基础上，是系统中存储运维信息的统一展现、查询平台。展现层将后台复杂的技术数据进行分析和提炼，形成运维人员需要了解的信息，并以图形化的方式展现给各级运维人员，这些内容包括：设备容量实时状态、业务影响分析、监控告警实时信息等，使各级运维人员可以直观的了解存储系统当前的运行状况。展现界面可以根据不同人员的管理需要进行客户化定制。

　　展现层同时负责运维报告的管理和展现，用户可以根据需要为自己定制相应的运维报告，展现层负责定期从数据库中提取和分析相关信息，并定期推送给目标用户。

　　作为运维管理人员访问系统的惟一接口，展现层提供用户管理和访问权限控制的功能，对用户划分角色进行授权和鉴权。

　　业务逻辑层提供支持存储容量管理全过程的流程、数据、管理及相关分析功能。这些功能将分散在不同的业务子系统中分别进行管理。为子系统间的通信和数据传输提供相关接口支持，同时也将提供与外部系统的数据接口，向外部系统提供所需的容量管理数据或获取所需的相关信息。

　　业务逻辑层是容量数据进行集中存储、管理的主要场所，对数据提供基础的安全保障也是这个层面的重要工作之一。

　　数据采集层包含数据准备的基础模块，数据采集层负责将原始的配置和容量信息从存储设备和其它存储环境元素中提取出来，然后将文本型的采集数据正确的传输和储存起来，最后将数据导入容量数据库中。

　　脚本是数据采集的基础工具，包括：采集脚本和导入脚本，通常这两种脚本将配对使用，因此对于脚本的版本控制、部署和运行监控也是数据采集层的主要功能之一。

　　在系统的主页包括存储设备的性能管理、容量管理、监控告警管理、配置管理的总体展现，各功能模块的详细信息可以点击具体功能模块连接进行查看。

　　黑龙江移动进行实践后发现，该系统通过流程化的资源管控，对资源的申请、评估、分配和审计进行了系统的和规范化的管理，使管理者可在容量资源使用的全生命周期内掌握资源的流向和状况;通过对存储环境资源的配置和容量信息的完整收集和关联，使存储环境和容量资源的细节信息能够真实完整的展现给存储运维管理人员，帮助黑龙江移动实时动态的了解当前存储环境和容量资源发生的变化;在容量的预测预警管理中，系统通过学习容量资源的历史消耗情况，帮助管理者准确的发现容量危机，从而从容面对潜在的容量不足问题，同时使存储容量保持在一个合理的水平，降低企业在闲置容量上的运维成本。

运营商存储四大挑战 创新方案实现高效管理