快云：基于科学大数据的云计算平台构建探讨

1 大数据与云计算技术分析

1.1 云计算技术分析

研究机构Gartner指出，大数据需要新的处理模型才能发挥其数据挖掘能力。也就是说，大数据技术应用的关键不是海量数据信息，而是对海量数据信息进行分析和处理，从而发现海量数据信息中有价值的内容，提高数据的价值。通过处理和分析获得数据信息。谷歌、亚马逊等公司在2006年提出了“云计算”的概念。NIST对云计算的定义是：云计算主要是指支持通过互联网便捷地访问共享资源池。用户可以根据自己的需要随时使用。跨任何地方的计算设施、存储设备和应用程序进行计算。云计算具有以下特点：

(1)弹性服务。云计算提供的计算服务具有可扩展性，可以根据业务负载的大小动态变化，有效避免服务器过载问题或资源浪费，保证计算服务质量； （2）资源池在云计算的支持下，可以以共享资源池的形式对资源进行统一管理，为不同的用户提供相应的资源； （3）按需服务，云计算可以根据用户需求提供相应的服务，实现自动共享资源池分配，可以提高用户访问效率和服务质量； （4）无处不在的接入，用户只要拥有终端设备，就可以通过互联网连接到云计算服务平台，享受云计算服务。

1.2 大数据与云计算的关系分析

云计算技术具有强大的大数据处理和计算能力。随着大数据的数据量逐渐增大，大数据分析离不开云计算技术。传统架构虽然可以通过扩展进行大数据处理，但这种数据处理方式并不完全适合大数据环境，具有一定的局限性。云计算平台可以深度挖掘大数据，保证大数据处理和分析的全面性。云计算技术可以实现大数据的分布式并行计算，大大简化大数据处理流程。技术人员不再需要搭建低成本的服务器集群，可以有效避免少数时段集群性能不足或大部分集群时段浪费等问题。看来可以实现大数据信息资源的高效利用。

同时，云计算可以有效整合现有的软件资源和硬件资源，通过虚拟化、网络存储等方法实现IT服务的定制化和弹性服务。在虚拟化和统一跨平台管理方式的支持下，大大降低了大数据计算平台所使用的软件设施和硬件设施的成本，可以降低平台的运营成本，将更多的资金用于大数据采集、处理和存储方面，有助于提高大数据处理水平。由此可见，大数据和云计算是相辅相成的。在大数据分析过程中，技术人员需要应用云计算来保证大数据分析的准确性和效率[1]。

2 科学的大数据分析

第一，数据量大，科学大数据量比较大，涉及实验原始数据、中间数据、对比数据等多种类型的数据。 AMS-02采集的原始数据近千亿，而原始数据衍生出的重建数据、模拟数据和实验对比数据，加上中间数据，获得的科学数据总量难以计算，高达4PB ，具有显着的大规模特征。

其次，数据种类繁多，科学数据类型呈现显着多元化。它根据编码方式、应用方式和数据格式的不同，可以分为非结构化数据和结构化数据两类。 AMS实验中的结构数据是指原始数据、重构数据、模拟数据； AMS实验中的非结构化数据是指日志文件、中间数据、用户数据等。

第三，数据处理效率高，科学的大数据处理需要一定的实时性，才能保证科学结论的正确性。以AMS实验为例，地面数据处理中心需要实时接收AMS-02探测器采集的原始数据，并对接收到的数据进行重构和模拟。这个过程需要高速才能进行高效的科学大数据。处理效率。

第四，数据价值密度低。科学实验需要对海量数据进行全面、深入的分析，才能获得有价值的实验结论。如果只分析部分实验数据，得到的结果不具有权威性，价值密度也比较低。低[2]。

3、科学大数据云计算平台建设策略

3.1 科学大数据云计算平台架构

一般来说，核心服务层主要包括基础设施层（IaaS）、平台服务层（PaaS）和软件服务层（SaaS）三部分。 IaaS主要负责云计算平台的硬件基础设施配置，可以为平台用户提供所需的资源，如物理或虚拟的网络资源或计算资源； PaaS是云计算平台中各个软件的应用环境，负责云计算。对于平台内软件的配置，在PaaS中软件工具和开发语言的支持下，软件开发者无需考虑软件的网络、运行和存储问题。他们只需提供程序代码和相关数据即可完成软件开发； SaaS 指云计算平台的应用[3]。具体的云计算平台架构如图1所示。

3.2 科学大数据云计算平台应用实例

3.2.1 云计算平台建设

IaaS层由物理机和虚拟机两种硬件设施组成。硬件设施可根据用户的具体需求进行配置。它总共包括279个节点和3500个CPU核心。节点处理器是X3550。服务器可以进行集群管理。还配备10台X3850X5企业级服务器和16台X3650机架服务器，保证I/O节点的有效连接和存储。同时，技术人员选择了IBM DS5300作为共享存储系统，辅以两台24端口SAN交换机和8Gb光口，使得共享存储系统的存储容量高达500TB。为了保证基础设施的稳定运行，技术人员在IaaS层配备了10台36端口40Gb Infiniband交换机，构建高速、流畅的网络。从理论上看，在上述硬件设施的支持下，云计算平台的峰值浮点计算能力高达37万亿/秒，完全可以满足高校科研人员的实验数据处理需求。

PaaS层在私有计算集群的支持下，可以实现操作系统和应用程序的自动安装，并通过编程接口的设置为大规模数据分析和处理提供支持。同时，技术人员在PaaS层构建了统一的IBM云计算软件，负责平台内所有软硬件资源的管理。它可以实现资源的自动化和虚拟化管理，有助于提高云计算平台的可扩展性。 SaaS层主要通过服务搭建应用，实现用户的有效访问。

3.2.2 云计算平台应用

学校按照上述方法搭建的云计算平台主要用于AMS-02的实验数据处理。实验人员可以通过云计算平台进行以下数据处理工作：（1）AMS-02原始数据的采集和存储； (2))根据探测器探测到的地面改正数据重建AMS-02原始数据； (3)应用蒙特卡罗模拟和探测器模拟数据结果重建AMS-02数据； (4) 对重建数据进行物理分析，将分析结果可视化； (5)应用云计算平台进行AMS-02传输。