文章目录

• 云计算与大数据技术复习(总)
• • **Cloud Computing & Big Data** ！[插此插入图片描述](https://web.ruidan.com/images/aritcle/20220621/692923e73c6047aeb47704afa42ab792.png)
  • 第一章 云计算基础
  • • 1.1 云计算定义
    • • 1.1.1 云计算涉及技术
    • 1.2 云计算技术分类
    • • 1.2.1 资源封装的层次
      • 1.2.1 技术路线角度
      • 1.2.1 服务对象角度
    • 1.3 生产数据三个阶段
    • 1.4 云计算特点
    • 1.5 数据来源
    • 1.6 大数据特征
    • 1.7 大数据应用领域
    • 1.8 大数据处理系统
    • 1.9 大数据处理的基本流程[插入图片描述](https://web.ruidan.com/images/aritcle/20220621/c5738d41c3b04623bed59dd3dded9f35.png)
    • 1.10 云计算时代的三个基本角色
    • 1.11 大数据
    • 1.12 内在动力
    • 1.13 云计算发展两大主题
    • 1.14 科学家
    • 1.15 大数据相关技术
    • • 1.15.1 数据收集
      • 1.15.2 数据存储
      • 1.15.3 数据分析
      • 1.15.4 数据再利用
    • 1.16 物联网产业链
  • 第二章 大数据基础
  • • 2.1 科研四范式发展历程
    • 2.二 非关系数据库
    • • 2.2.1 产生
      • 2.2.2 定义
      • 2.2.3 分类
    • 2.3 一致性哈希算法
    • • 2.3.1 基本原理
      • 2.3.2 计算和存储位置的一致性
      • 2.3.3 图解
    • 2.4 进化算法(蚁群算法)
    • 2.5 耗散结构
    • • 2.5.1 消散结构的定义
      • 2.5.2 耗散结构形成条件
      • 2.5.3 集群系统本身满足消散结构的要求
  • 第三章 虚拟化技术
  • • 3.1 虚拟化描述
    • 3.2 虚拟化技术分类
    • • 3.2.1 指示集架构级虚拟化
      • 3.2.2 硬件抽象层虚拟化
      • 3.2.3 操作系统层虚拟化
      • 3.2.4 编程语言层虚拟化
      • 3.2.5 库函数层虚拟化
      • 3.2.6 五层对比
    • 3.3 虚拟化技术优势
    • 3.4 虚拟化技术的劣势
    • 3.5 操作系统虚拟化与硬件虚拟化之间的差异
    • 3.6 虚拟化形式
    • 3.7 虚拟机特性
    • 3.8 系统虚拟化
    • • 3.8.1 定义
      • 3.8.2 优点
      • 3.8.3 分类
      • • 3.8.3.1 服务器虚拟化
        • 3.8.3.2 桌面虚拟化
        • 3.8.3.3 网络虚拟化
    • 3.9 虚拟化软件
  • 第四章 虚拟化平台
  • • 4.1 集群系统
    • • 4.1.1 集群系统概念
      • 4.1.2 设计中应考虑的五个关键问题
      • 4.1.3 集群系统分类
      • 4.1.4 集群系统特征
      • 4.1.5 集群一致性
      • • 4.1.5.1 定义
        • 4.1.5.2 分类
      • 4.1.6
      • 4.1.7 大数据系统分类
    • 4.二 单系统图像
    • • 4.2.1 单一系统的图像意义
      • 4.2.2 单一系统映像好处
    • 4.3 SMP、MPP、集群对比
    • 4.4 Beowulf系统
    • • 4.4.1 Beowulf定义
      • 4.4.2 Beowulf特点
      • 4.4.3与其他并行计算机比较
      • 4.4.4 并行计算水平
    • 4.5集群文件
    • • 4.5.1 定义
      • 4.5.2 集群文件系统的优势
    • 4.6 Lustre集群文件系统
    • • 4.6.1 定义
      • 4.6.2 组成及功能
      • 4.6.3 Lustre优点：
      • 4.6.4 Lustre缺点：
    • 4.在7 分布式系统中计算和数据的协作机制
    • • 4.7.1 基于计算切分的分布式计算
      • 4.7.2 基于计算和数据切割的混合分布式计算技术-网格计算
      • 4.7.3 基于数据切割的分布式计算
      • 4.7.4 ☆三种计算对比
  • 第五章 MPI-面向计算
  • • 5.1 MPI定义
    • 5.2 MPI特点
    • 5.3 函数名称
    • • 5.3.1 最简单的并行程序
      • 5.3.2 获取进程标志和机器名
      • 5.3.3 有消息传递功能的并行程序
  • 第六章 分布式大数据系统——Hadoop
  • • 6.1 Hadoop核心模块
    • 6.2 分布式计算框架MapReduce（进行计算）
    • • 6.2.1 定义
      • 6.2.2 特点
      • 6.2.3 利用MapReduce解决wordcount的整个过程
    • 6.3 分布式计算框架系统HDFS（存放数据）
    • • 6.3.1 HDFS简介
      • 6.3.2 文件存储时两个重要的策略
      • 6.3.3 工作过程
    • 6.4 Google文件系统(GFS)
    • • 6.4.1 定义
      • 6.4.2 体系结构
      • 6.4.3 工作过程
      • 6.4.4 优势
    • 6.5 Hadoop与MPI在数据处理上的差异
  • 第七章 HPCC—面向数据的高性能计算集群系统
  • • 7.1 HPCC优点
    • 7.2 高性能计算采用的两种方式
    • 7.3 高性能计算集群系统分类
    • • 7.3.1 面向计算的高性能计算
      • 7.3.2 面向数据的高性能计算
    • 7.4 HPPC系统架构
    • • 7.4.1 Thor
      • 7.4.2 Roxie
    • 7.5 HPCC平台数据检索任务的执行过程
    • • 1. 加载原始数据
      • 2. 切分、分发待处理的数据
      • 3. 分发后原始数据的ETL处理
      • 4. 向Roxie集群发布
  • 第八章 基于拓扑的流数据实时计算系统——Storm
  • • 8.1 storm简介
    • 8.2 Storm编程模型原理
    • 8.3 三进程架构
    • 8.4 优点
    • 8.5 体系结构
    • • 8.5.1 ZooKeeper
      • • 8.5.1.1 核心
        • 8.5.1.2 角色
        • 8.5.1.3 系统模型
    • 8.6 Storm与Hadoop区别
  • 第九章 服务器与数据中心
  • • 9.1 数据中心的组成
    • 9.2 数据中心的能耗三个级别
    • 9.3 能耗评估参数PUE、DCIE、IT
    • • 9.3.1 PUE
      • 9.3.2 DCIE
      • 9.3.3 IT设备的能效比
    • 9.4 数据中心发展阶段
    • 9.5 数据中心选址考虑因素
  • 第十章 云计算大数据仿真技术
  • • 10.1 云仿真技术
    • • 10.1.1 CloudSim的使用模型场景
      • • 10.1.1.1 云数据中心的能耗模型
        • 10.1.1.2 云平台的经济模型
        • 10.1.1.3 联合云模型
        • 10.1.1.4 CloudSim中对定价策略进行模拟划分
        • 10.1.1.5 云存储分类
    • 9.4 数据中心发展阶段
    • 9.5 数据中心选址考虑因素
  • 第十章 云计算大数据仿真技术
  • • 10.1 云仿真技术
    • • 10.1.1 CloudSim的使用模型场景
      • • 10.1.1.1 云数据中心的能耗模型
        • 10.1.1.2 云平台的经济模型
        • 10.1.1.3 联合云模型
        • 10.1.1.4 CloudSim中对定价策略进行模拟划分
        • 10.1.1.5 云存储分类