一
1 绪论
-
媒体分类： - 感觉媒体 - 表示媒体 - 显示媒体 - 存储媒体 - 传输媒体
-
多媒体技术概念
- 在数字化的基础上，收集、编码、存储、传输、处理和表达各种媒体信息，综合处理各种媒体建立联系，具有良好的互动性
-
多媒体有三个特点
- 多样性 ：信息载体的多样性 处理设备多样性
- 交互性 ：易于人与计算机交互 初中三个阶段
- ：1. 集成信息媒体 减少多义性 保留关系 2. 设备的集成 软硬件
2 媒体和媒体技术
- 图形 图像
- 图形 ：计算机绘制的图片 描述几何图形的指令集合 抽象图像 可部分控制 时间需要计算 单位：图元
- 图像 ：输入设备捕获的实际场景图片或数字存储图片 单位：像素
- 颜色三要素 - 色调(色相) ：颜色的外观 波长 - 饱和度(纯度) ：颜色的纯度 - 亮度 ：幅度 光强
- 图像的颜色模型 - 显示图像RGB混合模型 - 打印图像CMY相减混色模型
- 图像技术参数
- 分辨率 采样
- 图像深度(像素位数)量化
- 数据量 前两者决定
- 常用图像格式：BMP TIFF PNG JPEG GIF EXIT
- 动画的计算机设计：
- 造型动画
- 帧动画
- 数字音频的主要技术指标 - 采样频率 - 采样精度(量化位数) - 通道数
- 模拟 数字 音频 - 模拟音频 ：模拟磁性录音技术直接记录音频的波形 - 数字音频 ：将声波波形转换为一系列二进制数据
- 声音数字化过程
- 采样 ： 奈奎斯特采样理论：采样频率不得低于声信号最高频率的两倍 采样频率应为40KHz左右
- 量化 ：在一定范围内用数字表示电压
- 编码
- 声音符号化
- 音乐
- 语音 ：与文字对应
- MIDI ：乐器数字接口的国际标准 记录音乐符号 音乐符号的产生和解释
- 声音三要素
- 音调 ：频率
- 音强 ：振幅
- 音色 ：波形
- 音频信号评价标准 - 频带宽度 ：信号分量丰富 音质 - 动态范围 ：强度相对变化范围大，声音 - 信噪比 ：有用信号和噪声之比 - 主观度量法 ：
- 视频技术参数 - 颜色空间 - 帧速
3 媒体的性质和特点
4 多媒体压缩技术
-
数据冗余类型
- 空间冗余
- 时间冗余
- 结构冗余
- 知识冗余
- 视觉冗余
- 听觉冗余
-
数据压缩技术性能指标
- 压缩比 ： 输入数据与输出数据之比
- 恢复效果 ：
- 压缩和解压速度
-
信息熵 - 信息量 从n相等可能事件中选择事件的时间度量和内容 I(x) = -log_2 P(x) - 信息熵 平均信息量
-
编码效率
-
压缩技术从熵损失的角度分为 - 无失真压缩 - 有失真压缩
-
从信息语义的角度 压缩技术分为
- 熵编码 ：不考虑压缩信息的性质 - 消除重复序列 - 统计编码
- 源编码 ：这取决于初始信号类型、前后相关性、信号语义和压缩程度。
- 预测编码
- 变换编码
- 向量量化
-
哈夫曼编码：
-
香农-凡诺算法：
-
五代移动通信： - 1G ：用于语音通话、模拟技术、频分多址访问 每个用户使用独立的频率通道 - 2G：语音、文本新闻、电子出版物等数字无线网络 - 3G：它可以处理各种媒体形式，如图像、语音和视频流。高速数据传输能力，扩大高质量语音业务容量 - 4G：多输入多输出空分复用、高阶调制和编码时空编码、正交频分复用。提高容量，减少干扰 - 5G：
-
MPEG：兼容性好 压缩比高 数据损失小 - MPEG1：视频 音频 系统三部分 特点：损坏、不平衡编码 应用：VCD MP3 - MPEG2： - MPEG4:高速压缩，基于内容交互，基于内容分级扩展。电子游戏
-
MP3标准缩率高达10:1 ~ 12:1
5 多媒体硬件环境
-
多媒体接口
- 音频接口：
- 声卡：处理音频信号 板卡、集成、外置
- MIDI：乐器数字接口
- 视频显示接口：重量视频 复合视频 S-Video
- 模拟显示接口：视频图像阵列 VGA
- 数字显示接口： - DVI - HDMI：高清多媒体接口 - DisplayPort - 视频采集卡
- 音频接口：
-
USB闪存盘：体积小 重量轻 容量大 便宜耐用 无机械装置
-
视频显示： - 阴极射线管显示屏CRT - 液晶显示屏LCD - 等离子显示屏PDP：无扫描线 无X射线 价格低 厚度薄 - 电致变色显示器ECD - 发光二极管显示器LED：比LCD亮度 能耗 刷新率 厚度 清晰度更优
-
超高清电视4K分辨率：3840*2160 4096*2160
-
多媒体I/O设备：鼠标 操纵杆 手写板 手写笔 扫描仪
-
触摸屏 ：红外 电阻膜 电容 表面声波 压力矢量
-
数码相机：
-
6 多媒体软件
-
常用软件： - 图像处理： Photoshop - 二维动画： animato Studio、Flash - 三维动画：3D Studio Max、Maya - 音频编辑与处理：Wavedit/Creative WaveStudio/MIDI Orchestrator - 视频编辑与处理软件：Adobe Premiere -
-
多媒体工具：
- 所谓多媒体工具，是指能够根据用户的需要，整合和管理多媒体信息，生成多媒体应用系统的工具软件 使用多媒体创建程序的目的是简化多媒体创建，使创建者可以创建一些多媒体对象，而不必关心相关多媒体程序的细节 一个系列，甚至整个应用程序
-
多媒体应用设计过程： - 需求分析 - 脚本编写 - 准备各种媒体信息的数据 - 创作设计 - 维护测试
7 多媒体数据库
-
多媒体数据管理的难点 ：多媒体数据不规则，没有一致的值范围，没有相同的数据量级，没有类似的属性级
-
多媒体数据库系统p
- 集中统一型 ：数据库集中管理多种媒体数据的联合操作
- 联邦型 ：多种媒体数据的联合操作权交给用户
- 客户/服务器型 ：通过多媒体数据管理中间件提供标准开放接口服务
- 超媒体型 ：超媒体节点和链分别描述实体与实体间的联系
-
基于内容的图像检索 - 基于颜色直方图的检索 - 基于骨架或轮廓的检索 - 基于纹理的检索
8 多媒体信息管理系统
-
超文本 ：
- 是一种新颖的文本信息管理技术，建立各种媒体信息之间的网状链接结构，这种结构由节点组成
- 超文本以非线性方式组织，文本中遇到的相关内容通过链接组织起来，与人的思维方式和工作方式比较接近
-
超媒体 ：超文本的数据节点可以是文本，还可以是图像、动画、音频、视频[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eFm5cFOs-1641304846561)(C:\Users\张仕达\AppData\Roaming\Typora\typora-user-images\image-20211106215456432.png)]
-
为什么要引入超文本/超媒体：信息爆炸、多媒体化、网络化分布化、信息间相互关系复杂、迫切需要一种技术或工具、高效地管理信息，并建立起信息之间的关联。
-
SGML ：通用文档结构描述标记语言，定义文献模型的逻辑结构和物理结构
-
HTMl ：超文本标记语言，SGML派生出的标记语言，SGML实例标记语言，DTD作为标准固定下来，用户不能修改
-
XML ：SGML的一个子集，一种简化的SGML，可以定义标记语言DTD
-
HTTP ：超文本传输协议
9 多媒体通信与网络
-
网络多媒体特点
- 同步：
- 分布性 ：
- 实时性
- 数据量大
- 面向用户的数据传输
-
通信网络的相关指标 ： - 带宽 - 吞吐量 ：有效的网络带宽，即物理链路的传输能力减去各种传输开销（物理开销、网络冲突、瓶颈、差错等） - 延迟 ：n源端发出一个分组，到目标端正确地接收到该分组所经历的时间。 - 抖动 - 可靠性
-
不同Qos承诺 - 确定型QoS：数据传输过程中网络提供“硬”的QoS保证。确保通信各方协商好的各QoS参数值，不允许有任何违背，否则可能会造成严重后果 - QoS：数据传输过程中网络提供“软”的QoS保证。允许对通信各方协商好的各QoS参数值有一定比例的违约，适合于软实时应用 - **：**也称最佳效果传输，网络不提供任何QoS保证，网络性能随着负载增加而下降 — 目前Internet上大多分布式多媒体应用。
-
实时传输协议RTP：提供端对端传输服务的实时传输协议，在数据传送服务中包含了装载数据的标识符、序列计时、时间戳和传送监视等；
-
实时传输控制协议RTCP：主要为应用程序提供会话质量或者广播性能质量的信息
-
RTSP实时流传输协议(Real-Time Streaming Protocol，RTSP)是应用级的实时流传输协议，为单播和组播的流式多媒体应用提供可靠的播放性能，支持不同厂家提供的客户机和服务器之间的协同工作能力；
-
资源保留协议RSVP(Resource Reservation Protocol，RSVP)定义在RFC 2205中，提供一种机制允许应用程序保留因特网上的资源，提供有QoS保证的服务。
-
多媒体会议系统： - 网关：会议终端与其他类型的终端之间传输的数字信号进行转换。包括传输格式之间的转换和通信过程之间的转换 - 会务器 ：地址转换、准入控制、带宽管理和区域管理等； - 多点控制单元（MCU）：支持在3个或3个以上的端点之间召开电视会议。