第一章 计算机软件和网络基础知识 第二章 信息基础知识 第三章 系统开发基础知识 第四章 软件架构基础知识 第五章 安全可靠技术 第六章 标准化和知识产权 第七章 应用数据 第八章 专业英语 注:本系列文章部分内容来自:系统架构设计师教程(第4版) ,作者:希赛教育软考学院。目录和知识点来源:系统架构设计师考试大纲。仅供学习。
目录
-
- 操作系统
-
- 操作系统的类型和结构
- 操作系统的基本原理
- 网络操作系统和网络管理
- 嵌入式操作系统和实时操作系统
- 数据库系统
-
- 类型、结构和性能评估数据库管理系统
- 常用的关系数据库管理系统
- 数据库模式
- 标准化数据库
- 并行数据库系统
- 数据仓库和数据挖掘技术
- 备份恢复
- 嵌入式系统
-
- 嵌入式系统的特点
- 嵌入式系统的硬件组成和设计
- 嵌入式系统应用软件及开发平台
- 嵌入式系统网络
- 嵌入式系统数据库
- 数据通信与计算机网络
-
- 数据通信的基本知识
- 开放系统互连参考模型
- 常用的协议标准
- 网络互联和常用网络设备
- 计算机网络的分类与应用
- 多媒体
-
- 多媒体的类型、特征和数据格式
- 压缩编码多媒体数据
- 系统配置及性能评价
-
- 多层结构、分布式系统
- 系统配置方法
- 性能计算
- 性能设计
- 性能指标
- 性能评估
操作系统
操作系统的类型和结构
:分时操作系统、批处理操作系统、实时操作系统、网络操作系统、分布式操作系统、嵌入式操作系统、微内核操作系统。
:无序结构、层次结构、面向对象结构、对称多处理结构、微内核结构。
操作系统的基本原理
操作系统的主要功能是处理机和工艺管理、存储管理、设备管理、文件管理和操作管理。
-
:该过程是系统并发执行的体现。该过程的三个基本状态是运行、就绪和阻塞。在某些系统中增加了悬挂状态。悬挂状态的原因:更换需求、终端用户需求、父亲过程需求、负载调整需求和操作系统需求。过程互斥是资源的竞争关系,同步过程互斥是过程之间的合作关系。过程协调标准:空闲转移、忙碌等待、有限等待、转移等待。 – 信号量:可有效实现过程的同步和相互排斥。信号量为整数。当信号量大于或等于0时,代表可用于并发过程的资源实体数。当信号量小于零时,表示正在等待临界区域的过程数。 – PV操作:操作信号量,P(sem)操作过程是信号量 sem 值减 1,若 sem 调用值成负数 P 暂停操作过程,直到另一个过程执行相同的信号量 V 操作。V(sem)操作过程是信号量sem 值加 1,若 sem 的值小于等于 从相应的队列(和 sem 选择一个过程来唤醒它。 – 前趋图:是一个由结点和有向边构成的有向无循环图,该图通常用于表现事务之间先后顺序的制约关系。图中的每个结点可以表示一个语句、一个程序段或是一个进程,结点间的有向边表示两个结点之间存在的前趋关系。前趋图执行先后顺序的制约关系可分为两种:直接制约和间接制约。 – 过程调度:确定何时分配处理器,并确定分配给哪个过程,即改变正在执行的过程状态,并将其转移到就绪队列的尾部,然后取出就绪队列的第一个过程并投入执行。导致过程调度的原因行过程完成后,执行过程调用阻塞原语阻塞自己进入睡眠状态,执行过程调用 P 因资源不足而堵塞原语操作;或调用 V 原语操作激活了等待资源的过程队列。在分时系统中,当一个过程耗尽一个时间片时,就绪队列中某个过程的优先级高于当前执行过程。有两种方有两种方式:剥夺和非剥夺。进程调度算法:先服务(First Come and First Serverd,FCFS)调度算法又称先进先出(First In and First Out,FIFO),就绪队列按先来后到原则排队,优先调度,就绪队列按优先排队、轮换法排队,就绪队列按优先排队、轮换法排队 FCFS 方式排队。 – 死锁:当多个过程竞争对方拥有的资源,无限期等待,无法前进时,就会导致死锁。产生死锁的必要条件是:相互排斥、维护和等待、不剥夺和环路等待。解决死锁有两种策略:一种是预防和避免死锁前的策略;另一种是死锁后的检测和恢复策略。
-
:存储器由内存和外存组成。内存是由系统实际提供的存储单元(常指字节)组成的一个连续地址空间,处理器可直接存取。外存(辅存)是指软盘、硬盘、光盘和磁带等一些外部存储部件,常用来存放暂不执行的程序和数据。存储管理主要是指对内存储器的管理,负责对内存的分配和回收、内存的保护和内存的扩充。 – 内存:一般分为两部分,一部分是系统空间,存储操作系统本身及相关系统程序;另一部分是存储程序和数据的用户空间。 – 页面存储管理:分页的基本思想是根据相同的大小将程序的逻辑空间和内存的物理空间划分为几个页面,并以页面为单位。虚拟地址在系统中是有序的(页号,位移)。该系统为每个过程建立一个页表,包括逻辑页号与物理页号之间的对应关系和状态。常用的页面调度算法有:最优算法、随机算法、先进先出算法、最近最少使用算法。 – 段存储管理:分段的基本思想是根据逻辑意义上具有完整意义的段划分用户操作,并以段作为内外存储交换的空间尺度。 – 段页存储管理:,结合段组织和页组织的特点,根据程序模块分段,段内再分页,内存分为定长页。虚拟地址在段页系统中的形式为(段号、页号、页内偏移)。系统为每个过程建立一个段表,为每个段建立一个页表。段页管理采用段分配和页面使用的方法,便于动态连接和存储。这种存储管理可以提高内存空间的利用率。
-
:在计算机系统中,除处理器和内存外,大多数硬设备都被称为外部设备。包括输入/输出设备、辅助存储设备和终端设备。 – 数据传输控制模式:选择和测量控制模式:数据传输速度足够高,可以满足用户的需求,但不丢失数据;系统成本小,处理控制程序少;充分发挥硬件资源的能力 I/O 设备使用设备, CPU 等待时间少。常用的数据传输控制模式:程序控制模式、中断模式、直接存储访问模式、通道模式。 – 虚设备与 SPOOLING 技术:SPOOLING假脱机,外部设备同时在线操作,又称假脱机输入/输出操作,采用一组程序或过程模拟输入/输出处理器。假脱机可将低速独家设备转换为共享设备。SPOOLING 系统必须有高速、大容量、可随机存取的外存(如磁盘或磁鼓)支持。
-
:操作系统对计算机的管理包括硬件资源和软件资源两个方面。管理硬件资源包括CPU 主要解决硬件资源的有效合理利用问题,如管理、存储器管理、设备管理等。软件资源包括各种系统程序、应用程序、用户程序、大量文档材料、库函数等,以文件的形式存储在操作系统中。文件管理的功能包括:建立、修改和删除文件;根据文件名访问文件;确定文件信息的存储位置、存储形式和访问权限;管理文件之间的联系,并提供共享、保护和保密。 – 文件的逻辑结构:从用户角度所看到的文件组织形式,称为文件的逻辑结构。一般文件的逻辑结构可以分为两种:无结构的字符流文件和有结构的记录文件。记录文件有顺序文件、索引顺序文件、索引文件和直接文件。 – 文件的物理结构:指文件在存储设备上的存储方法。文件的存储设备通常分为相同大小的物理块,分配 并传输信息的基本单位。文件的物理结构涉及文件存储设备的块策略和文件分配策略,以确定文件信息在存储设备上的存储位置。常用的文件分配策略包括:顺序分配(连续分配)、链接分配(串联分配)和索引分配。 – 文件存储设备管理:操作系统应有效管理存储空间。本质上,这是对空闲块的组织和管理。它包括空闲块的组织、分布和回收。空闲块管理方法:索引法、链接法和位图。 – 树型目录结构:树型目录结构一般用于计算机文件系统。录结构中,树的根结点为根目录,数据文件作为树叶,其他所有目录均作为树的结点。根目录隐含于一个硬盘的一个分区中,根目录在最顶层。它包含的子目录是一级子目录。每一个一级子目录又可以包含若干二级子目录,…,这样的组织结构就叫作目录树。
-
:从用户的角度看,作业是系统为完成一个用户的计算任务(或一次事务处理)所做的工作总和。从系统的角度看,作业则是一个比程序更广的概念。它由程序、数据和作业说明书组成,系统通过作业说明书控制文件形式的程序和数据,使之执行和操作。 – 联机方式:用户的作业可以通过直接的方式,由用户自己按照作业步顺序操作。 – 脱机方式:通过间接的方式,由用户率先编写的作业步依次执行的说明,一次交给操作系统,由系统按照说明依次处理。 – 作业状态及其转换:一个作业从交给计算机系统到执行结束退出系统,一般都要经历提交、后备、执行和完成 4 个状态。 – 用户接口:用户接口也称为用户界面,其含义有两种,一种是指用户与操作系统交互的途径和通道,即操作系统的接口;另一种是指这种交互环境的控制方式,即操作环境。操作系统的接口又可分成命令接口和程序接口。操作环境支持命令接口和程序接口,提供友好的、易用的操作平台。
网络操作系统及网络管理
:是一种能代替操作系统的软件程序,是网络的心脏和灵魂,是向网络计算机提供服务的特殊的操作系统。借由网络达到互相传递数据与各种消息,分为服务器(Server)及客户端(Client)。而服务器的主要功能是管理服务器和网络上的各种资源和网络设备的共用,加以统合并控管流量,避免有瘫痪的可能性,而客户端就是有着能接收服务器所传递的数据来运用的功能,好让客户端可以清楚的搜索所需的资源。 网络操作系统除一般操作系统功能外,还支持的功能有:资源共享、网络通信、网络管理、互操作、提供网络接口、Internet/Intranet服务。 网络操作系统按功能可分为:对等式(Peer to Peer)网络结构、基于服务器(Server Based)网络结构、客户机/服务器(Client/Server)网络结构、浏览器/服务器(Browser/Server)网络结构。 网络操作系统按技术可分为:Windows类、NetWare类、Unix系统、Linux。
:以满足网络使用需求为目标,通过对硬件、软件的综合运用,对网络进行组建、配置、监视、测试、分析、评价和控制,最终保证网络的实时运行和服务质量。 常见网络管理方式:SNMP管理技术、RMON管理技术、基于WEB的网络管理。网络管理有五大功能:故障管理、配置管理、性能管理、安全管理、计费管理。 网络管理三代分类:第一代常用的命令行方式结合一些简单的网络监测工具、第二代良好的图形化界面、第三代将网络和管理进行有机结合的软件系统,具有“自动配置”和“自动调整”功能。 网络管理协议:简单网络管理协议(SNMP)、公共管理信息服务/公共管理信息协议(CMIS/CMIP)、公共管理信息服务与协议(CMOT)、局域网个人管理协议(LMMP)等。
嵌入式操作系统与实时操作系统
:指用于嵌入式系统的操作系统。嵌入式操作系统是一种用途广泛的系统软件,通常包括与硬件相关的底层驱动软件、系统内核、设备驱动接口、通信协议、图形界面、标准化浏览器等。嵌入式操作系统负责嵌入式系统的全部软、硬件资源的分配、任务调度,控制、协调并发活动。它必须体现其所在系统的特征,能够通过装卸某些模块来达到系统所要求的功能。 嵌入式操作系统特点:微型化、代码质量高、专业化、实时性强、可裁减、可配置。 嵌入式操作系统的分类:商业型、免费型
:对外部事件能够及时响应的系统。系统与应用很难分离,常常紧密结合在一起。实时系统并不强调资源利用率,而是更关心及时性 ( 时间紧迫性) 、可靠性和完整性。实时系统又分为实时过程控制与实时信息处理两种。实时系统的主要特征有 : 提供即时响应、高可靠性。
数据库系统
数据库管理系统的类型、结构和性能评价
- :按数据模型分类包括:关系型 DBMS、文档型 DBMS、键值型 DBMS、对象型 DBMS 等。
- :数据库技术中采用分级的方法将数据库的结构划分为多个层次。美国 ANSI/ SPARC 数据库系统研究组 1975 年提出的三级划分法如下:
数据库系统划分为三个抽象级:用户级、概念级、物理级。 用户级:对应于外模式,是最接近用户的一级数据库,是用户可以看到和使用的数据库,又称用户视图。 概念级:对应于概念模式,介于用户级和物理级之间,是所有用户视图的最小并集,是数据库管理员可看到和使用的数据库,又称 DBA(DataBase Administrator,数据库管理员)视图。 物理级:物理级数据库对应于内模式,是数据库的低层表示,它描述数据的实际存储组织,是最接近于物理存储的级,又称内部视图。
- :
DBMS | 发行组织 | 发行时间 | 授权类型 | 数据库模型 | 查询语言 | ACID | 优点 | 缺点 |
---|---|---|---|---|---|---|---|---|
Oracle | 甲骨文 | 1979 | 商用 | 关系型 | SQL | 支持 | 运行稳定、功能齐全、性能强大、安全度高、支持多种操作系统 | 价格不菲,配置过程复杂、很多工具软件需要另外购买 |
MySQL | 甲骨文 | 1995 | 开源 | 关系型 | SQL | 支持 | 体积小、速度快、成本低、开源 | 不适合大文本、图片等二进制存储 |
SQL Server | 微软 | 1989 | 商用 | 关系型 | SQL | 支持 | 安全性高、可用性强、方便易用、集成的开发环境 | 只支持在Windows平台使用、伸缩性有限、并行程度低 |
PostgreSQL | PostgreSQL项目组 | 1989 | 开源 | 关系型 | SQL | 支持 | 丰富的功能和扩展,跨平台、可靠性高,容错能力强,开源许可 | 速度较MySQL慢 |
Redis | Redis Labs | 2009 | 开源 | 键值型 | NoSQL | 支持 | 速度极快,支持多种数据类型、开源产品,方便易用 | 数据只能存储在内存中、不支持Join操作 |
MongoDB | MongoDB Inc | 2009 | 开源 | 文档型 | NoSQL | 支持 | 容易支持海量数据、支持丰富的查询表达式,查询效率高、模式自由,以文档方式存储数据 | 复杂的事务支持较弱、不支持Join操作、内存占用高 |
IBM DB2 | IBM | 1983 | 商用 | 关系型 | SQL | 支持 | 支持并行,容易支持海量数据 | 灵活性低 |
Elasticsearch | Elastic | 2010 | 开源 | 搜索引擎 | NoSQL | 不支持 | 支持多种查询,性能好、支持文档存储和模式自由 | 灵活性低、查询语言单一,支持JSON-style的语言 |
Access | 微软 | 1992 | 商用 | 关系型 | SQL | 支持 | 界面友好,容易操作 | 存储方式单一、数据存储量小,值支持Windows平台、安全性低 |
Cassandra | Apache基金会 | 2008 | 开源 | 列存储 | NoSQL | 不支持 | 良好的可扩展性和性能、多数据中心备份,可靠性高 | 不支持聚集操作、性能不稳定 |
常用的关系型数据库管理系统
关系型数据库:是指采用了关系模型来组织数据的数据库。简单来理解就是,二维数据库,一个由二维表及其之间的联系而组成的一个数据组织。 关系型数据库的优点:
- 容易理解:二维表结构,是极为贴近逻辑世界一个概念,相比其他模型,关系型数据库相对网状、层次,更容易理解。
- 使用方便:SQL语言的使用,让我们能够更方便地操作关系型数据库。
- 易于维护:丰富的完整性,包括:实体完整性、参照完整性和用户定义的完整性,从而使数据冗余和数据不一致的概率大大降低;
- 支持SQL:能够支持复杂的查询。
常用关系型DBMS可参考上表。
数据库模式
数据库系统的三级模式为:外模式、概念模式、内模式。
- 概念模式:又称模式、逻辑模式。用以描述整个数据库中数据库的逻辑结构,描述现实世界中的实体及其性质与联系,定义记录、数据项、数据的完整性约束条件及记录之间的联系,是数据项值的框架。
- 外模式:又称子模式、用户模式。用以描述用户看到或使用的那部分数据的逻辑结构,用户根据外模式用数据操作语句或应用程序去操作数据库中的数据。外模式主要描述组成用户视图的各个记录的组成、相互关系、数据项的特征、数据的安全性和完整性约束条件。
- 内模式:整个数据库的最低层表示,不同于物理层,它假设外存是一个无限的线性地址空间。内模式定义的是存储记录的类型、存储域的表示以及存储记录的物理顺序,指引元、索引和存储路径等数据的存储组织。
内模式、模式和外模式之间的关系:模式是数据库的中心与关键;内模式依赖于模式,独立于外模式和存储设备;外模式面向具体的应用,独立于内模式和存储设备;应用程序依赖于外模式,独立于模式和内模式。
两级独立性:物理独立性(用户的应用程序与存储在磁盘上的数据库中的数据是相互独立的)和逻辑独立性(用户的应用程序与数据库中的逻辑结构是相互独立的)。
:概念数据模型(实体—联系模型)和基本数据模型(结构数据模型)。 概念数据模型:按照用户的观点来对数据和信息建模,主要用于数据库设计。概念模型主要用实体—联系方法(Entity-Relationship Approach)表示,所以也称 E-R 模型。 基本数据模型:按照计算机系统的观点来对数据和信息建模,主要用于 DBMS 的实现。基本数据模型是数据库系统的核心和基础。基本数据模型通常由数据结构、数据操作和完整性约束三部分组成。常用的基本数据模型有层次模型、网状模型、关系模型和面向对象模型。 关系代数的基本运算:并、交、差、笛卡尔积、选择、投影、连接和除法运算。
数据库规范化
:关系模型满足的确定约束条件称为范式,根据满足约束条件的级别不同,范式由低到高分为 1NF(第一范式)、2NF(第二范式)、3NF(第三范式)、BCNF(BC 范式)、4NF(第四范式)等。不同的级别范式性质不同。
- 1NF:有唯一主属性(主键),且属性不可再分。
- 2NF:所有非主属性都完全依赖于主属性。
- 3NF:每个非主属性不传递依赖于主属性。
- BCNF:主属性对不含它的码完全函数依赖,没有属性完全函数依赖于一组非主属性。
关系模型分解必须遵守两个准则:无损连接性,信息不失真(不增减信息);函数依赖保持性,不破坏属性间存在的依赖关系。 数据规范化的优点:减少了数据冗余,节约了存储空间,相应逻辑和物理的I/O 次数减少,同时加快了增、删、改的速度。 数据规范化的缺点:对完全规范的数据库查询,通常需要更多的连接操作,从而影响查询速度。
:
- 增加冗余列:指在多个表中具有相同的列,它常用来在查询时避免连接操作。
- 增加派生列:指增加的列可以通过表中其他数据计算生成,它的作用是在查询时减少计算量,从而加快查询速度。
- 重新组表:指如果许多用户需要查看两个表连接出来的结果数据,则把这两个表重新组成一个表来减少连接而提高性能。
- 分割表:水平分割:根据一列或多列数据的值把数据行放到两个独立的表中。垂直分割:把主码和一些列放到一个表,然后把主码和另外的列放到另一个表中。
分布式数据库系统,并行数据库系统
:分布式数据库是由一组数据组成的,这组数据分布在计算机网络的不同计算机上,网络中的每个结点具有独立处理的能力,成为场地自治,它可以执行局部应用,同时,每个结点也能通过网络通信子系统执行全局应用。 分布式数据库管理系统DDBMS:负责分布式数据库的建立、查询、更新、复制、管理和维护的软件。保证分布式数据库中数据的物理分布对用户的透明性。 分布式数据库系统DDBS:一个计算机网络组成的计算机系统,在配置了分布式数据库管理系统,并在其上建立了分布式数据库和相应的应用程序。 分布式数据库的特点:数据的分布性、统一性、透明性。 与集中式数据库相比,分布式数据库具有下列优点:坚固性好、可扩充性好、可改善性能、自治性好。 分布式数据库的分类:
- 按 DDBMS 软件同构度分:同构型分布式数据库、异构型分布式数据库。
- 按局部自治度分:无局部自治、局部自治。
- 按分布透明度分:有高度分布透明(高度模式集成)、没有分布透明(没有模式集成度)、部分分布透明。
分布式数据库的目标:局部结点自治性、不依赖中心结点、能连续操作、具有位置独立性(位置透明性)、分片独立性(分片透明性)、数据复制独立性、支持分布式查询处理、支持分布事务管理、具有硬件独立性、具有操作系统独立性、具有网络独立性、具有 DBMS 独立性。
分布式数据库的模式结构有六个层次:全局外模式、全局概念模式、分片模式、分布模式、局部概念模式、局部内模式。如下图: 分布式数据库的分层模式结构有三个显著的特征:数据分片和数据分配概念的分离,形成了“数据分布独立型”概念。数据冗余的显示控制。局部 DBMS 的独立性,也称为“局部映射透明性”。
:属于新一代高性能的数据库系统,是在 MPP 和集群并行计算环境的基础上建立的数据库系统。MPP(Massively Parallel Processing,或 Massive Parallel Processor,大规模并行处理)系统,是由许多松耦合处理单元组成的。 并行数据库系统的目标:高性能(High Performance)和高可用性(High Availability)。
:都是通过网络连接各个数据处理结点的,整个网络中的所有结点构成一个逻辑上统一的整体,用户可以对各个结点上的数据进行透明存取等。 :
- 应用目标不同:并行数据库系统的目标是充分发挥并行计算机的优势,利用系统中的各个处理机结点并行地完成数据库任务,提高数据库的整体性能。分布式数据库系统主要目的在于实现各个场地自治和数据的全局透明共享,而不要求利用网络中的各个结点来提高系统的整体性能。
- 实现方式不同:在并行数据库中,为了充分发挥各个结点的处理能力,各结点间采用高速通信网络互联,结点间数据传输代价相对较低。当负载不均衡时,可以将工作负载过大的结点上的任务通过高速通信网络送给空闲结点处理,从而实现负载平衡。在分布式数据库系统中,各结点(场地)间一般通过局域网或广域网互联,网络带宽比较低,各场地之间的通信开销较大,因此在查询处理时一般应尽量减少结点间的数据传输量。
- 各结点的地位不同:在并行数据库中,各结点之间不存在全局应用和局部应用的概念。各个结点协同作用,共同处理,而不可能有局部应用。在分布式数据库系统中,各结点除了能通过网络协同完成全局事务外,还有自己结点场地的自治性。也就是说,分布式数据库系统的每个场地又是一个独立的数据库系统,除了拥有自己的硬件系统(CPU、内存和磁盘等)外,还拥有自己的数据库和自己的客户,可运行自己的 DBMS,执行局部应用,具有高度的自治性。
数据仓库与数据挖掘技术
:是一个面向主题的、集成的、相对稳定的、且随时间变化的数据集合,用于支持管理决策。 数据仓库与传统数据库比较:
比较项 | 传统数据库 | 数据仓库 |
---|---|---|
数据内容 | 当前值 | 历史的、归档的、归纳的、计算的数据 |
数据目标 | 面向业务操作程序、重复操作 | 面向主体域,分析应用 |
数据特性 | 动态变化、更新 | 静态、不能直接更新,只能定时添加、更新 |
数据结构 | 高度结构化、复杂,适合操作计算 | 简单、适合分析 |
使用频率 | 高 | 低 |
数据访问量 | 每个事务一般指访问少量记录 | 每个事务一般访问大量记录 |
对响应时间的要求 | 计时单位小,如秒 | 计时单位相对较大,除秒,还有分、时 |
数据仓库的结构:从数据仓库的概念结构看一般包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库及各种管理工具和应用工具。如下图: 数据仓库的参考框架:由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。 大众观点的数据仓库的架构:数据源、数据的存储与管理、OLAP(联机分析处理)服务器、前端工具。 数据仓库的建立过程:需求分析、概念模型设计、逻辑模型设计、物理模型设计和数据仓库生成。 数据仓库的实现方法主要有:自顶向下法、自底向上法和联合方法。
:从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘其实是一种深层次的数据分析方法。 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先知,有效和可实用三个特征。 数据挖掘常用技术:
- 关联分析:用于发现不同事件之间的关联性,即一个事件发生的同时,另一个事件也经常发生。
- 序列分析:用于发现一定时间间隔内接连发生的事件。
- 分类分析:通过分析具有类别的样本的特点,得到决定样本属于各种类别的规则或方法。
- 聚类分析:根据物以类聚的原理,将本身没有类别的样本聚集成不同的组,并且对每一个这样的组进行描述的过程。
- 预测:与分类类似,但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程,而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。
- 时间序列:分析的是随时间而变化的事件序列,目的是预测未来发展趋势,或者寻找相似发展模式或者是发现周期性发展规律。
数据挖掘的流程:问题定义(明确需求) > 建立数据挖掘库 > 分析数据 > 调整数据 > 模型化 > 评价和解释。
备份恢复
备份和恢复计划的制订要遵循以下两个原则:
- 保证数据丢失的情况尽量少或完全不丢失,因为性价比的要求,这要取决于现实系统的具体要求。
- 备份和恢复时间尽量短,保证系统最大的可用性。
数据库备份按照备份内容分为:物理备份和逻辑备份。
- 物理备份:在操作系统层面上对数据库的数据文件进行备份,物理备份分为冷备份和热备份两种。 – 冷备份:将数据库正常关闭,在停止状态下利用操作系统的 copy、cp、tar、 cpio 等命令将数据库的文件全部备份下来,当数据库发生故障时,将数据文件复制回来,进行恢复。 – 热备份:分为两种,一种是不关闭数据库,将数据库中需要备份的数据文件依次置于备份状态,相对保持静止,然后再利用操作系统的 copy、cp、tar、cpio 等命令将数据库的文件备份下来,备份完毕后再将数据文件恢复为正常状态,当数据库发生故障时,将数据文件复制回来,进行恢复。另外一种方式是利用备份软件在数据库正常运行的状态下,将数据库中的数据文件备份出来。
- 逻辑备份:指利用各数据库系统自带的工具软件备份和恢复数据库的内容。
总结:在数据库容量不大的情况下逻辑备份是一个非常有效的手段,既简单又方便,但现在随着数据量的越来越大,利用逻辑备份来备份和恢复数据库已力不从心,速度也很慢。针对大型数据库的备份和恢复一般结合磁带库采用物理的完全、增量、累积三种备份方式相组合来进行。
嵌入式系统
嵌入式系统的特点
:一种以应用为中心,以计算机技术为基础,可以适应不同应用对功能、可靠性、成本、体积、功耗等方面的要求,集可配置,可裁减的软、硬件于一体的专用计算机系统。它具有很强的灵活性,主要由嵌入式硬件平台、相关支撑硬件、嵌入式操作系统、支撑软件以及应用软件组成。其中,“嵌入性”、“专用性”与“计算机系统”是嵌入式系统的三个基本的核心要素。
- 嵌入性:指计算机计算机嵌入到对象系统中,且满足对象系统的环境要求,如物理环境(小型)、电气/气氛环境(可靠)、成本(价廉)等要求。
- 专用性:指软、硬件的裁剪性,满足对象要求的最小软、硬件配置等。
- 计算机系统:指嵌入式系统必须是一个能满足对象系统控制要求的计算机系统。
:系统实时性强、软硬件依赖性强、处理器专用、多种技术紧密结合、系统透明性、系统资源受限。
嵌入式系统的硬件组成与设计
:嵌入式处理器、存储器、外部设备、总线。
-
嵌入式处理器:整个嵌入式系统的核心,负责控制系统的执行。 – 嵌入式微处理器:由通用计算机中的 CPU 演变而来。嵌入式微处理器在功能上跟普通的微处理器基本一致,但是它具有体积小、功耗低、质量轻、成本低及可靠性高的优点。主要的嵌入式微处理器有 AM186/88、386EX、SC-400、POWER PC、MIPS 及 ARM 等系列。 – 嵌入式微控制器:又称单片机,就是整个计算机系统都集成到一块芯片中。嵌入式微控制器一般以某一种微处理器内核为核心。特点是单片化,体积更小,功耗和成本更低,可靠性更高。主要有8051 系列、MCS-96/196/296、C166/167、MC68HC05/11/12/16 等。 – 嵌入式数字信号处理器:专门用于信号处理的处理器,DSP 芯片内部采用程序和数据分开的哈佛结构,具有专门的硬件乘法器,广泛采用流水线操作,提供特殊的 DSP 指令,可以用来快速实现各种数字信号的处理算法。主要有数字滤波、快速傅立叶变换及频谱分析等。 – 嵌入式片上系统:在一块芯片上集成很多功能模块的复杂系统。大幅度缩小了系统的体积,降低了系统的复杂度,增强了系统的可靠性。嵌入式片上系统可以分为通用片上系统和专用片上系统两类。通用类的主要产品有 Siemens 的 Trocore、Motorola 的 M-Core、某些ARM 系列的器件等。专用类的具有代表性的产品有 Philips 的 Smart XA。
-
存储器:用于存放系统的程序代码、数据和系统运行的结果。主要包括主存和外存。有 3 种类型:RAM、ROM(Read-Only Memory,只读内存)和混合存储器。 – 高速缓存:存放当前使用最多的程序代码和数据的。可以分为:数据Cache、指令 Cache 和混合 Cache。 – 主存:处理器能够直接访问的存储器,用来存放系统和用户的程序和数据。主存中的代码可直接运行,主存的主要特点是速度快,一般采用 ROM、EPROM、NOR flash、SRAM 和 DRAM 等存储器件。 – 外部存储器是不与运算器直接联系的后备存储器,用来存放不常用的或暂不使用的信息,外存一般以非易失性存储器构成,数据能够持久保存。
-
外部设备:嵌入式系统同外界交互的通道,常见的外部设备有 Flash 存储器、键盘、输入笔、触摸屏、液晶显示器等输入/输出设备。 – 根据输入设备实现机理的不同,嵌入式系统的设备可以分为:机械式、触控式以及声光式三类。 – 嵌入式系统与外部设备或其他的计算机系统进行通信时,需经接口适配电路,在嵌入式系统中广泛应用的接口主要有:RS232-串行接口、并行接口、USB 接口、IEEE-1394 接口以及 RJ-45 接口等,还有以蓝牙为代表的无线接口。
-
总线:连接计算机系统内部各个部件的共享高速通路。嵌入式系统的总线一般分为片内总线和片外总线。片内总线指嵌入式微处理器内的CPU 与片内其他部件连接的总线;片外总线指总线控制器集成在微处理器内部或外部芯片上的用于连接外部设备的总线。 – AMBA 总线:先进微控制器总线架构,一种总线规范。独立于处理器和制造工艺技术,增强了各种应用中外设和系统单元的可重用性,它提供将 RISC 处理器与 IP 核集成的机制。该规范定义了三种总线:先进性能总线(由主模块、从模块和基础结构三部分组成,整个 AHB 总线上的传输都由主模块发起,从模块响应)、先进系统总线(用于高性能模块的互连,支持突发数据传输模式,较老的总线格式,逐步由先进性能总线所替代)、先进外设总线(用于连接低带宽外围设备,其总线结构只有唯一的主模块,即 APB 桥,它不需要仲裁器以及响应/确认信号,以最低功耗为原则进行设计,具有总是两周期传输、无等待周期和响应信号的特点)。 – PCI 总线:外围构件互连总线,地址、数据复用的高性能 32 位与 64 位总线,是微处理器与外围设备互连的机构,它规定了互连协议、电气、机械以及配置空间的标准。 – Avalon 总线:用于可编程片上系统(System on Programmable Chip,SOPC)中,连接片上处理器和其他 IP 模块的一种简单总线协议,规定了主部件和从部件之间进行连接的端口和通信时序。
总线主要特点对比:
总线类型 | 主要特点 |
---|---|
AMBA 总线 | 带宽高,采用地址与数据分离的流水线操作,支持固定长与不定长突发传送,兼容性好,支持多个总线主设备 |
PCI 总线 | 速度快,支持线性突发传送,支持即插即用,兼容性好,可靠性高,可扩展性好 |
Avalon 总线 | 支持字节、半字和字传输,同步接口,独立的地址线、数据线和控制线,设备内嵌译码部件,支持多个总线主设备,自动生成仲裁机制,多个主设备可同时操作使用一条总线,可自动调整总线宽度以适应尺寸不匹配的数据 |
嵌入式系统应用软件及开发平台
:操作系统软件、应用支撑软件和应用软件。系统软件和支撑软件是基础,应用软件则是最能体现整个嵌入式系统的特点和功能的部分。
- 操作系统软件:由操作系统内核、应用程序接口、设备驱动程序接口等几部分组成。
- 应用支撑软件:由窗口系统、网络系统、数据库管理系统及 Java 虚拟机等几部分组成。
- 应用软件:是系统整体功能的集中体现。一个系统必须具备应用软件。从范围上应用软件涉及工业控制、家电、商业、通信等诸多领域。从跟用户的交互方式上有跟桌面系统类似的软件,也有嵌入程度很深、使用户感觉不到其存在的应用软件。从运行环境上讲,有在操作系统和支撑软件上运行的软件,也有直接在硬件上运行的应用软件。
:嵌入式系统的软件开发方法采用的不是通用的开发方法,而是交叉式开发方法。即软件在一个通用的平台上开发,而在另一个嵌入式目标平台上运行。用于开发嵌入式软件的通用平台通常叫作宿主机系统,被开发的嵌入式系统称为目标机系统。而当软件执行环境和开发环境一致时的开发过程则称为本地开发交叉平台开发环境,通常包含三个高度集成的部分:
- 运行在宿主机和目标机上的强有力的交叉开发工具和实用程序。
- 运行在目标机上的高性能、可裁剪的实时操作系统。
- 连接宿主机和目标机的多种通信方式,如,以太网,串口线,ICE或 ROM 仿真器等。
宿主机提供的基本开发工具是交叉编译器、交叉链接器和源代码调试器。作为目标机的嵌入式系统则可能提供一个动态装载器、链接装载器、监视器和一个调试代理等。
:直接测试法、调试监控法、在线仿真法、片上调试法及模拟器法等。 在嵌入式开发领域,主要有三种核心技术:处理器技术、IC 技术、设计/ 验证技术。
嵌入式系统网络
:用于连接各种嵌入式系统,使之可以互相传递信息、共享资源的网络系统。
- 现场总线网:也称工业自动化领域的计算机局域网。一种将数字传感器、变换器、工业仪表及控制执行机构等现场设备与工业过程控制单元、现场操作站等互相连接而成的网络。具有全数字化、分散、双向传输和多分支的特点,是工业控制网络向现场级发展的产物。是一种低带宽的底层控制网络,位于生产控制和网络结构的底层,因此也被称为底层网。主要应用于生产现场,在测量控制设备之间实现双向的、串行的、多节点的数字通信。 – 现场总线控制系统:是运用现场总线连接各控制器及仪表设备而构成的控制系统,该控制系统将控制功能彻底下放到现场,降低了安装成本和维护费用。是一种开放的、具有互操作性的、彻底分散的分布式控制系统。专用微处理器置入传统的测量控制仪表,使其具备数字计算和数字通信能力。
- 家庭信息网:一种把家庭范围内的个人计算机、家用电器、水、电、气仪表、照明设备和网络设备、安全设备连接在一起的局域网。主要功能是集中控制上述设备并将其接入Internet,以共享网络资源和服务。家庭设备都是智能化的。
- 无线数据通信网:一种通过无线电波传送数据的网络系统。它是在有线数据通信的基础上发展起来的,能实现移动状态下的数据通信。无线数据通信网分为短程无线网和无线 Internet。
- 嵌入式 Internet:嵌入式系统产品与 Internet 连接,共享 Internet 所提供的方便、快捷、无处不在的信息资源和服务。嵌入式 Internet 技术在智能交通、家政系统、家庭自动化、工业自动化、POS 及电子商务等领域具有广阔的应用前景。 – 嵌入式 Internet 的接入方式: 1、嵌入式设备上集成了 TCP/IP 协议栈及相关软件,这类设备可以作为 Internet 的一个节点,分配有 IP 地址,与 Internet 直接互联。特点是:设备可以直接连接到 Internet,对 Internet 进行透明访问;不需要专门的接入设备;设备的协议标准化;需要的处理器性能和资源相对较高;需要占用 IP 资源。 2、通过网关接入 Internet,即采用瘦设备方案,设备不直接接入 Internet,不需要复杂的TCP/IP 协议全集,而是通过接入设备接入 Internet。特点是:对接入设备的性能和资源要求较低;接入设备的协议栈开销较小;不需要分配合法的 IP 地址;可以降低系统的整体成本;设备可以实现多样化、小型化。 – 嵌入式 TCP/IP 协议栈:嵌入式 TCP/IP 协议栈完成的功能与完整的 TCP/IP 协议栈是相同的,但是由于嵌入式系统的资源限制,嵌入式协议栈的一些指标和接口等与普通的协议栈可能有所不同。不同点为:嵌入式协议栈的调用接口与普通的协议栈不同、嵌入式协议栈的可裁剪性、嵌入式协议栈的平台兼容性、嵌入式协议栈的高效率。
嵌入式系统数据库
:在嵌入式设备上使用的数据库管理系统,也称为移动数据库或嵌入式移动数据库。作用主要是解决移动计算环境下数据的管理问题,移动数据库是移动计算环境中的分布式数据库。 在嵌入式系统中引入数据库技术的原因:
- 所有的应用都要重复进行数据的管理工作,增加了开发难度和代价。
- 各应用之间的数据共享性差。
- 应用软件的独立性、可移植性差,可重用度低。
嵌入式数据库系统使用环境的特点:设备随时移动性、网络频繁断接、网络条件多样化、通信能力不对称。 嵌入式数据库管理系统组成:由若干子系统组成,包括主数据库管理系统、同步服务器、嵌入式数据库管理系统、连接网络等几个子系统。 嵌入式移动数据库须解决:数据的一致性(复制性)、高效的事务处理和数据的安全性等问题。 移动数据库管理系统的特性:微核结构,便于实现嵌入式功能、对标准 SQL 的支持、事务管理功能、完善的数据同步机制、支持多种连接协议、完备的嵌入式数据库管理功能、平台无关性与支持多种嵌入式操作系统、零管理特性。
数据通信与计算机网络
数据通信的基本知识
:由通信线路互相连接的许多独立自主工作的计算机构成的资源共享集合体,是计算机技术和通信技术相结合的产物。采用分层设计方法,按照信息的传输过程将网络的整体功能分解为一个个的功能层,不同机器上的同等功能层之间采用相同的协议,同一机器上的相邻功能层之间通过接口进行信息传递。 包括三大部分:源系统(或发送端、发送方)、传输系统(或传输网络)和目的系统(或接收端、接收方)。
- 源点:产生要传输数据的设备。
- 发送器:源点生成的数字比特流通过发送器编码后才能在传输系统中传输。
- 接收器:接收传输系统送过来的信号,把它转换为能够被目的设备处理的信息,
- 终点:接收传送来的数字比特流,把信息输出。
:一般用来表示向某一个方向传送信息的媒体。
- 单向通信:只能有一个方向的通信而没有反方向的交互。
- 双向交替通信:通信的双方都可以发送信息,但不能双方同时发送,也就不能同时接收。
- 双向同时通信:通信的双方可以同时发送和接收信息。
- 基带信号:来自信源的信号。像计算机输出的代表各种文字或图像文件的数据信号都属于基带信号。
往往包含有较多的低频成分,甚至有直流成分,而许多信道并不能传输这种低频分量或直流分量。因此必须对基带信号进行调制。调制分为两大类:
- 基带调制:仅对基带信号的波形进行变换,使它能够与信道特性相适应。变换后的信号仍然是基带信号。把这种过程称为编码。
- 带通调制:使用载波进行调制,把基带信号的频率范围搬移到较高的频段,并转换为模拟信号,这样就能够更好地在模拟信道中传输,即仅在一段频率范围内能够通过信道。
- 带通信号:经过载波调制后的信号。
:
- 不归零制:正电平代表1,负电平代表0。
- 归零制:正脉冲代表1,负脉冲代表0。
- 曼彻斯特编码:位周期中心的向上跳变代表0,为周期中心的向下跳变代表1。
- 差分曼彻斯特编码:每一位中心处都有跳变。位开始边界有跳变代表0,没有跳变代表1。
开放系统互连参考模型
:构造了由下到上的七层模型,分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。
- 应用层:http协议、文件服务器、邮件服务器等,直接面向用户的一层,是计算机网络与最终用户之间的界面。
- 表示层:数据转换解决不同系统的兼容问题,处理的是用户信息的表示问题。
- 会话层:建立与应用程序的会话连接,实施服务请求者与服务提供者之间的通信、组织和同步它们的会话活动,并管理它们的数据交换过程。
- 传输层:提供端口号和传输协议(TCP和UDP),提供可靠的端到端的数据传输服务。
- 网络层:为数据实现路由 路由器、交换机。实现整个通信子网内的连接,并通过网络连接交换网络服务数据单元。
- 数据链路层:传输的地址的帧以及错误的检测。
- 物理层:以二进制的形式,在物理机器上实现传输(光纤、专线、各种物理介质实现)
:可根据已开发的协议标准和通信任务将其大致分成四个比较独立的层次,分别是网络接口层、网络互联层、传输层和应用层。
- 网络接口层:大致对应于 OSI/RM 的数据链路层和物理层,只定义了网络接口层作为物理层的接口规范。处在TCP/IP 结构模型的最底层,主要负责管理为物理网络准备数据所需的全部服务程序和功能。
- 网络互联层:也称为网络层、互联网层或网际层,负责将数据报独立地从信源传送到信宿,主要解决路由选择、阻塞控制和网络互联等问题。在功能上类似于OSI/RM 中的网络层。
- 传输层:负责在信源和信宿之间提供端到端的数据传输服务,相当于 OSI/RM 中的传输层。
- 应用层直接面向用户应用,为用户方便地提供对各种网络资源的访问服务,包含了 OSI/RM 会话层和表示层中的部分功能。
常用的协议标准
计算机网络的各层中存在着许多协议,它们是定义通过网络进行通信的规则。接收方与发送方同层的协议必须一致,否则,一方将无法识别另一方发出的信息。
- 应用层协议:应用程序通过本层协议利用网络完成数据交互的任务。这些协议主要有 FTP、TFTP、HTTP、SMTP、DHCP、Telnet、DNS 和 SNMP等。 – FTP:文件传输协议。运行在 TCP 之上,是网络上两台计算机传送文件的协议。 – TFTP:简单文件传输协议。 建立在 UDP之上,用来在客户机与服务器之间进行简单文件传输的协议。 – HTTP:超文本传输协议。建立在 TCP 之上,用于从 WWW 服务器传输超文本到本地浏览器的传送协议。 – SMTP:简单邮件传输协议。建立在 TCP 之上,是一种提供可靠且有效的电子邮件传输的协议。 – DHCP:动态主机配置协议。建立在 UDP 之上,是基于客户机/服务器模型设计的。 – Telnet:远程登录协议。是登录和仿真程序,建立在 TCP 之上,基本功能是允许用户登录进入远程计算机系统。 – DNS:域名系统。进行域名解析的服务器。在 Internet 上域名与 IP 地址之间是一一对应的。 – SNMP:简单网络管理协议。解决 Internet 上的路由器管理问题。
- 传输层协议:主要有两个传输协议,分别是 TCP 和 UDP。负责提供流量控制、错误校验和排序服务。 – TCP: 采用了重发技术,是面向连接可靠的协议,因建立连接时必须三次握手才可以实现数据传输,所以数据不会丢失。 – UDP:是一个面向无连接的协议,UDP在通讯的时候不需要接收方存在,属于不可靠传输,可能会存在数据丢包的问题。
- 网络层协议:主要有 IP、ICMP、IGMP、ARP和 RARP等,处理信息的路由和主机地址解析。 – IP: 无连接的和不可靠的,将差错检测和流量控制之类的服务授权给了其他的各层协议。提供端到端的分组分发功能。 – ARP:用于动态地完成 IP 地址向物理地址的转换。 – ICMP:一个专门用于发送差错报文的协议。 – IGMP:允许 Internet 中的计算机参加多播,是计算机用作向相邻多目路由器报告多目组成员的协议。
网络互连与常用网络设备
:为了将两个以上具有独立自治能力、同构或异构的计算机网络连接起来,实现数据流通,扩大资源共享的范围,或者容纳更多的用户。网络互连包括局域网与局域网的互连、局域网与广域网的互连、广域网与广域网的互连。
:中继器(实现物理层协议转换,在电缆间转换二进制信号)、网桥(实现物理层和和数据链路层协议转换)、路由器(实现网络层和以下各层协议转换)、网关(提供从最底层到传输层或以上各层的协议转换)和交换机等。 交换技术:当用户较多而传输的距离较远时,采用交换技术,使通信传输线路为各个用户公用。交换技术又可分为电路交换、报文交换和分组交换。 路由技术:主要功能就是进行路由选择。根据路由选择协议的应用范围,可以将其分为内部网关协议、外部网关协议和核心网关协议。根据路由协议使用的算法可以将其分为距离向量协议、链路状态协议和平衡型协议。
计算机网络的分类与应用
计算机网络分类:局域网和广域网。 :将分散在有限地理范围内的多台计算机通过传输媒体连接起来的通信网络,通过功能完善的网络软件,实现计算机之间的相互通信和资源共享。 局域网特点:
- 地理分布范围较小,一般为数百米至数千米的区域范围之内。
- 数据传输速率高,可适用于语音、图像、视频等各种业务数据信息的高速交换。
- 数据误码率低,采用短距离基带传输,可以使用高质量的传输媒体,从而提高数据传输质量。
- 一般以 PC 为主体,还包括终端和各种外设,网络中一般不架设主骨干网系统。
- 协议相对简单、结构灵活,建网成本低、周期短,便于管理和扩充。
构成局域网的网络拓扑结构:
- 星形结构:中间是一个枢纽(网络交换设备),所有的节点都连接到这个枢纽上。
- 总线结构:由一条共享的通信线路将所有节点连接在一起。
- 环形结构:与总线结构类似,也是由一条共享的通信线路将所有节点连接在一起。但环形结构中的共享线路是闭合的。
- 网状结构:网状结构方式的网络就是任何节点彼此之间都会由一根物理通信线路相连,任何节点出现故障都不会影响到其他节点。
无线局域网:运用射频技术取代原来局域网系统中必不可少的传输介质来完成数据的传送任务。无线局域网可分为两大类,分别是有接入点模式(基础设施网络)和无接入点模式(Adhoc 网络)。
- 基础设施网络:整个网络都使用无线通信的方式,但系统中存在接入点,通过接入点将一组节点逻辑上联系在一起,形成一个局域网。
- Adhoc 网络:整个网络都使用无线通信的方式,直接通过无线网卡实现点对点连接。
:在传输距离较长的前提下所发展的相关技术的集合,用于将大区域范围内的各种计算机设备和通信设备互联在一起,组成一个资源共享的通信网络。广域网一般由电信部门负责组建、管理和维护,并向全社会提供面向通信的有偿服务、流量统计和计费问题。
网络接入技术:接入 Internet 的主要方式有 PSTN、ISDN、ADSL、FTTx+LAN 和 HFC 接入等五种。
多媒体
多媒体的类型、特点及数据格式
:文本、图像、动画、声音、视频影像。 :集成性、控制性、交互性、非线性多媒体技术的非线性特点、实时性、互动性、信息使用的方便性、信息结构的动态性。 :BMP、GIF、JPEG、PNG、PSD、TXT、DOC、HTML、PDF、MP3等
多媒体数据的压缩编码
多媒体数据压缩编码方法的两大类是:无损压缩编码和有损压缩编码。 无损压缩编码:解码前后数据完全一致,没有任何失真度和偏差。常用的无损压缩编码技术有Huffman编码。 有损压缩编码:有一定程度偏差和失真,但是没多大影响。常用的有损压缩编码技术有子带编码、模型编码和矢量量化编码等。 常见的压缩算法有:信息