优化模型
优化模型(1)
三要素:
单目标（Single-Objective Optimization Problem）
只有一个评估目标，只需要根据具体的满足函数条件获得最大值
多目标（Multi-objective Optimization Problem）
在多目标优化问题中，有多个最大化或最小化的目标函数。此外，这些目标函数不是相互独立或和谐的。它们之间或多或少会有冲突，使所有目标函数无法同时满足。
线性
线性规划的问题是将受限于一组有限线性约束的线性函数最小化或最大化
非线性
如果目标函数或约束条件中至少有一个是非线性函数，则优化问题称为非线性规划问题
优化整数规划
所有变量限制为整数规划问题，称为纯整数规划；部分变量限制为整数规划问题，称为混合整数规划；变量仅为0或1，称为0-1整数规划。 建议使用整数规划。Lingo软件求解。常用的整数规划问题有： (1)分枝定界法:可求纯或混合整数线性规划。 (2)切平面法:可求纯或混合整数线性规划。 (3)隐枚举法:用于解决0-1整数规划，包括过滤法和分枝法。 (4)匈牙利法:解决指派问题(0-1规划特殊情况)。 (5)蒙特卡罗法:求解各类规划。
单目标化
一般采用两个目标函数加权的形式。加权可以解决两个目标函数量大纲不一致或剧烈变化不一致的问题，但权重本身需要人工选择。 目标函数一般不使用乘法组合，因为这会使导数的形式变得复杂。
优化模型(2)
动态规划 Dynamic Programming
A * "1 1 1 1 1 1 1 1 =？" * A : "以上等式值是多少？" B : *计算* "8!" A *写在上面等式的左边 "1 " * A : "此时等式值是多少？" B : *quickly* "9!" A : "你怎么知道答案这么快？" A : "只需在8的基础上加1即可。" A : "所以你不必重新计算，因为你记得第一个等式的值是8！动态规划算法也可以说是 记住求过的解来节省时间" |
将原始问题分解为几个子问题，其形式与原始问题相同或相似，但规模较小。解决所有子问题，解决原始问题（数字三角形例）。 一旦发现子问题的解决方案，就会得到保存，所以每个子问题只需要 解一次。 在动态规划解决问题时，我们经常将与子问题相关的每个变量的一组值称为状态 状态。一个状态对应于一个或多个子问题， 所谓状态下的值就是状态 解决与态对应的子问题。 所有状态的集合构成了问题的状态空间。状态空间的大小直接关系到用动态规划解决问题的时间复杂性。 在数字三角形的例子中，共有N×(N 1)/2个数字，所以这个问题的状态空间总共有N×(N 1)/2状态。 整个问题的时间复杂性是状态数乘以计算每个状态所需的时间。在数字三角形中，每个状态只需要一次，计算每个状态所花的时间与N无关。 以“数字三角形”为例，初始状态就是底边数字，值就是底边数字值。 在定义了状态和状态下的值之后，有必要找出如何在不同状态之间迁移――即如何从一个或多个值中知道 状态，找出另一个状态的值(递推型)。状态迁移可以用递推公式表示，也可以称为状态转移方程。 状态转移方程：
目标规划
为每个目标增加一个权力系数，将多目标模型转换为单个目标模型。但在困难时确定合理的权力系数，以反映不同目标之间的重要性。 将每个目标按其重要性分为不同的优先级，并将其转化为单目标模型。 寻求一个能够照顾每一个目标并让决策者满意的解决方案。决策者应该确定选择哪个解决方案，即获得满意的解决方案。但是有效解太多，无法选择
图论
网络流模型
我们可以用一个有向图的网络流G = （V，E，C）表示；V表示顶点的集合，E表示有向边集合，C表示有向边的最大流量。对于每个网络，都有一个源输入点，称为source，一个输出点，叫做sink。不是出发点source也不是输出点sink其他点，流量不能超过有向边的最大流量，这是一个约束。 下图是一个简单的网络流模型:
最短路
在线平台平台： 注意相邻矩阵和相关矩阵的概念！
邻接矩阵:元素为权值，不连接时无限(无权时0/1表示是否连接) 解决方法：Dijkstra算法 Floyd算法
最大流
网络流图是一个只有一个源点和汇点的有向图，最大流量是从源点到汇点之间的最大流量。下图中的问题是最基本和经典的最大流量问题
图就是一种管道，管道有最大通过流量的限制，图中边的权值就是所谓的“容量”。同时，注意有唯一的点和汇点。 算法的关键在于 所谓增广路径，就是找到这样一条路径，其流量不满，未达到容量上限。 所有的可能的增广路径在一起便构成了残留网络 第一步，计算可增加流量 设某一增广路径上的节点为（a1,a2,a3,a4,…,an） 如果（u,v）是正向边，则增加流量d = min{ c(ai,aj) - f(ai,aj) | j = i +1, i =1,2,3…,n-1} 如果是逆向边，则增加流量d = min{ f(ai, aj) | j = i +1, i =1,2,3…,n-1} 第二步，更新流量 如果（u,v）是正向边，则 f(u,v) = f(u,v) + d 是逆向边，则f(u,v) = f(u,v) - d 注意，如果是逆向边，就是减法，当前管道从中减去部分流量，而且，伴随着这部分减去的流量，必有另一部分管道的流量会增加。。而且，最后的总流量增加了d
最小生成树
图G=（V(G),E(G)）树T=（V(T),E’(T)） 在一个连通无向图G=(V, E)中，对于其中的每条边(u,v)∈E，赋予其权重w(u, v)，则最小生成树问题就是要在G中找到一个连通图G中所有顶点的无环子集T⊆E，使得这个子集中所有边的权重之和最小。 即生成树为一条连接所有点的路径，最小生成树为权重和最小那个生成树（非环） 解决最小生成树问题有两个算法：Prim算法和Kruskal算法基本思想是从选点开始，再选择和不连通点之间的边，进而循环，每一次循环中，一个关键在于判断点之间是否不连通（对连通点集团进行编号，即只需判断集团编号是否相等即可），另一个在于选择最小的边。基本思想是从选最小边开始，连通成一个集团，进行编号，再选择不连通的集团的最小赋权边进行连接，依次循环。
优化模型(3)
背包
背包问题不单单是一个简单的算法问题，它本质上代表了一大类问题，这类问题实际上是01线性规划问题，其约束条件和目标函数如下：
指派(分配问题)
实际中，会遇到这样的问题，有n项不同的任务，需要n个人分别完成其中的1项，每个人完成任务的时间不一样。于是就有一个问题，如何分配任务使得花费时间最少。 通俗来讲，就是n*n矩阵中，选取n个元素，每行每列各有1个元素，使得和最小。 如下图：
抽屉
旅行社TSP
Travelling Salesman Problem (TSP) 是最基本的路线问题。它寻求的是旅行者由起点出发，通过所有给定的需求点后，再次返回起点所花费的最小路径成本 整理模拟退火算法的程序！
CPP
中国邮路问题，就是派邮递员送信，最后返回邮局，要求必须经过负责投递的街道至少一次，并且途径距离最短，属于图论里的euler回路
产销
解决如何实现成本最小，利润最大的问题，问题的核心为如何求成本函数最小值的问题。
运输
四要素：
排队论
排队系统由三部分组成：
一般研究的问题为总体为无限的，到达方式逐个，到达间隔随机，顾客之间相互独立，输入过程平稳。
预测模型
预测模型(1)微分方程预测
数学建模 种群模型 - 百度文库
单种群
多种群增长
Logistic阻滞增长
指数模型人口预测程序： logistic阻滞型人口模型代码：
时滞模型
考虑到种群密度对种群增长的时滞作用而改进的一个种群连续增长模型。
预测模型(2)微分方程预测
房室模型
数学建模-房室模型 - 百度文库
差分方差模型
解析解
解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.
数值解
解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.
参数确定
预测模型(3)
线性
非线性回归与拟合
统计回归预测
参数确定
预测模型(4)
Markov链预测
在马尔可夫预测中，“状态”是一个重要的术语。所谓状态，就是指某一事件在某个时刻（或时期)出现的某种结果。一般而言，随着所研究的事件及其预测的目标不同，状态可以有不同的划分方式。譬如，在商品销售预测中，有“畅销”、“一般”、“滞销”等状态；在农业收成预测中，有“丰收”、“平收”、“欠收”等状态；在人口构成预测中，有“婴儿”、“儿童”、“少年”、“青年”、“中年”、“老年”等状态；等等。 在事件的发展过程中，从一种状态转变为另一种状态，就称为状态转移。事件的发展，随着时间的变化而变化所作的状态转移，或者说状态转移与时间的关系，就称为状态转移过程，简称过程。
神经网络预测
预测模型(5)
模糊预测
灰色预测
灰色系统介于白色和黑色之间，灰色系统内的一部分信息是已知的，另一部分信息是未知的，系统内各因素间有不确定的关系。 灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。
参数确定
分类模型
分类模型(1)
聚类
聚类分析的目的就是让类群内观测的距离最近，同时不同群体之间的距离最大。
层次聚类也称系统聚类法，是根据个体间距离将个体向上两两聚合，再将聚合的小群体两两聚合一直到聚为一个整体。计算所有个体之间的距离，最相近距离的个体合体，不断合体。
最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。
模糊聚类(FCM)
隶属度函数是表示一个对象x 隶属于集合A 的程度的函数，通常记做μA(x)，其自变量范围是所有可能属于集合A 的对象（即集合A 所在空间中的所有点），取值范围是[0,1]，即0<=μA(x)，μA(x)<=1。μA(x)=1 表示x 完全隶属于集合A，相当于传统集合概念上的x∈A。
个定义在空间X={x}上的隶属度函数就定义了一个模糊集合A，或者叫定义在论域X={x}上的模糊子集A’。对于有限个对象x1，x2，……，xn 模糊集合A’可以表示为：
距离函数选取
线性非线性分类器选取
左边：非线性分类器 右边：线性分类器（又名：一刀切） 可以把输入数据分类的“东西”
分类模型(2)
神经网络分类
网络构造
A、输入量的选择： a、输入量必须选择那些对输出影响大且能够检测或提取的变量； b、各输入量之间互不相关或相关性很小。从输入、输出量性质分类来看，可以分为两类：数值变量和语言变量。数值变量又分为连续变量或离散变量。如常见的温度，压力，电压，电流等就是连续变量；语言变量是用自然语言表示的概念。如红，绿，蓝；男，女；大，中，小，开，关，亮，暗等。一般来说，语言变量在网络处理时，需要转化为离散变量。 c、输入量的表示与提取：多数情况下，直接送给神经网络的输入量无法直接得到，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干参数作为网络输入。 B、输出量选择与表示： a、输出量一般代表系统要实现的功能目标，如分类问题的类别归属等； b、输出量表示可以是数值也可是语言变量；
初始权值选取
网络权值的初始化决定了网络的训练从误差曲面的哪一点开始，因此初始化方法对缩短网络的训练时间至关重要。 神经元的作用函数是关于坐标点对称的，若每个节点的净输入均在零点附近，则输出均出在作用函数的中点，这个位置不仅远离作用函数的饱和区，而且是其变化最灵敏的区域，必使网络学习加快。从神经网络净输入表达式来看，为了使各节点的初始净输入在零点附近，如下两种方法被常常使用： A、取足够小的初始权值； B、使初始值为+1和-1的权值数相等。
评价模型
评价模型(1)
模糊分析
隶属度函数选取与构造
常用的方法：（根据先验知识和采集的数据，确定出描述模糊概念的候选隶属函数，利用最小化模糊度的原则计算相关的参数，进而获得合适的隶属函数）。 下面介绍三种最常用的隶属度函数：
评价模型(2)
层次分析法评价(AHP)
1）最高层（目标层）——只有一个元素：决策目标； 2）中间层（准则层）——考虑的因素，决策的准则、子准则； 3）最底层（方案层）——决策时的备选方案、措施。 A矩阵代表准则层各个指标之间的相互关系，B矩阵代表各个待选方案分别在5个指标中的相互比较关系。 (即若n个指标，m个决策方案，则B为(n,n)矩阵，有m个)
打分与权重确定
评价模型(3)
主成分分析(Principal components analysis,PCA)
找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。
- 最近重构性：样本点到这个超平面的距离足够近
- 最大可分性：样本点在这个超平面上的投影能尽可能的分开 PCA算法的主要优点有： 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。 各主成分之间正交，可消除原始数据成分间的相互影响的因素。 计算方法简单，主要运算是特征值分解，易于实现。 PCA算法的主要缺点有： 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。
主成分回归评价(principle component regression；PCR)
主成份回归可以解决变量间共线性的问题。它使用从数据抽提出的主成份进行回归，一般来说是选择前面的几个主成份。下面给出一个例子，训练集中的自变量数据X和因变量y，以及测试集中的数据Xnew和因变量Ynew，结果给出训练集中的回归模型得到的预测值和实际值的相关系数，以及测试集中相应的相关系数。
主成分解释
主成分分析（PCA）是一种降维方法，通常用于通过将数量很多的变量转换为仍包含集合中大部分信息的较少变量来降低数据集的维数。 减少数据集的变量数量自然是以牺牲精度为代价的，但降维是为了简单而略微准确。因为较小的数据集更易于探索和可视化，并且使机器学习算法更容易和更快地分析数据，而无需处理无关的变量。 总而言之，PCA的概念很简单：减少数据集的维数，同时保留尽可能多的信息。
数据包络分析(Data Envelopment Analysis,DEA)
它是根据多项投入指标和多项产出指标，利用线性规划的方法，对具有可比性的同类型单位进行相对有效性评价的一种数量分析方法。
- 定义变量 设Ek（k=1，2，……， K）为第k个单位的效率比率，这里K代表评估单位的总数。 设uj（j=1，2，……， M）为第j种产出的系数，这里M代表所考虑的产出种类的总数。变量uj用来衡量产出价值降低一个单位所带来的相对的效率下降。 设vI（I=1，2，……，N）为第I种投入的系数，这里N代表所考虑的投入种类的综合素。变量vI用来衡量投入价值降低一个单位带来的相对的效率下降。 设Ojk为一定时期内由第k个服务单位所创造的第j种产出的观察到的单位的数量。 设Iik为一定时期内由第k个服务单位所使用的第i种投入的实际的单位的数量。
- 目标函数 目标是找出一组伴随每种产出的系数u和一组伴随每种投入的系数ν，从而给被评估的服务单位最高的可能效率。
式中，e是被评估单位的代码。 这个函数满足这样一个约束条件，当同一组投入和产出的系数（uj和vi）用于所有其他对比服务单位时，没有一个服务单位将超过100%的效率或超过1.0的比率。
- 约束条件 k=1,2,……,K 式中所有系数值都是正的且非零。 为了用标准线性规划软件求解这个有分数的线性规划，需要进行变形。要注意，目标函数和所有约束条件都是比率而不是线性函数。通过把所评估单位的投入人为地调整为总和1.0，这样等式的目标函数可以重新表述为： 满足以下约束条件： 对于个服务单位，等式（**）的约束条件可类似转化为： k=1,2,…,K 式中 uj≥0 j=1，2，…，M vi≥0 i=1，2，…，N 关于服务单位的样本数量问题是由在分析种比较所挑选的投入和产出变量的数量所决定的。下列关系式把分析中所使用的服务单位数量K和所考虑的投入种类数N与产出种类数M联系出来，它是基于实证发现和DEA实践的经验：https://wiki.mbalib.com/wiki/数据包络分析