我的论文串讲「一」

受人脑在一个例子中学习一个概念的启发，本文提出了一种简单可行的一次性学习方法于 Hebbian 理论「如果一个神经元继续激活另一个神经元，前者的轴突将生长为突触小体（如果有，它将继续生长），并与后者的细胞连接」）

1. 使用预训练 DNN 网络

2. 往分类器中添加一个新的类，即没有训练优化也没有对其他类修改，直接使用新附加类的数据输入模型后得到的最终密集层的权重作为新类的连接权，为新类提供一个输出神经元

   

3. 性能完全取决于预训练模型

一次性学习对于人类学习来说很容易 DNN 这是非常困难的。具体来说，人类可以从输入图像的类别到自己的知识库， DNN 除非有特定的优化，否则很难做到，但在实际应用中非常有用。本文以预训练模型的间接经验为先验知识 Pretrained ImageNet 1000 classes 基于 VIT 或者 EffientNet(复合扩张 CNN）添加一个或八个新类(机会水平小于) 0.1 % 0.1\% 0.1%），最多可以达到准确率 80 % 80\% 80%

1. 受大脑启发，程序简单，首创
2. 无优化，计算成本低
3. 无超参数容易重现

测量学习、数据增强和元学习，Done 不同于它们，它们不包括优化算法，性能是由 Backbone 理解大脑和 DNN 并提供一个 Baseline 方法

1. 测量学习是为了减少训练数据之间的测量空间距离，如 Siamese 网络
2. 增加训练数据的数量，如使用半监督或对抗
3. 元学习 提高学习效率，从少量训练数据中学习(从出发点看，元学习有点相似 model pretraining 都是让网络有一些先验知识)

输出向量在分类任务中 y y y 表示输入数据属于每个类别的程度 y i = x ? w i b i = ∥ x ∥ ∥ w i ∥ c o s θ b i , i ∈ c l a s s { 1 , ? ? , N } y_i = x\cdot w_i b_i=\parallel x\parallel\parallel w_i\parallel cos\theta b_i,i\in class\{1,\cdots,N\} y i ​=x⋅wi​+bi​=∥x∥∥wi​∥cosθ+bi​,i∈class{ 1,⋯,N} “Done directly apply x x x obtained from a new-class input image to the weight vector for the new class w j ( j = N + 1 , ⋅ ⋅ ⋅ ) w_j (j = N + 1, · · ·) wj​(j=N+1,⋅⋅⋅). To convert x x x to w j w_j wj​, we apply quantile normalization, statistical properties of the elements of new vector w j w_j wj​ are the same as those of the elements of original W W W matrix. As for b j b_j bj​, we employed the median of b b b.” y j = x ⋅ w j + b j = ∥ x ∥ ∥ w j ∥ c o s θ + b j , j ∈ c l a s s { 1 , ⋯   , N + 1 , ⋯   } y_j = x\cdot w_j + b_j=\parallel x\parallel\parallel w_j\parallel cos\theta + b_j,j\in class\{1,\cdots,N+1,\cdots\} yj​=x⋅wj​+bj​=∥x∥∥wj​∥cosθ+bj​,j∈class{ 1,⋯,N+1,⋯}

1. quantile normalization 即分位数归一化，生物信息学中的标准技术，因为 x x x（神经活动）与 W W W（突触强度）的统计特性可能是不同的，例如令 w j w_j wj​ 的均值与方差与 W W W 相同

   但是不清楚是否需要三阶矩，因此最简单的方法就是不分开来讨论而是使 w j w_j wj​ 和 W W W 的每一个元素的统计性质（均值）都相同。在 x x x 向 w j w_j wj​ 转换时，分位数归一化利用 x x x 的秩信息与 W W W 的值信息，使 w j w_j wj​ 与 W W W 之间的所有分位数相等，即 w j w_j wj​ 向量各元素的统计性质与原始 W W W 矩阵的统计性质相同（概率分布相同）

“As backbone models for our method, we employed Vision Transformers for images (ViT) and EfficientNet as two representative DNNs with different characteristics. We used “vit-keras” for ViT and “EfficientNet Keras (and TensorFlow Keras)” for EfficientNet. Also, for demonstrating evaluation of DNNs in DONE, we used ResNet-50, MobileNetV2, and VGG16, using Tensorflow. All models used in this study are pretrained with ImageNet.

We used CIFAR-100 and CIFAR-10 for the additional class, using Tensorflow. Also, for demonstrating evaluation of DNNs in DONE, we used CIFAR-FS by Torchmeta. We used ImageNet images for testing the performance of models. We used a coarse 10 categorization of the original 1000 classes, using information of previous 67 categorization. All images were resized to (224 × 224) by OpenCV or Tensorflow.”

“pretrained with ImageNet (1000 classes), As new additional classes, we chose eight classes, “baby”, “woman”, “man”, “caterpillar”, “cloud”, “forest”, “maple_tree”, and “sunflower” from CIFAR-100, which were not in ImageNet”

“Actually there is small interference, and Figure 2 ( b ) 2(b) 2(b) also shows the numbers of images in which the original model and added model gave different answers in the 50,000 images (orange numbers), regardless of whether it is correct or not. When we checked the all two ImageNet-validation images that was classified as “baby” by ViT, each of both images indeed contained a baby though its class in ImageNet was “Bathtub” (image ID: 00013344 and 00020254). Therefore, observed interference was not mistake but just the result of another classification. EfficientNet obviously shows greater numbers of interference (Figure 2 ( b ) 2(b) 2(b)), but we also confirmed that similar thing happened, e.g., 198 of the 204 ImageNet-validation images classified as “baby” in EfficientNet contained human or doll.”

在一次学习中，一次训练的不佳图像会导致糟糕的表现，反之亦然。在这个评价中，一些模型由于训练图像不好而表现出较低的性能，例如在 ViT 中，当训练图像是如图 2 ( a ) 2(a) 2(a) 左下角所示的婴儿图像时，准确率为 6 % 6\% 6%。因此在一次性学习的实际应用中，应该使用具有代表性的图像进行训练

增加训练图像的数量作为 K-shot 学习。在 10 次学习的情况下图 3 ( b ) 3(b) 3(b)，输入每一幅图像得到每一个 x x x，并将这 10 10 10 个 x x x 向量的均值向量转换为 w j w_j wj​。使用了在 CIFAR-100 中的索引为每类从前到后的 10 10 10 张图像。用同样的方法测试了 100 100 100 次学习图 3 ( c ) 3(c) 3(c)。结果发现这种简单的平均操作稳步提高了精度 8 8 8 类的平均精度为 77.5 % 77.5\% 77.5% 和 74.5 % 74.5\% 74.5% 的 10 10 10 次和 86.1 % 86.1\% 86.1% 和 82.1 % 82.1\% 82.1% 的 100 100 100 次

图 3 ( a ) 3(a) 3(a) 所示的一次性学习构建的 1008 1008 1008 类模型中每个 w i w_i wi​ 和 w j w_j wj​ 向量的 主成分分析。彩色的圆圈显示了 w i w_i wi​ 在原始 1000 1000 1000 个类中的结果。不同的颜色显示了类的粗略分类。黑色圆圈表示 w j w_j wj​ 的结果。随附的编号是图 2 ( a ) 2(a) 2(a) 中所示的新添加的类编号。图 3 ( c ) 3(c) 3(c) 所示的 100 次学习构建的模型中， w j w_j wj​ 是从黑色圆圈开始的灰色箭头的结果。红色的叉表示另一种情况，即 w j w_j wj​ 向量是 ImageNet 验证图像前 100 100 100 个验证 ID 的结果，EfficientNet 添加的新类特征更分散，因此可以印证效果更好

AO 系统由一个或多个波前传感器(WFS)和一个驱动器组件（如变形镜（DM））组成。该系统用于一个闭环，其中来自WFS的相位测量用于将校正位移应用到DM。有许多不同的波前传感器技术，但泽尼克波前传感器（ZWFS）已被证明存在光子噪声下具有最佳的灵敏度

ZWFS 使用一个具有小区域相位不连续的焦平面相位对比度掩模，从而产生相移参考波。参考波与被测波相干扰重新成像的瞳孔中的波前，将相位误差转换为可以用传感器测量的强度变化，然而，当瞳孔中存在较大的未知波前误差时，分析方法就失效了。传感器响应保持单调的范围为 − 0.14 λ −0.14\lambda −0.14λ 到 0.36 λ 0.36\lambda 0.36λ。在波前均方根误差（RMS）较大的情况下，波前传感器像素之间存在显著的串扰。换句话说，重新成像的瞳孔中任何一个像素的强度并不仅仅依赖于瞳孔平面相应区域的波前位移

基于深度神经网络的静态和动态机器学习算法应用于 ZWFS 的反问题，动态机器学习算法是一种包含可训练细胞的递归的算法而静态神经网络不使用递归，使用模拟 ZWFS 数据评估这些技术

循环单元用于沿定义了某些动态的轴（通常是时间轴）接收多个输入，可以通过在多个波长收集 ZWFS 数据并实现网络沿波长轴的递归来提供的附加信息

“The simulation is performed using the Physical Optics Propagation in Python (POPPY) library”

图 1 1 1 所示的光学系统由直径 6 6 6 米的圆形瞳孔和焦平面相位对比掩模组成，在系统的输入端提供一个具有选择光程差（OPD）误差图的波前，然后通过面具传播到重新成像的瞳孔，在那里产生的强度被记录下来，依靠 “Fast computation of lyot-style coronagraph propagation” 中描述的矩阵傅里叶变换（MFT）方法，在充分采样的情况下，通过焦平面掩模的小中心特征有效地进行传播。中心波长为 1.0 μ m 1.0\mu m 1.0μm 时，相位掩码 OPD 设为 π / 2 \pi/2 π/2，而输出强度模拟在 a t    0.96 μ m 、 0.98 μ m 、 1.0 μ m 、 1.2 μ m at\;0.96\mu m、0.98\mu m、1.0\mu m、1.2\mu m at0.96μm、0.98μm、1.0μm、1.2μm 4 4 4 个波长，用于网络训练

为了训练和测试神经网络，通过构造 c k c_k ck​ 的值来生成示例波阵面，使得得到的 E R M S E^{RMS} ERMS 值均匀分布在 0 ～ 500 n m 0～500 nm 0～500nm 之间。对于 8000 8000 8000 个训练数据、 1600 1600 1600 个验证数据和 3000 3000 3000 个测试数据中的每一个都进行了四个波长的模拟

“The static neural network that we implement for this study is the Phase Extraction Neural Network（PhENN）a U-net structure in Figure(a). By varying the wavelength with four different values（ λ 1 , ⋯   , λ 4 \lambda1,\cdots,\lambda4 λ1,⋯,