JPEG（ Joint Photographic Experts Group）即联合图像专家组，是连续色调静态图像压缩的标准，文件后缀称为.jpg或.jpeg，是最常用的图像文件格式。 主要采用预测编码（DPCM）、离散余弦变换（DCT）以及熵编码的联合编码方法，以去除冗余图像和彩色数据，属于损坏压缩格式，可以在很小的存储空间内压缩图像，在一定程度上损坏图像数据。特别是压缩比过高会降低最终解压后恢复的图像质量。如果追求高质量的图像，则不应使用过高的压缩比。

JPEG以质量与比特率的比例来衡量性能是相当优越的。

• 因此高压缩率，因此JPEG图像的下载速度大大加快。
• 能轻松处理16.8M色彩，能很好地再现全彩图像。
• 图像格式允许在最小文件尺寸（最低图像质量）和最大文件尺寸（最高图像质量）之间自由选择。
• 该格式的文件尺寸相对较小，下载速度快，有利于在带宽不富裕的情况下传输。

• 并非所有浏览器都支持各种浏览器JPEG插入网页的图像。
• 在压缩过程中，图像的质量可能会损失，因此不适合使用该格式来显示高清图像。

JPEG文件中使用的数据存储方法有很多，最常用的是JPEG文件交换格式（JPEG File Interchange Format, JFIF），JPEG文件一般分为两部分：标记码（Tag）跟踪压缩数据JPEG Marker Compressed Data格式，具有以下特点：

• 均以 0xFF 开始，后跟 1 字节标记符(Marker)和 2 字节的标记长度(即Segment length，包含表示Length占用的 2 字节，不含0xFF” “Marker” 占用的2字节)
• 保存时高位在前，低位在后
• Data部分中，0xFF后若为0x00跳过这个字节不处理

JPEG编码将图像分为8×8的块作为数据处理的最小单位，对于灰度级为2ⁿ的像素，通过减去 2^n-1，将无符号数变成有符号数。以灰度级n=8为例，原来图像的灰度范围是[0,255]，减去128之后变为了[-128,127]。经过零偏置后，图像平均亮度降低，像素灰度的绝对值被控制在较小的范围内，有利于后续编码。

对零偏置后的图像进行DCT变换，以进行能量集中和去相关，同时去除图像的空间冗余，变换后图像的能量都集中在右上角，同时DCT变换是一种无损变换，在变换过程中没有精度损失。如果有些图片并非8×8的整数倍，那么就需要在边缘进行像素填充。

因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表，分别是亮度量化值和色差量化值。同时因为人眼对低频敏感高频不太敏感，因此对低频分量采取较细的量化，对高频分量采取较粗的量化，因此细节少的原始图像在压缩时去掉的数据要少

8×8的图像块经过DCT变换之后得到的DC直流系数有两个特点：系数的数值比较大；相邻8×8图像块的DC系数值变化不大（存在冗余），因此可以采用DPCM方法，对相邻图像块之间量化DC系数的差值进行编码，编码方式采用熵编码（Huffman编码），亮度信号与色度信号的DC系数采用不同的Huffman编码表。

由于经过DCT变换后，系数大多集中在左上角，也就是低频分量区，因此采用Z字形扫描，按频率的高低顺序读出，这样会出现很多的连零，可以使用RLE游程编码，尤其是在最后，如果都是零，直接给出EOB（End of Block）即可，亮度信号和色度信号的AC系数也有不同的Huffman码表。

在JPEG编码中，游程编码的形式为：（run，level），表示连续run个0后有值为level的系数 注：①run最多15个，用4位表示RRRR ②level，类似DC，分成16个类别，用4位SSSS表示类别号，类内索引 ③对（RRRR,SSSS）采用Huffman编码，对类内索引采用定长编码

综上可以知道，在JPEG编码的过程中用到了两张量化表（亮度和色度）以及四张Huffman码表（亮度DC、亮度AC、色度DC和色度AC）

解码就是编码的逆过程，其大致流程如下：

• 1.读取文件
• 2.解析文件segment 解析SOI，判断是否是JPEG文件 解析SOF 解析DQT，获取量化表相关信息 解析SOS 解析DHT，获取Huffman码表相关信息 解析DRI
• 3.以MCU为单位进行解码 解码Huffman数据 解码DC差值 重构量化后的系数 DCT逆变换
• 4.丢弃填充的行/列
• 5.反0偏置
• 6.对丢失的CbCr分量差值（下采样的逆过程）
• 7.YCbCr->RGB

本次实验共两个部分的代码，Jpeg parser是jpeg码流分析软件，主要帮助我们理解jpeg码流结构；Jpeg_mindec是本次实验调试的程序，包含基本的jpeg解码过程。

打开JPEGParser项目，设置命令行参数如下： 其中1.jpg为本次实验分析的jpeg文件，如下： Parse-Report-1.txt是分析图片得到的分析报告，如下： 其中红色部分表示图像中有3个分量YCbCr，黄色部分表示Y对应的量化表索引值为00，蓝色部分表示UV对应的量化表索引值为01。 其他具体的分析可见 《JPEG解码》调试报告

本实验利用该部分代码进行JPEG文件的解码，并将输出的文件保存为可供YUVViewer观看的YUV文件，同时输出DC图像、某一个AC值图像以及以txt文件输出所有的量化矩阵和Huffman码表。

该文件中包含huffman_table、component、jdec_private三个重要结构体

创建一个快速查找表用于快速解码，如果查找失败则用慢速查找表，目的是加快解码过程。

struct huffman_table
{ 
        
  /* 快速查表，用HUFFMAN_HASH_TABLE个比特可以快速找到符号，如果符号<0，那么需要查看慢速查找表*/
  short int lookup[HUFFMAN_HASH_SIZE];
  /* code size: 给出码字长度，输出权值对应的码长 */
  unsigned char code_size[HUFFMAN_HASH_SIZE];
  /* 给出在慢速查找表中没有出现的码字，计算256值是否足以存储所有的值*/
  uint16_t slowtable[16-HUFFMAN_HASH_NBITS][256];
};

用于存储一个MCU块的信息，每处理一个新的MCU块后，信息都会更新。用它来保存一些解码过程中需要用到的信息，如量化表、前一个直流的值和当前MCU的DCT块从而使解码更加简单。

struct component 
{ 
        
  unsigned int Hfactor; /* 水平采样情况 */
  unsigned int Vfactor; /* 垂直采样情况 */
  float *Q_table;		/* 指向量化表 */
  struct huffman_table *AC_table; /* 指向直流HUFFMAN表 */
  struct huffman_table *DC_table; /* 指向交流HUFFMAN表 */
  short int previous_DC;	/* 前一个直流系数 */
  short int DCT[64];		/* DCT系数 */
#if SANITY_CHECK
  unsigned int cid;
#endif
};

该结构体是解码过程中频繁用到的东西，起到整合基本信息、连接各个部分的作用。主要用于存储图像的基本信息和各通道信息，包含了前两个结构体的内容，且由于是采用指针方式，并不占用额外的空间。

struct jdec_private
{ 
        
  /* Public variables */
  uint8_t *components[COMPONENTS];
  unsigned int width, height;	/* Size of the image */
  unsigned int flags;

  /* Private variables */
  const unsigned char *stream_begin, *stream_end;
  unsigned int stream_length;

  const unsigned char *stream;	/* Pointer to the current stream */
  unsigned int reservoir, nbits_in_reservoir;

  struct component component_infos[COMPONENTS]; /* 各通道信息 */
  float Q_tables[COMPONENTS][64];		/* 三通道quantization tables */
  struct huffman_table HTDC[HUFFMAN_TABLES];	/* DC huffman tables */
  struct huffman_table HTAC[HUFFMAN_TABLES];	/* AC huffman tables */
  int default_huffman_table_initialized;
  int restart_interval;
  int restarts_to_go;				/* MCUs left in this restart interval */
  int last_rst_marker_seen;			/* Rst marker每次递增 */

  /* IDCT之后用于存储每个component的临时空间 */
  uint8_t Y[64*4], Cr[64], Cb[64];

  jmp_buf jump_state;
  /* 内部指针用于颜色空间的转换，请勿修改 !!! */
  uint8_t *plane[COMPONENTS];
};

这一部分是解码用到的核心函数，这一部分的主要操作是将输入的jpeg文件内容进行读取并存入buf，之后利用tinyjpeg_parse_header函数解码JPEG文件的头信息，调用tinyjpeg_get_size函数获取文件大小，最后再调用tinyjpeg_decode函数进行解码，最后根据需要保存为不同形式的文件并释放空间。

/** * Load one jpeg image, and decompress it, and save the result. */
int convert_one_image(const char *infilename, const char *outfilename, int output_format)
{ 
          //解码核心函数
  FILE *fp;
  unsigned int length_of_file;
  unsigned int width, height;
  unsigned char *buf;
  struct jdec_private *jdec; //定义结构体
  unsigned char *components[3];

  /* Load the Jpeg into memory */  //将所有文件全部读入
  fp = fopen(infilename, "rb");
  if (fp == NULL)
    exitmessage("Cannot open filename\n");
  length_of_file = filesize(fp);  //获取输入文件大小
  buf = (unsigned char *)malloc(length_of_file + 4);
  if (buf == NULL)
    exitmessage("Not enough memory for loading file\n");
  fread(buf, length_of_file, 1, fp);  //将文件内容读入buf
  fclose(fp);

  /* Decompress it */
  jdec = tinyjpeg_init();  //初始化
  if (jdec == NULL)
    exitmessage("Not enough memory to alloc the structure need for decompressing\n");

  if (tinyjpeg_parse_header(jdec, buf, length_of_file)<0) //判断文件是否可解码
    exitmessage(tinyjpeg_get_errorstring(jdec));

  /* Get the size of the image */
  tinyjpeg_get_size(jdec, &width, &height);  //得到文件大小

  snprintf(error_string, sizeof(error_string),"Decoding JPEG image...\n");
  if (tinyjpeg_decode(jdec, output_format) < 0)  //解码
    exitmessage(tinyjpeg_get_errorstring(jdec));

  /* * Get address for each plane (not only max 3 planes is supported), and * depending of the output mode, only some components will be filled * RGB: 1 plane, YUV420P: 3 planes, GREY: 1 plane */
  tinyjpeg_get_components(jdec, components);

  /* Save it */
  switch (output_format)  //解码后按照想要的格式保存文件内容
   { 
        
    case TINYJPEG_FMT_RGB24:
    case TINYJPEG_FMT_BGR24:
      write_tga(outfilename, output_format, width, height, components);
      break;
    case TINYJPEG_FMT_YUV420P:
      write_yuv(outfilename, width, height, components);
      break;
    case TINYJPEG_FMT_GREY:
      write_pgm(outfilename, width, height, components);
      break;
   }

  /* Only called this if the buffers were allocated by tinyjpeg_decode() */
  tinyjpeg_free(jdec);
  /* else called just free(jdec); */

  free(buf);
  return 0;
}

存在于tinyjpeg.c中，主要用于初始化一个jdec_private的结构体，并赋给jdec，之后围绕该结构体展开后续的解码操作。具体结构体如下：

struct jdec_private *tinyjpeg_init(void)
{ 
        
  struct jdec_private *priv;
 
  priv = (struct jdec_private *)calloc(1, sizeof(struct jdec_private));
  if (priv == NULL)
    return NULL;
  return priv;
}

主要用于判断是否是jpeg文件，解析文件信息，通过指针移动进入parse_JFIF函数，parse_JFIF函数遍历整个文件，找到不同的标识码，并解析相应标识码对应的信息

在到达SOS之前，循环调用parse_SOF()、parse_DQT()、parse_SOS()、parse_DHT()、parse_DRI()。

static int parse_JFIF(struct jdec_private *priv, const unsigned char *stream)
{ 
        
  int chuck_len;
  int marker;
  int sos_marker_found = 0;
  int dht_marker_found = 0;
  const unsigned char *next_chunck;

  /* Parse marker */
  while (!sos_marker_found)
   { 
        
     if (*stream++ != 0xff)  //获取0xff之后的字符，确定标识符类型
       goto bogus_jpeg_format;
     /* Skip any padding ff byte (this is normal) */
     while (*stream == 0xff)
       stream++;

     marker = *stream++;
     chuck_len = be16_to_cpu(stream);
     next_chunck = stream + chuck_len;
     switch (marker)
      { 
        
       case SOF:
	 if (parse_SOF(priv, stream) < 0)
	   return -1;
	 break;
       case DQT:
	 if (parse_DQT(priv, stream) < 0)
	   return -1;
	 break;
       case SOS:
	 if (parse_SOS(priv, stream) < 0)
	   return -1;
	 sos_marker_found = 1;
	 break;
       case DHT:
	 if (parse_DHT(priv, stream) < 0)
	   return -1;
	 dht_marker_found = 1;
	 break;
       case DRI:
	 if (parse_DRI(priv, stream) < 0)
	   return -1;
	 break;
       default:
#if TRACE
	fprintf(p_trace,"> Unknown marker %2.2x\n", marker);
	fflush(p_trace);
#endif
	 break;
      }

     stream = next_chunck;
   }

  if (!dht_marker_found) { 
        
#if TRACE
	  fprintf(p_trace,"No Huffman table loaded, using the default one\n");
	  fflush(p_trace);
#endif
    build_default_huffman_tables(priv);
  }

#ifdef SANITY_CHECK
  if (   (priv->component_infos[cY].Hfactor < priv->component_infos[cCb].Hfactor)
      || (priv->component_infos[cY].Hfactor < priv->component_infos[cCr].Hfactor))
    snprintf(error_string, sizeof(error_string),"Horizontal sampling factor for Y should be greater than horitontal sampling factor for Cb or Cr\n");
  if (   (priv->component_infos[cY].Vfactor < priv->component_infos[cCb].Vfactor)
      || (priv->component_infos[cY].Vfactor < priv->component_infos[cCr].Vfactor))
    snprintf(error_string, sizeof(error_string),"Vertical sampling factor for Y should be greater than vertical sampling factor for Cb or Cr\n");
  if (   (priv->component_infos[cCb].Hfactor!=1) 
      || (priv->component_infos[cCr].Hfactor!=1)
      || (priv->component_infos[cCb].Vfactor!=1)
      || (priv->component_infos[cCr].Vfactor!=1))
    snprintf(error_string, sizeof(error_string),"Sampling other than 1x1 for Cr and Cb is not supported");
#endif

  return 0;
bogus_jpeg_format:
#if TRACE
  fprintf(p_trace,"Bogus jpeg format\n");
  fflush(p_trace);
#endif
  return -1;
}

其中parse_*( )，即parse_SOF()、parse_DQT()、parse_SOS()、parse_DHT()、parse_DRI()分别用于解析各字段，具体内部结构略。

在此函数中，对每个块的水平和垂直采样情况进行解析，计算MCU，同时对不同MCU进行处理。