消息队列ZeroMQ实践
来源:服务端框架工具经验作者：郭忆 2014-08-13 10:54
一、ZeroMQ简介
ZeroMQ它被称为历史上最快的消息队列。它位于会话层和应用层之上。它完美地包装了后台异步线程来接收和发送消息Socket API，它极大地简化了编程师的复杂性，被称为历史上最强大的新闻中间件。ZMQ它是用C语言编写的，30us内部信息的传输可以与多个平台和语言兼容，并且可以通过多种方式实现N对N的Socket连接。本文仅以JAVA版本的ZMQ API为例，介绍ZMQ
ZMQ与传统的TCPSocket具有以下优点：
ZMQ具有固定长度的二进制对象被发送和接受，ZMQ最多254个字节，前6个字节是协议，然后是数据包。数据包由三个部分组成，第一个字节是包的长度，第二个字节是包的一些属性，最后是包的内容。若超过255个字节(有一个字节表示包属性)，则ZMQ对于自动分包传输；TCP Socket，编程人员需要处理数据块和数据块之间的边界问题，以连接字节流ZMQ一个完整的数据块可以保证用户每次发送和接受；
传统的TCP Socket连接为1对1，可视为1Socket=一个连接，独立维护每个线程Socket。但是ZMQ抛弃这种一对一模式，ZMQ的Socket一对可以轻松实现N，N对1和N对N连接模式，一个ZMQ的Socket一组连接可以自动维护，用户无法操作，用户只能操作套接字，而不是连接本身。ZMQ在世界上，连接是私有的。这里大家关心的是，一个Socket如何识别多个来源Socket以请求响应模式为例ZMQ如何实现一个？Socket连接N个Socket的；
MQ使用异步后台线程处理接收和发送请求，这意味着发送消息后，不能立即释放资源，当消息发送用户无法控制时，ZMQ自动重连意味着用户可以随时添加或退出网络；
ZMQ在无状态网络中实现一对N连接的关键在于信封机制，它保存了响应目标的位置。ZMQ涉及请求-响应模式Socket有四种类型：
DEALER这是一种负载平衡，它将消息分发给已连接的节点，并使用公平队列机制来处理接收到的信息。
REQ发送消息时，会在消息顶部插入空帧，接受时会移除空帧。REQ是建立在DEALER之上的，但REQ只有在消息发送并收到回应后才能继续运行。
ROUTER在收到消息时，在顶部添加一个信封，以标记消息来源。该消息将通过信封决定哪个节点获得。
REP在收到信息时，保存第一个空帧前的所有信息，并将原始信息传输给应用程序。发送消息时，REP将使用刚刚保存的信息包来响应信息。REP其实是建立在ROUTER但是和REQ同样，这两个动作必须在继续之前完成接受和发送。
了解四种类型Socket之后就不难理解了。ZMQ信封机制。ZMQ信封机制的核心是Router Socket，其工作原理如下：
从ROUTER中读一条消息时，ZMQ会包上一层信封，上面注明了消息的来源。ROUTER写信时(包括信封)，ZMQ打开信封，并将信息发送给相应的对象。REQ Socket向ROUTER Socket发送一条请求后，REP会从ROUTER新闻格式如下：
第三帧是REP从应用程序中收到的数据，第二帧是空帧，是的REQ在发送ROUTER之前添加的数据用于表示结束。第一帧是信封，是ROUTER添加，主要用于记录信息来源；整个数据包处理过程如下：
对于REQ Socket，可以在创建Socket为此Sock此时指定标志符Socket称为持久Socket，我们称之为没有指定标志符的瞬时Socket，ROUTER会自动变成瞬间Socket生成标志符；
这样REP返回包含信封的数据ROUTER，ROUTER信息可以根据信封上的标记符发送到相应的信息REQ上；
ZMQ使用注意事项：
ZMQ在发送端缓存消息，可通过阈值控制消息溢出；
ZMQ线程间不能共享Socket，否则会报org.zeromq.ZMQException: Operation cannot be accomplished in current state错误。
ZMQ只允许一个过程有一个过程Context，new Context(int arg) arg表示后台线程的数量。
ZMQ的Socket类有一个Linger可通过参数SetLinger设置主要用于表示Socket关闭以后，未发送成功的消息是否还保存，如果设置为-1表示该消息将永久保存（除非宕机，ZMQ是不持久的)，如果是0，则表示所有未发送成功的信息都在Socker关闭后会立即清除，如果是正数，这意味着消息在Socket关闭后多少毫秒内被删除；这种方法非常有用，特别是在控制发送失败时是否重发信息。
二、ZeroMQ多线程编程
ZMQ与传统的TCP Socket最大的区别在于Socket连接不再是1:1，而是1:1N甚至N:N的，这意味ZMQ摒弃了每个后台请求处理线程都使用单独的一个Socket返回用户请求。同时，ZMQ不允许多个线程共享Socket，所以ZMQ在使用一个Socket在处理请求的过程中，同一端口会被堵塞 其他要求显然不能满足需求。ZMQ该问题采用信封机制灵活解决。
就像上节所介绍的，ZMQ的Socket有4种类型：DEALER，REQ，REP，ROUTER。4种Socket组合变化基本上可以满足绝大多数消息 通信的需求，当然也可以实现多线程处理用户请求。信封机制的核心是Router Socket，它可以来自每一个REQ标记请求以标记该请求REQ，返回时直接返回相应的REQ，利用Router我们可以利用更多 用户请求的线程处理。
以经典的请求响应模式为例，了解如何使用它ZMQ实现多线程处理用户请求。整个消息通信系统的架构如图1-1所示，由客户端、服务器端监控线程和后台消息处理线程组成。
整个信息通信流程如下：
客户端使用REQ Socket向服务器端监控线程发送消息Front Router，REQ Socket在向每个用户请求消息之前，将添加一个空帧(Frame)；
Front Router在接到REQ新闻发布后，会判断REQ是否持久Socket，也就是说，是否有标记符，如果没有，则应自动进行REQ生成标志符。标识符 将帧添加到整个消息的前面。如上节所述，ZMQ的消息(ZMsg)由若干个帧(ZFrame)组成，现在，整个ZMsg由三部分组成，Client Identifier，空帧和新闻实体。
Front Router接到消息后，服务器端监控线程会将消息交给后台线程，然后继续监控其他客户端的请求，以免堵塞端口；
后台消息处理线程将收到的消息拆分，取出客户请求进行处理，然后按照ClientIdentifier，空帧和返回内容组装成新的Zmsg，交给后台线程REQ。
后台消息处理线程REQ在接到ZMsg后，会为该Zmsg在外层添加一个空帧，然后到服务器端监控线程Backend Router；
Backend Router同理会自动接收ZMsg的最外层加入一个后台线程的标示符，然后服务器监听线程对消息进行拆分，取出ClientIdentifier，然后交给FrontRouter，利用Front Router发送到相应的客户端。
到目前为止，整个消息通信过程已经结束。
三、Windows下编译安装
zmq和jzmq目前官方还没有提供编译文件下载，git只有很老的(2).0)版本。因为它用于开发过程中windows系统，所以在windows下能够使用jzmq方便开发和调试系统。然而，通过官方网站的介绍windows下安装zmq3.2.版本会有很多问题 有各种各样的坑，缺乏网上相关资料。经过不断的尝试，作者终于成功了windows编译和使用jzmq，这里把windows通过编译安装zmq和jzmq整理记录下来，让有需要的人参考。
环境要求：
安装了jdk(请选择32位版本或64位版本)并设置相应的环境变量，可以正确处理cmd中执行javac命令。window安装在环境中msvc2008或更新版本。
zeromq的编译：
zeromq官方提供相应的编译对应installer版本下载，包括32位和64位。但是在使用过程中会遇到很多问题，所以无论使用如何zeromq还是通过zeromq库去编译jzmq，最好是自己编译zeromq。编译方法如下：
登录ZeroMQ | Download下载window下载源码包后使用源码包msvc打开builds\msvc\msvc.sln编译即可。注意这里有个小坑，3.2.2版将在编译中抛出errorno.cpp文件找不到等异常，并导致编译失败，比较奇怪。可以在这个时候libzmq工程目录下Source Files中找到errorno.cpp双击后发现文件msvc这个文件本身不需要吗？直接删除文件，重新编译，通过。
编好的库会放在lib子目录中。
jzmq的编译:
要在windows下使用jzmq就更悲催了。官方居然没有提供已编译好的window版本，只给出了源码和编译步骤。这样只能自己编译。jzmq编译也 分windows32位和64位两个版本。编译方式也不同特别是window64位版本的编译，你用官方的方法一定编译不过。下面具体讲讲在编译中遇到的 问题和处理方式。
jzmq的windows32位版本的编译：
下载源码包:git clone GitHub - zeromq/jzmq: Java binding for ZeroMQ。
用msvc打开builds\msvc\msvc.sln进入jzmq工程。
配置工程依赖路径：msvc2008配置在：Tools|Options|Projects and Solutions|VC++ Directories|Include files。2008后期后期版本略有不同，在对应的工程下，点击右键进入属性后找到VC++目录做对应操作即可。路径设置参考： Include files: \include\win32 \include \include Library files: \lib
编译即可。注意这里有个小坑：如果你使用的是官方已打包好的zeromq库进行编译，下载对应的依赖库名称是类似libzmq-v90-mt- 3_2_2.dll(或lib)而非libzmq.dll(或lib)。这是你要将名称替换成libzmq.dll,libzmq.lib。这样才能编译 通过。
jzmq的windows64为版本的编译：
下载jzmq源码:git clone https://github.com/zeromq/jzmq.git
另外还需要下载cmake for window(注意官方没有说选择32位还是64位版本，但实际上这只是个编译中间工具，32位版本亦可，无需刻意寻找对应的64位版本，官方也没提 供):Download | CMake
在jzmq源码目录中创建一个新目录:build64（官方在步骤3中说Insert attached CMakeLists.txt，下载这个文件并覆盖到jzmq根目录。注意千万别这么做，那个CMakeLists.txt是很老的版本了。不适用现在的 环境了。好大个坑。实际上你无需替换任何CMakeLists.txt文件）
在build64目录中cmd运行D:\Microsoft Visual Studio 11.0\VC\bin\amd64\vcvars64.bat(请换成你机子上msvc对应目录。又是个大坑，官方居然没有这一步，cmd没有通过该步 设置对应的环境变量后续即使能工作都是错误的)
不要关闭cmd,再运行cmake .. -G "NMake Makefiles"
完成后再cmake-gui .打开cmake图形界面，设置CMAKE_BUILD_TYPE为Release，然后分别点击Configure，Generate
指定编译的include和lib（官方又没提该步，如果不熟悉nmake的话后续操作会比较困惑）请换成你机子上msvc对应目录，注意libzmq.dll也需要64位版本，可在http://miru.hk/archive /ZeroMQ-3.2.2rc2~miru1.5-x86.exe下载编译好的版本。然后进入lib目录下把任意一个lib版本换成 libzmq.lib，这样编译器才能够识别。如libzmq-v110-mt-3_2_2.lib换成libzmq.lib。cmd脚本例子如下: set INCLUDE=%INCLUDE%;F:\zmq\zeromq-3.2.2\include;D:\jdk\include;D:\jdk\include\win32 set LIB=%LIB%;F:\zmq\zmq
最后运行nmake生成对应库文件。(可选)如果你安装了NSIS的话可以运行nmake package让它生成可安装文件
在使用jzmq时可能也会遇到一些问题，这里提供了一些解决方案可参考。
首先确保run->run configurations->arguments->VM arguments下指定了libraray path，如：-Djava.library.path=E:\cfg\lib\win64。由于jzmq.dll同时又依赖libzmq.dll，而 dll与dll之间的依赖是通过system path关联的，所以还需要将libzmq.dll放在system path环境变量中。
如果eclipse运行Can't find dependent libraries出现问题，请按如下方式依次检查：
确保libzmq.dll已放入了system path环境变量中？可通过打开cmd后输入where libzmq.dll检查
eclipse是否重启？如果system path环境变量变更，需要重启eclipse后eclipse才能识别
如果还是不行，从Dependency Walker (depends.exe) Home Page下载dependencywalker小工具，600k左右，它能够 查看window模块(exe,dll,sys等)依赖的模块有哪些，使用非常简单。通过它检查jzmq.dll模块具体依赖了哪些模块，在系统环境变量 中补上缺失的模块即可
(493条消息) 消息队列ZeroMQ实践_StevenIsSnail的博客-CSDN博客_org.zeromq