** 本文将详细介绍微服务的概念和实践 **
0.学习目标
- 了解系统架构的演变
- 了解RPC与Http的区别
- 掌握HttpClient的简单使用
- 知道什么是SpringCloud
- 独立搭建Eureka注册中心
- 独立配置Robbin负载均衡
1.系统架构的演变
随着互联网的发展,网站应用的规模不断扩大。需求激增带来技术压力。因此,系统架构也在不断演变、升级和迭代。从单一应用到垂直拆分,再到分布式服务SOA,以及热门的微服务架构和Google带领下来势汹涌的Service Mesh。是应该乘坐微服务船驶向远方,还是偏安一角得过且过?
事实上,生活不仅仅是现在,还有诗歌和距离。所以今天我们将回顾历史,看看系统结构的演变;把握现在,学习最热门的技术结构;展望未来,努力成为一个优秀的人Java工程师。
1.1. 集中式架构
当网站流量非常小时时,只需要一个应用程序来部署所有功能,以降低部署节点和成本。此时,用于简化工作量的数据访问框架(ORM)这是影响项目开发的关键。
存在的问题:
- 开发和维护代码耦合困难
- 不能针对不同的模块进行有针对性的优化
- 无法水平扩展
- 单点容错率低,并发能力差
1.2.垂直拆分
当访问量逐渐增加时,单个应用程序无法满足需求。此时,为了应对更高的并发性和业务需求,我们根据业务功能拆分系统:
优点:
- 系统拆分实现了流量共享,解决了并发问题
- 可优化不同模块
- 水平扩展方便,负载平衡,容错率提高
缺点:
- 系统间相互独立,会有很多重复开发工作,影响开发效率
1.3.分布式服务
当垂直应用程序越来越多时,应用程序之间的互动是不可避免的。提取核心业务作为独立服务,逐步形成稳定的服务中心,使前端应用程序能够更快地响应可变的市场需求。此时,改善业务重用和集成的分布式呼叫是关键。
优点:
- 提取基本服务,相互调用系统,提高代码重用和开发效率
缺点:
- 系统间耦合度变高,调用关系复杂,难以维护
1.4.服务治理(SOA)
当越来越多的服务、容量评估、小型服务资源的浪费等问题逐渐出现时,需要根据访问压力增加调度中心,实时管理集群容量,提高集群利用率。此时,用于提高机器利用率的资源调度和管理中心(SOA)是关键
以前有什么问题?
- 越来越多的服务需要管理每个服务的地址
- 调用关系复杂,难以理清依赖关系
- 服务过多,服务状态难以管理,不能根据服务情况动态管理
服务治理要做什么?
- 无需人工记录服务地址,实现服务注册中心的自动注册和发现
- 自动订阅服务,自动推送服务列表,透明呼叫服务,不关心依赖关系
- 动态监控服务状态监控报告,人为控制服务状态
缺点:
- 服务间会有依赖关系,一旦某个环节出错,影响会很大
- 服务关系复杂,操作、维护、测试和部署困难DevOps思想
1.5.微服务
前面说的SOA,英文翻译是面向服务的。微服务,似乎也是服务,都是拆分系统的。所以两者很容易混淆,但实际上缺乏一些区别:
微服务的特点:
- 单一职责:微服务中的每一项服务都对应着唯一的业务能力,实现单一职责
- 微:微服务的服务拆分粒度很小,比如用户管理可以作为服务。虽然每项服务都很小,但五脏俱全。
- 面向服务:面向服务意味着每个服务都应该暴露在外API。不关心服务的技术实现,与平台和语言无关,只要提供Rest接口可以。
- 自治:自治是指服务间相互独立,不相互干扰
- 团队独立:每项服务都是独立的开发团队,人数不能太多。
- 技术独立:因为是面向服务,提供服务Rest接口,使用什么技术不干涉别人
- 前后分离:采用前后分离开发,提供统一Rest接口,后端不用再做了PC、开发不同接口的移动段
- 数据库分离:每个服务都使用自己的数据源
- 部署是独立的。虽然服务室已被调用,但服务重启不会影响其他服务。有利于持续集成和交付。每个服务都是独立的组件,可重复使用,可替换,减少耦合,易于维护
2.远程调用
无论是微服务还是微服务SOA,都面临着服务间的远程调用。那么服务间的远程调用方法有哪些呢?
常见的远程调用方法如下:
-
RPC:Remote Produce Call远程过程调用,类似和RMI。基于原生的自定义数据格式TCP通信速度快,效率高。webservice,现在热门的dubbo,都是RPC的典型
-
Http:http基于网络传输协议实际上是一种网络传输协议TCP,规定了数据传输的格式。目前客户浏览器和服务通信基本采用Http协议。也可用于远程服务调用。缺点是新闻包装臃肿。
现在热门的Rest风格,可以通过http实现协议。
2.1.认识RPC
RPC,即 Remote Procedure Call(远程调用)是计算机通信协议。 该协议允许在一台计算机上运行的程序调用另一台计算机的子程序,程序员不需要额外编程交互功能。流行的一点是:A计算机提供服务,B计算机可以像调用本地服务一样调用A计算机服务。
通过以上概念,我们可以知道并实现它RPC主要有两点:
- 远程调用其他计算机服务
- 要实现远程调用,必须通过网络传输数据。A程序提供服务,B通过网络将请求参数传递给网络A,A在本地执行后获得结果,然后将结果返回B程序。有两点需要注意:
- 1)采用什么样的网络通信协议?
- 现在比较流行RPC将采用所有框架TCP作为底层传输协议
- 2)数据传输的格式如何?
- 通信两个程序时,必须约定数据传输格式。就像两个人聊天一样,用同样的语言,否则就无法沟通。因此,我们必须定义请求和响应的格式。此外,数据在网络中的传输需要序列化,因此需要约定统一的序列化方式。
- 1)采用什么样的网络通信协议?
- 要实现远程调用,必须通过网络传输数据。A程序提供服务,B通过网络将请求参数传递给网络A,A在本地执行后获得结果,然后将结果返回B程序。有两点需要注意:
- 调用远程服务就像调用本地服务一样
- 如果只是远程调用,那就不算了RPC,因为RPC强调的是过程调用,调用过程应该对用户透明,用户不应该关心调用的细节,可以像调用本地服务一样调用远程服务。RPC调用过程必须封装
2.2.认识Http
Http协议:超文本传输协议是一种应用层协议。规定了网络传输的要求格式、响应格式、资源定位和操作模式。但是,没有规定底层使用什么网络传输协议,但现在使用TCP协议作为底层传输协议。说到这里,你可能会想,Http与RPC远程调用很像,都是按照规定的数据格式进行网络通信,有要求,有响应。是的,在这方面,两者非常相似,但仍有一些细微的差异。
- RPC数据传输格式没有规定,可以随意指定,不同RPC协议,数据格式不一定相同。
- Http还定义了资源定位的路径,RPC中并不需要
- 最重要的一点:RPC需要像调用本地服务一样调用远程服务,即调用过程API层次封装。Http协议没有这样的要求,所以我们需要实现请求、响应等细节。
- 优点:RPC对用户更透明、更方便。Http方法更灵活,没有规定API和语言、跨语言、跨平台、跨平台、
- 缺点:RPC方式需要在API层次封装限制了语言环境的发展。
例如,我们通过浏览器访问网站Http协议。只不过浏览器把请求封装,发起请求以及接收响应,解析响应的事情都帮我们做了。如果是不通过浏览器,那么这些事情都需要自己去完成。
2.3.如何选择?
既然两种方法都可以实现远程调用,我们应该如何选择?
- 速度来看,RPC要比http尽管底层都是TCP,但是http协议的信息往往臃肿,但可以使用gzip压缩。
- 难度来看,RPC实现较为复杂,http相对比较简单
- 灵活性来看,http更胜一筹,因为它不关心实现细节,跨平台、跨语言。
因此,两者都有不同的使用场景:
- 如果对效率要求更高,并且开发过程使用统一的技术栈,那么用RPC还是不错的。
- 如果需要更加灵活,跨语言、跨平台,显然http更合适
那么我们该怎么选择呢?
微服务,更加强调的是独立、自治、灵活。而RPC方式的限制较多,因此微服务框架中,一般都会采用基于Http的Rest风格服务。
3.Http客户端工具
既然微服务选择了Http,那么我们就需要考虑自己来实现对请求和响应的处理。不过开源世界已经有很多的http客户端工具,能够帮助我们做这些事情,例如:
- HttpClient
- OKHttp
- URLConnection
接下来,我们就一起了解一款比较流行的客户端工具:HttpClient
3.1.HttpClient
3.1.1.介绍
HttpClient是Apache公司的产品,是Http Components下的一个组件。
官网地址:http://hc.apache.org/index.html
特点:
- 基于标准、纯净的Java语言。实现了Http1.0和Http1.1
- 以可扩展的面向对象的结构实现了Http全部的方法(GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE)
- 支持HTTPS协议。
- 通过Http代理建立透明的连接。
- 自动处理Set-Cookie中的Cookie。
3.1.2.使用
发起get请求:
@Test
public void testGet() throws IOException {
HttpGet request = new HttpGet("http://www.baidu.com");
String response = this.httpClient.execute(request, new BasicResponseHandler());
System.out.println(response);
}
发起Post请求:
@Test
public void testPost() throws IOException {
HttpPost request = new HttpPost("http://www.oschina.net/");
request.setHeader("User-Agent",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36");
String response = this.httpClient.execute(request, new BasicResponseHandler());
System.out.println(response);
}
尝试访问昨天编写的接口:http://localhost/hello
这个接口返回一个User对象
@Test
public void testGetPojo() throws IOException {
HttpGet request = new HttpGet("http://localhost/hello");
String response = this.httpClient.execute(request, new BasicResponseHandler());
System.out.println(response);
}
我们实际得到的是一个json字符串:
{
"id": 8,
"userName": "liuyan",
"password": "123456",
"name": "柳岩",
"age": 21,
"sex": 2,
"birthday": "1995-08-07T16:00:00.000+0000",
"created": "2014-09-20T03:41:15.000+0000",
"updated": "2014-09-20T03:41:15.000+0000",
"note": "柳岩同学在传智播客学表演"
}
如果想要得到对象,我们还需要手动进行Json反序列化,这一点比较麻烦。
3.1.3.Json转换工具
HttpClient请求数据后是json字符串,需要我们自己把Json字符串反序列化为对象,我们会使用JacksonJson工具来实现。
JacksonJson
是SpringMVC内置的json处理工具,其中有一个ObjectMapper
类,可以方便的实现对json的处理:
对象转json
// json处理工具
private ObjectMapper mapper = new ObjectMapper();
@Test
public void testJson() throws JsonProcessingException {
User user = new User();
user.setId(8L);
user.setAge(21);
user.setName("柳岩");
user.setUserName("liuyan");
// 序列化
String json = mapper.writeValueAsString(user);
System.out.println("json = " + json);
}
结果:
json转普通对象
// json处理工具
private ObjectMapper mapper = new ObjectMapper();
@Test
public void testJson() throws IOException {
User user = new User();
user.setId(8L);
user.setAge(21);
user.setName("柳岩");
user.setUserName("liuyan");
// 序列化
String json = mapper.writeValueAsString(user);
// 反序列化,接收两个参数:json数据,反序列化的目标类字节码
User result = mapper.readValue(json, User.class);
System.out.println("result = " + result);
}
结果:
json转集合
json转集合比较麻烦,因为你无法同时把集合的class和元素的class同时传递到一个参数。
因此Jackson做了一个类型工厂,用来解决这个问题:
// json处理工具
private ObjectMapper mapper = new ObjectMapper();
@Test
public void testJson() throws IOException {
User user = new User();
user.setId(8L);
user.setAge(21);
user.setName("柳岩");
user.setUserName("liuyan");
// 序列化,得到对象集合的json字符串
String json = mapper.writeValueAsString(Arrays.asList(user, user));
// 反序列化,接收两个参数:json数据,反序列化的目标类字节码
List<User> users = mapper.readValue(json, mapper.getTypeFactory().constructCollectionType(List.class, User.class));
for (User u : users) {
System.out.println("u = " + u);
}
}
结果:
json转任意复杂类型
当对象泛型关系复杂时,类型工厂也不好使了。这个时候Jackson提供了TypeReference来接收类型泛型,然后底层通过反射来获取泛型上的具体类型。实现数据转换。
// json处理工具
private ObjectMapper mapper = new ObjectMapper();
@Test
public void testJson() throws IOException {
User user = new User();
user.setId(8L);
user.setAge(21);
user.setName("柳岩");
user.setUserName("liuyan");
// 序列化,得到对象集合的json字符串
String json = mapper.writeValueAsString(Arrays.asList(user, user));
// 反序列化,接收两个参数:json数据,反序列化的目标类字节码
List<User> users = mapper.readValue(json, new TypeReference<List<User>>(){
});
for (User u : users) {
System.out.println("u = " + u);
}
}
3.3.Spring的RestTemplate
Spring提供了一个RestTemplate模板工具类,对基于Http的客户端进行了封装,并且实现了对象与json的序列化和反序列化,非常方便。RestTemplate并没有限定Http的客户端类型,而是进行了抽象,目前常用的3种都有支持:
- HttpClient
- OkHttp
- JDK原生的URLConnection(默认的)
首先在项目中注册一个RestTemplate
对象,可以在启动类位置注册:
@SpringBootApplication
public class HttpDemoApplication {
public static void main(String[] args) {
SpringApplication.run(HttpDemoApplication.class, args);
}
@Bean
public RestTemplate restTemplate() {
// 默认的RestTemplate,底层是走JDK的URLConnection方式。
return new RestTemplate();
}
}
在测试类中直接@Autowired
注入:
@RunWith(SpringRunner.class)
@SpringBootTest(classes = HttpDemoApplication.class)
public class HttpDemoApplicationTests {
@Autowired
private RestTemplate restTemplate;
@Test
public void httpGet() {
User user = this.restTemplate.getForObject("http://localhost/hello", User.class);
System.out.println(user);
}
}
- 通过RestTemplate的getForObject()方法,传递url地址及实体类的字节码,RestTemplate会自动发起请求,接收响应,并且帮我们对响应结果进行反序列化。
学习完了Http客户端工具,接下来就可以正式学习微服务了。
4.初始SpringCloud
微服务是一种架构方式,最终肯定需要技术架构去实施。
微服务的实现方式很多,但是最火的莫过于Spring Cloud了。为什么?
- 后台硬:作为Spring家族的一员,有整个Spring全家桶靠山,背景十分强大。
- 技术强:Spring作为Java领域的前辈,可以说是功力深厚。有强力的技术团队支撑,一般人还真比不了
- 群众基础好:可以说大多数程序员的成长都伴随着Spring框架,试问:现在有几家公司开发不用Spring?SpringCloud与Spring的各个框架无缝整合,对大家来说一切都是熟悉的配方,熟悉的味道。
- 使用方便:相信大家都体会到了SpringBoot给我们开发带来的便利,而SpringCloud完全支持SpringBoot的开发,用很少的配置就能完成微服务框架的搭建
4.1.简介
SpringCloud是Spring旗下的项目之一,官网地址:http://projects.spring.io/spring-cloud/
Spring最擅长的就是集成,把世界上最好的框架拿过来,集成到自己的项目中。
SpringCloud也是一样,它将现在非常流行的一些技术整合到一起,实现了诸如:配置管理,服务发现,智能路由,负载均衡,熔断器,控制总线,集群状态等等功能。其主要涉及的组件包括:
netflix
- Eureka:注册中心
- Zuul:服务网关
- Ribbon:负载均衡
- Feign:服务调用
- Hystix:熔断器
以上只是其中一部分
4.2.版本
SpringCloud的版本命名比较特殊,因为它不是一个组件,而是许多组件的集合,它的命名是以A到Z的为首字母的一些单词组成:
其中包含的组件,也都有各自的版本,如下表:
Component | Edgware.SR3 | Finchley.RC1 | Finchley.BUILD-SNAPSHOT |
---|---|---|---|
spring-cloud-aws | 1.2.2.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-bus | 1.3.2.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-cli | 1.4.1.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-commons | 1.3.3.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-contract | 1.2.4.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-config | 1.4.3.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-netflix | 1.4.4.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-security | 1.2.2.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-cloudfoundry | 1.1.1.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-consul | 1.3.3.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-sleuth | 1.3.3.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-stream | Ditmars.SR3 | Elmhurst.RELEASE | Elmhurst.BUILD-SNAPSHOT |
spring-cloud-zookeeper | 1.2.1.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-boot | 1.5.10.RELEASE | 2.0.1.RELEASE | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-task | 1.2.2.RELEASE | 2.0.0.RC1 | 2.0.0.RELEASE |
spring-cloud-vault | 1.1.0.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-gateway | 1.0.1.RELEASE | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
spring-cloud-openfeign | 2.0.0.RC1 | 2.0.0.BUILD-SNAPSHOT |
接下来,我们就一一学习SpringCloud中的重要组件。
5.1.2.编写代码
添加一个对外查询的接口:
@RestController
@RequestMapping("user")
public class UserController {
@Autowired
private UserService userService;
@GetMapping("/{id}")
public User queryById(@PathVariable("id") Long id) {
return this.userService.queryById(id);
}
}
Service:
@Service
public class UserService {
@Autowired
private UserMapper userMapper;
public User queryById(Long id) {
return this.userMapper.selectByPrimaryKey(id);
}
}
mapper:
@Mapper
public interface UserMapper extends tk.mybatis.mapper.common.Mapper<User>{
}
实体类:
@Table(name = "tb_user")
public class User implements Serializable {
private static final long serialVersionUID = 1L;
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
// 用户名
private String userName;
// 密码
private String password;
// 姓名
private String name;
// 年龄
private Integer age;
// 性别,1男性,2女性
private Integer sex;
// 出生日期
private Date birthday;
// 创建时间
private Date created;
// 更新时间
private Date updated;
// 备注
private String note;
// 。。。省略getters和setters
}
属性文件,这里我们采用了yaml语法,而不是properties:
server:
port: 8081
spring:
datasource:
url: jdbc:mysql://localhost:3306/mydb01
username: root
password: 123
hikari:
maximum-pool-size: 20
minimum-idle: 10
mybatis:
type-aliases-package: com.leyou.userservice.pojo
5.2.服务调用者
5.2.1.创建工程
与上面类似,这里不再赘述,需要注意的是,我们调用user-service的功能,因此不需要mybatis相关依赖了。
pom:
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.leyou.demo</groupId> <artifactId>user-consumer-demo</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>user-consumer-demo</name> <description>Demo project for Spring Boot</description> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.1.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- 添加OkHttp支持 --> <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>3.9.0</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId>