最近面试好像经常问一个问题: 你的项目是怎么发布的？ 传统的Java本地包装的项目 jar包 或者 war包, 上传到服务器， 然后通过shell启动脚本的方式 要求我们有一定的shell编写脚本的能力。

这里介绍一种流行的发布方式(所谓的发布方式)DevOps?), 也是我目前项目在用的。基于Gitlab内置的CI/CD功能, (所谓CI/CD, 不懂的可以简单理解为自动构建， 自动打包, 仓库自动发布) 以及rancher容器管理功能。 rancher是基于k3s, k8s的简略版, 这里的博主还没有深入学习k8s, 暂时跳过。

一般的发布过程是， gitlab仓库中配置 CI/CD, 配置在项目文件中 gitlab-ci.yml配置文件 和 gitlab-runner(所谓CI/CD执行者)， 当您推送最新代码时gitlab仓库, 自动触发流水线(pipeline), 根据你的 gitlab-ci.yml 配置项目jar包的构建(build), 发布到maven仓库, docker镜像(image)的构建, 并发布最新的镜像docker仓库。 然后我们可以通过它rancher拉最新镜像， 重新启动一个pod。这样实现了自动构建， 一个自动发布的过程。

docker的安装, rancher也可以参考本博文的安装 -> 单节点rancher快速部署

其实Rancher自带负载均衡器， Nginx Ingress, 通过Ingress可配置服务路由， SSL证书, 包括 uri->端口 等等， 所以这里不需要单独部署一个nginx。

但通过配置nginx也可以对rancher的 ingress实际做了什么事情有一个摸得着看得见的理解， 否则我们只会通过ui配置rancher, 却不会使用nginx, 不太优雅。

docker run --name nginx -v nginx-html:/usr/share/nginx/html  -v nginx-conf:/etc/nginx -d -p 80:80 -p 443:443 nginx:1.20 

这是我的配置之一

https://freessl.cn/acme-deploy?domains=chenyao.icu%2Cwww.chenyao.icu

acme.sh --install-cert -d chenyao.icu \
--key-file       /var/lib/docker/volumes/nginx-conf/_data/chenyao.icu/chenyao.icu.key  \
--fullchain-file /var/lib/docker/volumes/nginx-conf/_data/chenyao.icu/fullchain.cer \
--reloadcmd     "docker restart nginx"

acme.sh --install-cert -d rancher.chenyao.icu \
--key-file       /var/lib/docker/volumes/nginx-conf/_data/rancher.chenyao.icu/rancher.chenyao.icu.key  \
--fullchain-file /var/lib/docker/volumes/nginx-conf/_data/rancher.chenyao.icu/fullchain.cer \
--reloadcmd     "docker restart nginx"

acme.sh --install-cert -d gitlab.chenyao.icu \
--key-file       /var/lib/docker/volumes/nginx-conf/_data/gitlab.chenyao.icu/gitlab.chenyao.icu.key  \
--fullchain-file /var/lib/docker/volumes/nginx-conf/_data/gitlab.chenyao.icu/fullchain.cer \
--reloadcmd     "docker restart nginx"

acme.sh --install-cert -d nexus.chenyao.icu \
--key-file       /var/lib/docker/volumes/nginx-conf/_data/nexus.chenyao.icu/nexus.chenyao.icu.key  \
--fullchain-file /var/lib/docker/volumes/nginx-conf/_data/nexus.chenyao.icu/fullchain.cer \
--reloadcmd     "docker restart nginx"

acme.sh --install-cert -d *.chenyao.icu \
--key-file       /var/lib/docker/volumes/nginx-conf/_data/*.chenyao.icu/*.chenyao.icu.key  \
--fullchain-file /var/lib/docker/volumes/nginx-conf/_data/*.chenyao.icu/fullchain.cer \
--reloadcmd     "docker restart nginx"

已阻止载入混合活动内容“http://nexus.chenyao.icu/static/rapture/app.js?_v=3.27.0-03&_e=OSS”

指向“http://nexus.chenyao.icu/static/rapture/app.js?_v=3.27.0-03&_e=OSS”的 <script> 加载失败。

在安全的加密网页中载入混合（不安全的）显示内容“http://nexus.chenyao.icu/static/rapture/resources/favicon-32x32.png?_v=3.27.0-03&_e=OSS”

在 nginx 配置文件增加 proxy_set_header X-Forwarded-Proto $scheme; 这样HTTPS请求nginx 在转发时就还是使用HTTPS协议。

单节点部署仅用于测试学习, 不用于生产环境

docker run -d --privileged \
 -v rancher-etcd:/var/lib/rancher \
 -v rancher-log:/var/log/auditlog \
  # 使用已有证书 \
 -v /opt/rancher/ssl/rancher_fullchain.pem:/etc/rancher/ssl/cert.pem \
 -v /opt/rancher/ssl/rancher_private_key.pem:/etc/rancher/ssl/key.pem \
 -e AUDIT_LEVEL=1 \
 --restart=unless-stopped \
 -p 1080:80 -p 1443:443 \
 rancher/rancher:v2.4.17 \
 --no-cacerts

--privileged

登录到 Linux 主机，然后运行下面这个非常简洁的安装命令。

docker run -d --restart=unless-stopped \
  -p 80:80 -p 443:443 \
  rancher/rancher:latest

登录到 Linux 主机，然后运行下面这个非常简洁的安装命令。

与 2.4.x 或之前的版本相比，使用docker run命令安装 Rancher 2.5.x 时，需要添加--privileged标志变量，启用特权模式安装 Rancher。

docker run -d --restart=unless-stopped \
  -p 80:80 -p 443:443 \
  --privileged \
  rancher/rancher:latest

在要使用单个节点运行 Rancher 并将同一个节点添加到集群的情况下，必须为rancher/ rancher容器调整映射的主机端口。

如果将节点添加到集群中，它将部署使用端口 80 和 443 的 nginx ingress 控制器。这将与我们建议为rancher/ rancher容器公开的默认端口冲突。

请注意，不建议将此设置用于生产环境，这种方式仅用来方便进行开发/演示。

要更改主机端口映射，可以将以下部分-p 80:80 -p 443:443替换为-p 1080:80 -p 1443:443

/var/lib/rancher

Rancher 使用 etcd 作为数据存储。使用 Docker 安装时，将使用嵌入式 etcd。持久数据位于容器中的以下路径中：/var/lib/rancher。您可以将主机卷挂载到该位置，以将数据保留在运行 Rancher Server 容器的主机上。使用 RancherOS 时，请检查哪些持久性存储目录可用。

/var/log/auditlog

API 审计日志记录通过 Rancher Server 进行的所有用户请求和系统事务。

默认情况下，API 审计日志会写入 rancher 容器内的/var/log/auditlog中。您可以设置AUDIT_LEVEL以启用日志，并将该目录作为卷共享。

参考API 审计日志获取更多信息。

先决条件：

• 证书文件必须为 PEM 格式。
• 在您的证书文件中，需要包含证书链中的所有中间证书。您需要对您的证书进行排序，把您的证书放在最前面，后面跟着中间证书。有关示例，请参见SSL 常见问题解答/故障排查。

获得证书后，运行下面的 Docker 命令。

• 使用该 -v 标志并提供证书的路径，以将其挂载到容器中，由于您的证书是由权威的 CA 签名的，因此不需要安装其他 CA 证书文件。
• 使用 --no-cacerts 作为容器的参数, 位置在镜像后面，来禁用由 Rancher 生成的默认 CA 证书。

docker run -d --privileged --restart=unless-stopped \
    -p 80:80 -p 443:443 \
    -v /<CERT_DIRECTORY>/<FULL_CHAIN.pem>:/etc/rancher/ssl/cert.pem \
    -v /<CERT_DIRECTORY>/<PRIVATE_KEY.pem>:/etc/rancher/ssl/key.pem \
    rancher/rancher:latest \
    --no-cacerts

https://kubernetes.io/docs/tasks/tools/install-kubectl/

Helm a.b.c

https://github.com/helm/helm/releases

wget https://get.helm.sh/helm-v3.5.1-linux-amd64.tar.gz

解压后将helm拷贝到/usr/local/bin

helm version验证是否work：

http://docs.rancher.cn/docs/rancher2/trending-topics/cleaning-cluster-nodes/_index/

Rancher集群创建后可以修改nginx-ingress默认的80/443端口, 会重新创建Pod

创建集群

修改nginx-ingress-controller映射的端口, 主机端口要和容器端口一致

再编辑命名空间ingress-nginx的YAML

    containers:
      - args:
        - /nginx-ingress-controller
        - --default-backend-service=$(POD_NAMESPACE)/default-http-backend
        - --configmap=$(POD_NAMESPACE)/nginx-configuration
        - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
        - --annotations-prefix=nginx.ingress.kubernetes.io
        # 增加以下两个参数参数（一个是http端口，一个是https端口）
        - --http-port=2080
        - --https-port=2443   

k8s-docker-desktop-dashboard token令牌(示例)

eyJhbGciOiJSUzI1NiIsImtpZCI6Ilp1bjkzSDFtTV82MV9xVEpoMnUxdWNHUDJDNzBzb1hCR2N5WU1UbTF6VUEifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkZWZhdWx0LXRva2VuLTQ1bHhyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImRlZmF1bHQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJhM2E0ODlmNS0zZWVjLTQyZDktOGI4MC0yMDg0NzFkODFhMmMiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06ZGVmYXVsdCJ9.xGGkf_qlV9uFFxMqBrFwCCPoWzGvgZRh8mVVsytSvwNcj9rf6cpD5QQW87Ac9Aw6ty-Ew1q5c0kHPHeyetUvUrgvWL5_SL9my0pQ6xwX5I1DXnqNtoK5gyWJD_0rCnBStEU_FYN64PPuGyPhZBFd4Tb_rPT791LWPoYsaq44ApVOOGWPdymSRvQUuQ5b4mBKdP08H_LQqKP_kn85aP_q1xQI60CmC1IaYNNBiAOWjGo5VPLEmr2myqpI7nYrFImfbpIMJujejWfNFObyHt6MU_cEG8tt_J-NM4A6gopFtN9HzogmegOKCPUgFnrofwuHAIRuqYCFznzbhbY3elDPGw

或者 kubeconfig文件

Win: %UserProfile%\.kube\config

开启dashboard代理 (每次访问需要开启代理)

kubectl proxy

访问dashboard

http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/workloads?namespace=default

https://registry.hub.docker.com/_/mysql

MYSQL_ROOT_PASSWOR=root

配置 /etc/mysql/conf.d

数据 /var/lib/mysql

 set password for root@'%' = 'chenyao';

Public Key Retrieval is not allowed

修改驱动属性, 连上后再改回来 , JDBC在url后面拼 ?allowPublicKeyRetrieval=true

https://docs.halo.run/getting-started/install/docker

静态资源和application.yaml /root/.halo

下载application.yaml配置文件模板

wget https://dl.halo.run/config/application-template.yaml -O ./application.yaml

spring:  
  datasource:
    type: com.zaxxer.hikari.HikariDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver
    # 注意在容器里不要用localhost和127.0.0.1, 要用宿主机的内网/外网ip
    url: jdbc:mysql://10.0.16.3:31641/halodb?characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
    username: root
    password: root
  jpa:
    database-platform: org.hibernate.dialect.MySQLDialect
    hibernate:
      ddl-auto: update
    open-in-view: false

注意: 备份静态资源目录和数据库的数据

sonatype/nexus

sonatype/nexus3:3.27.0 ✔

默认nexus2帐号 admin/admin123

默认nexus3帐号 admin/admin.password 文件

• 注意: Nexus2/3版本差异

• NEXUS_CONTEXT 这用于定义访问 Nexus 的 URL。默认为 ‘/’

• INSTALL4J_ADD_VM_PARAMS 传递给 Install4J 启动脚本。默认为-Xms2703m -Xmx2703m -XX:MaxDirectMemorySize=2703m -Djava.util.prefs.userRoot=${NEXUS_DATA}/javaprefs

  • -Djava.util.prefs.userRoot=/some-other-dir可以设置为持久路径，如果容器重新启动，它将保持已安装的 Nexus 存储库许可证
  • 内存要求 2703m 8G https://help.sonatype.com/repomanager3/product-information/system-requirements#SystemRequirements-MemoryRequirements

配置 /opt/sonatype/nexus/etc

数据 /nexus-data 注意要有写权限

$ docker volume create --name nexus-data
$ docker run -d -p 8081:8081 --name nexus -v nexus-data:/nexus-data sonatype/nexus3

挂载目录注意: 需要赋予宿主机目录写权限!

mkdir /opt/cni/volume/nexus/data && chown -R 200 /opt/cni/volume/nexus/data

• nexus不能自动生成文件到卷: 先把容器起起来, 拷贝文件, 再挂载卷重启容器
• 把容器中默认的文件拷贝出来, 挂载pvc不用复制

# 复制前不用创建/conf和/data目录, 否则会复制到这个文件夹下面
$ docker cp 270aca39b5f1:/nexus-data /opt/cni/volume/nexus/data
$ docker cp 270aca39b5f1:/opt/sonatype/nexus/etc /opt/cni/volume/nexus/conf

Could not lock User prefs. Lock file access denied

FileNotFoundExceprion: Permission denied

chown -R 200 /opt/cni/volume/nexus/data

由于数据量是持久的，直到没有容器使用它们，所以可以专门为此目的创建一个容器。这是推荐的方法。

$ docker run -d --name nexus-data sonatype/nexus echo "data-only container for Nexus"
$ docker run -d -p 8081:8081 --name nexus --volumes-from nexus-data sonatype/nexus

https://docs.gitlab.com/ee/install/docker.html

gitlab/gitlab-ee

gitlab/gitlab-ce:13.11.7-ce.0 ✔

# 应该没用
GITLAB_HOME=/opt/cni/volume/gitlab

EXTERNAL_URL=http://124.221.116.110

# GITLAB_OMNIBUS_CONFIG好像不生效
GITLAB_OMNIBUS_CONFIG="external_url='http://124.221.116.110';gitlab_rails['gitlab_shell_ssh_port']=30022;gitlab_rails['time_zone']='Asia/Shanghai';"

ssh信任端口也可在容器启动后通过CMD配置 (重新部署可能需要重新配置)

/etc/gitlab 用于存储 GitLab 配置文件 $GITLAB_HOME/conf

/var/opt/gitlab 用于存储应用程序数据 $GITLAB_HOME/data

/var/log/gitlab 用于存储日志 $GITLAB_HOME/logs

sudo docker exec -it gitlab grep 'Password:' /etc/gitlab/initial_root_password

密码文件将在 24 小时后的第一次重新配置运行中自动删除

https://blog.51cto.com/xiaoma90/2433673?source=dra

进入正在运行的容器：

sudo docker exec -it gitlab /bin/bash

打开 /etc/gitlab/gitlab.rb与您的编辑器并设置 external_url:

external_url是外部访问gitlab的地址, 如果不是从这个地址访问, 将会被拒绝

注意! 如果你将gitlab置于你自己创建的nginx代理之后, 实际访问gitlab的是你的nginx, 那就要将external_url配置为你访问的nginx的地址。通过防火墙等访问同理。

# For HTTP
external_url "http://124.221.116.110"

or

# For HTTPS (notice the https)
external_url "https://124.221.116.110"

此 URL 中指定的端口必须与 Docker 发布(-p)到主机的端口(容器外)匹配。 此外，如果 NGINX 侦听端口未设置在 nginx['listen_port']，它将从 external_url拉取. 有关详细信息，请参阅 NGINX 文档 。

放 gitlab_shell_ssh_port:

gitlab_rails['gitlab_shell_ssh_port'] = 30022

最后，重新配置 GitLab：

gitlab-ctl reconfigure

按照上面的示例，您将能够在8929端口下从您的浏览器访问网页, 并在2289端口下使用 SSH 推送 .

上面修改后gitlab.yml会自动对应修改为external_url(nginx也是)

如果我们想要仓库地址显示为域名, 则需要修改gitlab.yml

# 也在卷data(/var/opt/gitlab)下
vi /var/opt/gitlab/gitlab-rails/etc/gitlab.yml

  ## GitLab settings
  gitlab:
    ## Web server settings (note: host is the FQDN, do not include http://)
    host: gitlab.chenyao.icu
    port: 443
    https: true

gitlab-ctl restart

修改后访问显示502不要着急, 项目重新部署需要时间, 等一段时间后再试。

4C 4G

https://docs.gitlab.com/ee/install/requirements.html

https://gitlab.chenyao.icu/help/user/project/clusters/add_remove_clusters.md#add-existing-cluster

https://docs.gitlab.com/runner/

部署

https://docs.gitlab.com/runner/install/index.html

https://docs.gitlab.com/runner/install/docker.html

使用

https://gitlab.chenyao.icu/help/ci/runners/README

注册

https://docs.gitlab.com/runner/register/index.html#docker

gitlab/gitlab-runner 版本跟gitlab一致, 或次要版本略新于gitlab

gitlab/gitlab-runner:v13.12.0

时区 TZ=Asia/Shanghai 查看可用时区列表

安装SSL证书 CA_CERTIFICATES_PATH=/etc/gitlab-runner/certs/fullchain.cer

配置模板TEMPLATE_CONFIG_FILE 等同于run的命令 --template-config

配置 /etc/gitlab-runner

数据 /var/run/docker.soc

docker run --rm -it -v gitlab-runner-config:/etc/gitlab-runner gitlab/gitlab-runner:latest register

• 也可以进入容器后执行

sudo gitlab-runner register
# 如果需要经过代理, 需要添加环境变量
export HTTP_PROXY=http://yourproxyurl:3128
export HTTPS_PROXY=http://yourproxyurl:3128
sudo -E gitlab-runner register

输入您的 GitLab 实例 URL（也称为 gitlab-ci coordinator URL).

输入您获得的令牌(token, 在gitlab的管理中心-runner查看)以注册runner。

输入runner的描述。 您可以稍后在 GitLab 用户界面修改。

docker run --rm -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register \
  --non-interactive \ #免交互
  --executor "docker" \
  --docker-image alpine:latest \ #基础镜像
  --url "http://10.0.4.8:30080" \
  --registration-token "3gaENJhz6AxZhya-X1r_" \
  --description "docker-runner" \
  --maintenance-note "Free-form maintainer notes about this runner" \
  --tag-list "docker,aws" \
  --run-untagged="true" \
  --locked="false" \
  --access-level="not_protected"

这里 --access-level是GitLab Runner 12.0 中增加的参数。 它使用 GitLab 11.11 中引入的注册 API 参数。 在注册期间使用此参数来创建 受保护的跑步者 。 对于受保护的跑步者，请使用 --access-level="ref_protected"范围。 对于未受保护的跑步者，请使用 --access-level="not_protected"相反，或者保留未定义的值。 菜单中打开或关闭此值 “设置”>“CI/CD”

这里 --maintenance-note参数 添加 GitLab Runner 14.8 您可以使用它来添加与流水线维护相关的信息。 允许的最大长度为 255 个字符。

config.toml

--config 指定

--regist优先级高于--template-config

--config优先级高于--template-config

concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "test-runner"
  url = "https://gitlabchenyao.icu"
  token = "__REDACTED__"
  executor = "kubernetes"
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]
  [runners.kubernetes]
    host = "http://localhost:9876/"
    bearer_token_overwrite_allowed = false
    image = ""
    namespace = ""
    namespace_overwrite_allowed = ""
    privileged = false
    service_account_overwrite_allowed = ""
    pod_annotations_overwrite_allowed = ""
    [runners.kubernetes.volumes]

sudo gitlab-runner register \
     --config /tmp/test-config.toml \
     --template-config /tmp/test-config.template.toml \

gitlab-runner容器中无法访问到外网如 https://gitlab.chenyao/.icu, 只能访问到本机和宿主机

把gitlab-runner的网络模式改为主机网络。

Shared Runner 供所有项目使用

Group Runner 适用于组中的所有项目和子组

Specific runners 适用于个别项目

当您注册跑步者时，您可以为其添加 tag 。

当 CI/CD 作业运行时，它通过查看分配的tag知道要使用哪个运行器。

例如，如果跑步者有 ruby标签，您可以将此代码添加到你的项目 .gitlab-ci.yml文件：

job:
  tags:
    - ruby

当作业运行时，它使用带有 ruby的runner

{ 
        
"insecure-registries" : [ "dp.chenyao.icu" ]
}