前言：

helm是k8s专有包管理器使用helm的chart包可以快速简单地实现一个或多个微服务的部署。这里没有太多的好处。当然，也有一些缺点，即定制部署相对困难。因此，本实验的目的是下载chart实现包离线部署nfs并在nfs在实现存储类的基础上，通过helm部署一个redis简单的集群。

实验步骤：

一，

首先，我们需要一个关于helm的nfs-client-provisioner的chart在此基础上，适当修改包的内容，然后通过helm部署快递nfs的存储类。

第二，需要一个redis的关于helm的chart不修改包，直接通过helm快速部署一个简单的redis集群。

相关chart以下链接包和镜像：

链接：https://pan.baidu.com/s/1LXZRo1kmFE_5bsLZuc1X9A?pwd=k8ss 提取码：k8ss

二，

helm的安装

这个比较简单，上传NFS目录下的helm将文件放入服务器，并将其放入系统环境变量中。命令是：

mv helm /usr/local/bin/ &&chmod a x /usr/local/bin/helm

三，

自定义PROVISIONER

这一步需要修改chart文件nfs-client-provisioner-0.1.1.tgz，解压文件后，可以看到文件夹：

[root@master ~]# ls nfs-client-provisioner Chart.yaml  templates  values.yaml

编辑values.yaml这个文件（该文件是一个模板文件）：

image:   repository: registry.cn-shanghai.aliyuncs.com/c7n/nfs-client-provisioner   tag: v3.1.0-k8s1.11   pullPolicy: IfNotPresent  strategy:   type: Recreate  storageClass:   name: nfs-client-provisioner   provisioner: nfs-client-provisioner   archiveOnDelete: true 

这个provisioner修改你想要的值。修改后，删除原始值tar包nfs-client-provisioner-0.1.1.tgz，重新使用helm打包即可。

rm -rf nfs-client-provisioner-0.1.1.tgz helm package ./nfs-client-provisioner

四，

在部署之前，需要将镜像放置registry.cn-shanghai.aliyuncs.com_c7n_nfs-client-provisioner_v3.1.0-k8s1.11.tar导入到集群的每个节点，导入命令为：

docker load <registry.cn-shanghai.aliyuncs.com_c7n_nfs-client-provisioner_v3.1.0-k8s1.11.tar

部署nfs的存储类

helm install nfs-client-provisioner    ./nfs-client-provisioner-0.1.1.tgz   --set rbac.create=true     --set persistence.enabled=true     --set storageClass.name=nfs-provisioner     --set persistence.nfsServer=192.168.217.16     --set persistence.nfsPath=/data/nfs-sc     --version 0.1.2     --namespace kube-system

参数说明：

--set storageClass.name=nfs-provisioner  #这个值是自定义的 --set persistence.nfsServer=192.168.217.16 #这里是nfs服务器的IP地址，根据实际情况填写 --set persistence.nfsPath=/data/nfs-sc  #这里是nfs根据实际情况填写服务共享目录，我定义为/data/nfs-sc --set rbac.create=true #这个不能改 --version 0.1.2   #这里的版本定义，可自定义 --namespace kube-system  # namespace不要使用default，一般设置为kube-system    

helm非常方便，一般部署服务都是一句话就完成的，nfs存储部署也同样简单，以下是一个简单的测试：

（1）获取sc信息，验证提供者provisioner是否正确：

[root@master ~]# k get sc NAME                        PROVISIONER              RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE nfs-provisioner (default)   nfs-client-provisioner   Delete          Immediate           false                  21m 

（2）

为了以后使用方便，应该StorageClass设置为默认存储类：

kubectl patch storageclass nfs-provisioner -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

（3）

helm检查部署是否正确：

[root@master ~]# helm list -A NAME                   NAMESPACE   REVISION UPDATED                                 STATUS   CHART                        APP VERSION    nfs-client-provisioner kube-system 1        2022-07-17 17:49:21.281270901  0800 CST deployed nfs-client-provisioner-0.1.1 v3.1.0-k8s1.11 

（4）

查看nfs存储类的pod正常运行：

[root@master ~]# k get po -A |grep nfs kube-system   nfs-client-provisioner-57c749cf94-s5vmr   1/1     Running   0          26m 

五，

安装redis集群：

这个很简单，一个命令就可以了，因为是默认设置，当然也可以像nfs同样的存储类，修改values.yaml 重新打包文件

解压redis的chart包：

tar zxf redis-16.4.1.tgz

镜像导入：

registry.hand-china.com_tools_redis_6.2.6-debian-10-r在集群的每个节点导入120镜像，导入命令：

docker load <registry.hand-china.com_tools_redis_6.2.6-debian-10-r120

 

直接部署： 

helm install redis ./redis --namespace kube-system

此命令输出如下：

NAME: redis
LAST DEPLOYED: Sun Jul 17 17:54:25 2022
NAMESPACE: kube-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: redis
CHART VERSION: 16.4.1
APP VERSION: 6.2.6

** Please be patient while the chart is being deployed **

Redis™ can be accessed on the following DNS names from within your cluster:

    redis-master.kube-system.svc.cluster.local for read/write operations (port 6379)
    redis-replicas.kube-system.svc.cluster.local for read-only operations (port 6379)



To get your password run:

    export REDIS_PASSWORD=$(kubectl get secret --namespace kube-system redis -o jsonpath="{.data.redis-password}" | base64 --decode)

To connect to your Redis™ server:

1. Run a Redis™ pod that you can use as a client:

   kubectl run --namespace kube-system redis-client --restart='Never'  --env REDIS_PASSWORD=$REDIS_PASSWORD  --image registry.hand-china.com/tools/redis:6.2.6-debian-10-r120 --command -- sleep infinity

   Use the following command to attach to the pod:

   kubectl exec --tty -i redis-client \
   --namespace kube-system -- bash

2. Connect using the Redis™ CLI:
   REDISCLI_AUTH="$REDIS_PASSWORD" redis-cli -h redis-master
   REDISCLI_AUTH="$REDIS_PASSWORD" redis-cli -h redis-replicas

To connect to your database from outside the cluster execute the following commands:

    kubectl port-forward --namespace kube-system svc/redis-master : &
    REDISCLI_AUTH="$REDIS_PASSWORD" redis-cli -h 127.0.0.1 -p

 

单元测试：

（1）

查看pvc和pv是否正常：

[root@master ~]# k get pvc -A
NAMESPACE     NAME                          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS      AGE
kube-system   redis-data-redis-master-0     Bound    pvc-0a788b58-a806-43ac-9c80-8d35684587d4   8Gi        RWO            nfs-provisioner   52m
kube-system   redis-data-redis-replicas-0   Bound    pvc-cca6d8b0-1f2f-437a-bcdd-f978234cc551   8Gi        RWO            nfs-provisioner   52m
kube-system   redis-data-redis-replicas-1   Bound    pvc-d2ec683c-9d18-4d91-9bb4-b7995814d76e   8Gi        RWO            nfs-provisioner   51m
kube-system   redis-data-redis-replicas-2   Bound    pvc-ea3d3d4f-255b-493d-8406-d9c563054c08   8Gi        RWO            nfs-provisioner   51m
[root@master ~]# k get pv -A
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                     STORAGECLASS      REASON   AGE
pvc-0a788b58-a806-43ac-9c80-8d35684587d4   8Gi        RWO            Delete           Bound    kube-system/redis-data-redis-master-0     nfs-provisioner            52m
pvc-cca6d8b0-1f2f-437a-bcdd-f978234cc551   8Gi        RWO            Delete           Bound    kube-system/redis-data-redis-replicas-0   nfs-provisioner            52m
pvc-d2ec683c-9d18-4d91-9bb4-b7995814d76e   8Gi        RWO            Delete           Bound    kube-system/redis-data-redis-replicas-1   nfs-provisioner            51m
pvc-ea3d3d4f-255b-493d-8406-d9c563054c08   8Gi        RWO            Delete           Bound    kube-system/redis-data-redis-replicas-2   nfs-provisioner            51m

 （2）

执行命令获取redis集群的密码：

[root@master ~]# kubectl get secret --namespace kube-system redis -o jsonpath="{.data.redis-password}" | base64 --decode
u2vXM3RHVM

查看pod：

u2vXM3RHVM[root@master ~]# k get po -A
NAMESPACE     NAME                                      READY   STATUS    RESTARTS   AGE
kube-system   coredns-6c76c8bb89-tfcrm                  1/1     Running   4          34d
kube-system   coredns-6c76c8bb89-vnlwg                  1/1     Running   4          34d
kube-system   etcd-c7n.cnn                              1/1     Running   4          34d
kube-system   kube-apiserver-c7n.cnn                    1/1     Running   4          34d
kube-system   kube-controller-manager-c7n.cnn           1/1     Running   2          81m
kube-system   kube-flannel-ds-hgx56                     1/1     Running   3          33h
kube-system   kube-flannel-ds-nwgv8                     1/1     Running   3          33h
kube-system   kube-flannel-ds-r8ckj                     1/1     Running   3          33h
kube-system   kube-proxy-7v5mj                          1/1     Running   4          34d
kube-system   kube-proxy-mtttm                          1/1     Running   4          34d
kube-system   kube-proxy-zwmwf                          1/1     Running   4          34d
kube-system   kube-scheduler-c7n.cnn                    1/1     Running   2          81m
kube-system   nfs-client-provisioner-57c749cf94-s5vmr   1/1     Running   0          60m
kube-system   redis-master-0                            1/1     Running   0          55m
kube-system   redis-replicas-0                          1/1     Running   0          55m
kube-system   redis-replicas-1                          1/1     Running   0          54m
kube-system   redis-replicas-2                          1/1     Running   0          54m

 

登录redis的master节点：

[root@master ~]# kubectl exec --tty -i redis-master-0    --namespace kube-system -- bash

命令输出如下：

[root@master ~]# kubectl exec --tty -i redis-master-0    --namespace kube-system -- bash
I have no name!

连接redis数据库（使用前面查询出来的密码登录该集群的master）：

I have no name!@redis-master-0:/$ redis-cli -h redis-master -a u2vXM3RHVM
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
redis-master:6379> auth u2vXM3RHVM
OK
redis-master:6379> set msg fuck
OK
redis-master:6379> get msg
"fuck"

多说一句，如果想要固定redis集群的密码，可以修改values.yaml 文件的这一段：

global:
  imageRegistry: ""
  ## E.g.
  ## imagePullSecrets:
  ##   - myRegistryKeySecretName
  ##
  imagePullSecrets: []
  storageClass: ""
  redis:
    password: ""

 自定义的密码添加完毕后，使用helm重新打包这个文件夹即可，然后在重新安装，如果正常的话，集群将会使用自定义的固定密码，打包命令：

helm package ./redis/

重新打包后的安装命令是：

helm upgrade --install redis ./redis-16.4.1.tgz --namespace kube-system