V.V.

标签

站点统计

文章

40

分类

3

标签

37

总字数

24,887

运行时长

0 天

最后活动

0 天前

848 字

4 分钟

Kubernetes配置存储驱动程序csi-driver-nfs

2024-09-07

开发

k8s

/

开发

概述#

在 Kubernetes 中，存储管理是一个重要组成部分。本文中涉及的相关组件：

CSI Driver NFS: 容器存储接口（CSI）的NFS实现，作为Kubernetes与NFS存储系统之间的桥梁
StorageClass: Kubernetes中的存储类，定义了存储的”类别”，用于动态制备PersistentVolume（PV）
PVC (PersistentVolumeClaim): 持久卷声明，是用户对存储资源的请求
Deployment: Kubernetes中用于管理应用部署的控制器，可以包含使用PVC的Pod

它们之间的关系如下：

CSI Driver NFS 提供了 Kubernetes 访问 NFS 存储的能力
StorageClass 定义了如何使用 CSI Driver NFS 来动态创建存储卷
PVC 通过指定 StorageClass 来请求特定类型的存储资源
Deployment 中的 Pod 可以挂载 PVC 来使用持久化存储

通过这种方式，Kubernetes实现了存储的动态制备和管理，使得应用可以方便地使用NFS存储。

通过Helm3 安装CSI driver NFS#

前提要求#

已经安装Helm
已经创建NFS服务端

安装#

1
# 添加 CSI driver NFS 的 Helm 仓库
2
helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
3

4
# 安装 CSI driver NFS 到 kube-system 命名空间
5
helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system

验证安装#

1
# 检查 CSI 驱动组件
2
kubectl get pods -n kube-system -l app=csi-nfs-controller
3
kubectl get pods -n kube-system -l app=csi-nfs-node
4

5
# 检查 CSI 驱动注册
6
kubectl get csidriver nfs.csi.k8s.io

创建StorageClass#

创建 StorageClass YAML 文件#

1
# 创建 StorageClass 配置文件
2
vim storageclass-nfs-csi.yaml

1
apiVersion: storage.k8s.io/v1
2
kind: StorageClass
3
metadata:
4
  name: nfs-csi  # 名字可自定义
5
  annotations:
6
    storageclass.kubernetes.io/is-default-class: "true"  # 设置为默认SC
7
provisioner: nfs.csi.k8s.io
8
parameters:
9
  server: 172.16.126.130  # 替换为你的NFS服务器IP地址
10
  share: /  # NFS共享路径，使用4.1版本挂载时直接填/即可
11
  # subDir: k8s/${pvc.metadata.namespace}/${pvc.metadata.name}  # 可选，指定子目录
12
  onDelete: retain  # NFS CSI驱动层面的存储清理策略
13
reclaimPolicy: Retain  # Kubernetes层面的PV回收策略
14
volumeBindingMode: Immediate
15
allowVolumeExpansion: true # 可扩展
16
mountOptions:
17
  - nfsvers=4.1  # 指定NFS版本
18
  - proto=tcp
19
  - hard
20
  - retrans=5
21
  - noac
22
  - lookupcache=none

参数说明#

reclaimPolicy#

Kubernetes 层面的 PV 回收策略，这是 StorageClass 的标准 Kubernetes 参数。

可选值：

Retain: PVC 删除后，PV 保留，需要手动清理
Delete: PVC 删除后，PV 自动删除

onDelete#

NFS CSI 驱动层面的存储清理策略。

可选值：

retain: 保留 NFS 服务器上的实际数据目录
delete: 删除 NFS 服务器上的实际数据目录
archive: 归档数据目录（重命名为带时间戳的目录）

部署StorageClass#

1
# 应用StorageClass配置并验证
2
kubectl apply -f storageclass-nfs-csi.yaml
3

4
# 查看StorageClass列表
5
kubectl get sc
6

7
# 查看详细信息
8
kubectl describe sc nfs-csi

创建PVC#

动态制备 PVC#

1
# 创建 PVC 配置文件
2
vim pvc-nfs-csi-myapp.yaml

1
apiVersion: v1
2
kind: PersistentVolumeClaim
3
metadata:
4
  name: pvc-nfs-myapp  # 每个应用一个PVC
5
  namespace: default
6
spec:
7
  accessModes:
8
    - ReadWriteMany  # NFS支持多种访问模式
9
  resources:
10
    requests:
11
      storage: 10Gi  # 请求存储大小
12
  storageClassName: nfs-csi  # 指定使用的StorageClass

1
# 应用PVC配置并验证
2
kubectl apply -f pvc-nfs-csi-myapp.yaml
3
kubectl get pvc

静态制备#

略,请参考官方文档

在Deployment中使用PVC#

下面是一个使用NFS PVC的Deployment示例：

1
# 创建Deployment配置文件
2
vim deployment-example.yaml

1
apiVersion: apps/v1
2
kind: Deployment
3
metadata:
4
  name: deployment-nfs
5
  namespace: default
6
spec:
7
  replicas: 1
8
  selector:
9
    matchLabels:
10
      name: deployment-nfs
11
  template:
12
    metadata:
13
      name: deployment-nfs
14
      labels:
15
        name: deployment-nfs
16
    spec:
17
      nodeSelector:
18
        "kubernetes.io/os": linux
19
      containers:
20
        - name: deployment-nfs
21
          image: mcr.microsoft.com/oss/nginx/nginx:1.19.5
22
          command:
23
            - "/bin/bash"
24
            - "-c"
25
            - set -euo pipefail; while true; do echo $(hostname) $(date) >> /mnt/nfs/outfile; sleep 1; done
26
          volumeMounts:
27
            - name: nfs
28
              mountPath: "/mnt/nfs"  # 容器内挂载点
29
              readOnly: false
30
      volumes:
31
        - name: nfs
32
          persistentVolumeClaim:
33
            claimName: pvc-nfs-myapp  # 引用之前创建的PVC

1
# 部署应用并验证
2
kubectl apply -f deployment-example.yaml
3
kubectl get deployment
4
kubectl get pv

参考文档#

https://kubernetes.io/zh-cn/docs/concepts/storage/storage-classes/

https://github.com/kubernetes-csi/csi-driver-nfs

https://github.com/kubernetes-csi/csi-driver-nfs/blob/master/deploy/example/README.md