kubernetes PVC支持resize扩容

3550浏览 Kubernetes 发表评论

从v1.11开始，kubernetes默认开启resize feature 和 PersistentVolumeClaimResize admission controller，如果用户创建的存储卷容量不够，可以进行扩容，原有数据不会丢失。目前支持resize的存储卷AWS-EBS, GCE-PD, Azure Disk, Azure File, Glusterfs, Cinder, Portworx, 以及 Ceph RBD。其中：

  • 块文件系统，如 GCE-PD, AWS-EBS, Azure Disk, Cinder, and Ceph RBD 需要文件系统扩容。当Pod重启时，k8s会自动完成扩容的工作
  • NAS文件系统，如 Glusterfs and Azure File) 不需要重启Pod，因为他们不需要文件系统扩容

以下以基于Ceph RBD的Storage class为例，具体说明PVC扩容功能。

1、扩容前准备

1、管理员需要配置storage class，开启允许扩容选项 allowVolumeExpansion

allowVolumeExpansion: true
kind: StorageClass
metadata:
  name: sata

2、制作 kube-controller-manager 镜像，增加rbd命令

由于扩容是kube-controller-manager完成的，而我们平台上是以容器形式运行的，因此需要容器镜像中附带rbd命令，否则扩容时会遇到如下错误提示：

  Warning  VolumeResizeFailed  3m (x75 over 4h)  volume_expand  Error expanding volume "default/resize" of plugin kubernetes.io/rbd : rbd info failed, error: executable file not found in $PATH

我制作了kubernetes v1.11.1 + ceph 10版本的controller-manager镜像 silenceshell/kube-controller-manager-amd64:v1.11.1-ceph-10，您也可以自行制作。

制作方法很简单：

  • 基于centos7基础镜像
  • COPY kube-controller-manager 二进制文件到 /usr/local/bin 目录
  • yum install ceph-common ceph-fs-common 即可。注意要使用ceph集群对应的版本。

3、更新 kube-controller-manager 编排文件的image以升级 controller-manager Pod

2、扩容操作

1、修改PVC的size

命令行使用kubectl edit pvc xxx，直接修改PVC的容量即可。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    volume.beta.kubernetes.io/storage-provisioner: ceph.com/rbd
  name: resize
spec:
  resources:
    requests:
      storage: 5Gi
  storageClassName: sata

之后PVC会进入 FileSystemResizePending 状态，等待Pod重启。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    volume.beta.kubernetes.io/storage-provisioner: ceph.com/rbd
  name: resize
spec:
  resources:
    requests:
      storage: 6Gi
  storageClassName: sata
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 5Gi
  conditions:
  - lastProbeTime: null
    lastTransitionTime: 2019-04-14T03:51:36Z
    message: Waiting for user to (re-)start a pod to finish file system resize of
      volume on node.
    status: "True"
    type: FileSystemResizePending
  phase: Bound

2、重启挂载该PVC的Pod

之后，controller manager 会调用 rbd resize命令，更新rbd image的大小，并重新挂载卷到Pod上去。

3、登录新的Pod的shell，查看挂载的rbd卷大小；查看PVC的status.capacity.storage 字段，已更新为新的容量。

3、在线扩容

1.11.1版本还提供了一个alpha的特性： ExpandInUsePersistentVolumes，即不需要容器即可扩容PVC扩容。当然了，PVC还是要管理Pod的，即需要被Pod挂载。

支持在线扩容的PVC有：GCE-PD, AWS-EBS, Cinder, and Ceph RBD。

该特性默认不开启，需要手工打开，后面会实践了我再补充。

4、cephfs可以扩容吗？

除了RBD，我们还会用cephfs PVC，但kubernetes本身是不支持对cephfs的PVC做扩容操作的。

实际上cephfs本身是支持扩容的，我们是ceph-fuse方式挂载的cephfs卷，可以 setfattr -n ceph.quota.max_bytes 方式设置目录的quota，然后重启Pod就可以生效了。

这个功能需要修改kubernetes本身的代码。从文件类型来说，cephfs类似glusterfs，可以参考glusterfs的实现。

Ref：

 

发表评论