深入云原生—基于 KubeWharf 深度剖析场景与解读。我们需要先了解一下 KubeWharf,可能很多人都感觉到有点陌生吧,下面我们来一起学习!

image-20240801162956360

🌰一.KubeWharf 详解

KubeWharf 是字节跳动基础架构团队在对 Kubernetes 进行了大规模应用和不断优化增强之后的技术结晶。这是一套以 Kubernetes 为基础构建的分布式操作系统,由一组云原生组件构成,专注于提高系统的可扩展性、功能性、稳定性、可观测性、安全性等,以支持大规模多租集群、在离线混部、存储和机器学习云原生化等场景。

KubeWharf 由以下项目组成:

● KubeBrain 是一个高性能的 Kubernetes 元数据系统,用于存储和管理 Kubernetes 集群的元数据。

image-20240801163017988

KubeZoo 是一个轻量级的 Kubernetes 多租户网关,用于在 Kubernetes 集群之间进行安全隔离。

image-20240801163030753

● KubeGateway 是一个 Kubernetes 网关,用于在本地和云端 Kubernetes 集群之间进行通信。

● Godel Scheduler 是一个高性能的 Kubernetes 调度器,用于在 Kubernetes 集群中智能地调度容器。

KubeWharf 是一个分布式操作系统,由字节跳动基础架构团队在应用和优化增强 Kubernetes 之后创建。这个系统是一套以 Kubernetes 为基础构建的分布式操作系统,由一组云原生组件构成,专注于提高系统的可扩展性、功能性、稳定性、可观测性、安全性等,以支持大规模多租集群、在离线混部、存储和机器学习云原生化等场景。

二.一个真实的 KubeWharf 应用场景

这是一个真实的应用场景哈,因为涉及业务,这里只能脱敏化的描述了。

一家大型互联网公司某某 X 需要构建一个可扩展、稳定、安全的 Kubernetes 集群,用于支持其在线业务和离线业务。

需求:

● 需要支持数万个节点。

● 需要提供丰富的功能,满足各种业务需求。

● 需要经过大规模生产环境的验证。

● 需要提供强大的可观测性功能。

● 需要提供多种安全功能。

最后的解决方案是:

某某 X 使用了 KubeWharf 来构建其 Kubernetes 集群。

操作步骤:

● 部署 KubeBrain、KubeZoo、KubeGateway 和 Godel Scheduler。

● 创建 Kubernetes 集群。

● 部署业务应用。

该公司使用 KubeWharf 成功构建了一个可扩展、稳定、安全的 Kubernetes 集群。该集群支持了该公司的在线业务和离线业务,满足了该公司的所有需求。

我总结了一下 KubeWharf 在这个业务场景的优势:满足了该公司的所有需求。

\1. KubeWharf 可以扩展到数万个节点。

\2. KubeWharf 提供了丰富的功能,包括多租户、资源隔离、安全控制等。

\3. KubeWharf 经过了字节跳动大规模生产环境的验证。

\4. KubeWharf 提供了强大的可观测性功能,包括日志、监控、告警等。

\5. KubeWharf 提供了多种安全功能,包括访问控制、数据加密等。

完全的满足了公司的业务需求!

公司业务,我着重对这部分(逻辑时钟)有很深的影响,来具体的写一下:

image-20240801163106374

这块业务比较熟悉,对(逻辑时钟)这块记忆犹新。

2.1KubeBrain 编译与启动学习记录

KubeBrain 编译与启动这块我当时还特意的做了笔记,有所记录(比官网的介绍更加贴合我们开发者学习的角度上记录的)。

编译启动命令:

make tikv./bin/kube-brain --key-prefix "/" --pd-addrs=127.0.0.1:2379 --port=3379 --peer-port=3380 --compatible-with-etcd=true

多个 KubeBrain 共用一个 TiKV 集群时,需要注意以下两个配置:

key-prefix 参数和 APIServer 对应的 APIServer 的 etcd-prefix 参数必须保持一致。 这是为了保证多个 KubeBrain 能够正确访问 TiKV 集群中的元数据。

compatible-with-etcd 参数必须设置为 true。 这是为了开启从节点的支持 txn 和 watch,从而实现对 etcd 功能的完全兼容。

具体配置如下:

## key-prefix 参数
key-prefix = "/kubebrain"

## compatible-with-etcd 参数
compatible-with-etcd = true

KubeBrain 编译与启动只是整个使用流程中的第一步,接下来还需要进行以下操作:

配置 KubeBrain:需要配置 KubeBrain 的各种参数,例如元数据存储、事件生成、事件流等。

创建 Kubernetes 集群:需要创建 Kubernetes 集群,并将其加入 KubeBrain 的管理范围。

部署 Kubernetes 应用:可以使用 KubeBrain 来部署 Kubernetes 应用,包括创建 Deployment、Service、Pod 等。

管理 Kubernetes 集群:可以使用 KubeBrain 来管理 Kubernetes 集群,包括查看集群状态、修改集群配置等。

比如说:

配置 KubeBrain

配置 KubeBrain 需要修改 KubeBrain 的配置文件,该文件位于 /etc/kubebrain/config.yaml。配置文件中包含了 KubeBrain 的各种参数,例如:

key-prefix:元数据存储的键前缀。

etcd-prefix:APIServer 对应的 APIServer 的 etcd-prefix 参数。

compatible-with-etcd:是否开启从节点的支持 txn 和 watch。

创建 Kubernetes 集群

可以使用 Kubernetes 官方提供的工具来创建 Kubernetes 集群,例如 kubeadm、minikube 等。

部署 Kubernetes 应用

可以使用 KubeBrain 提供的 API 或 CLI 来部署 Kubernetes 应用。

管理 Kubernetes 集群

可以使用 KubeBrain 提供的 UI 或 API 来管理 Kubernetes 集群。

我们需要学习的:

配置 KubeBrain

YAML

key-prefix: "/kubebrain"
etcd-prefix: "/kubebrain"
compatible-with-etcd: true

创建 Kubernetes 集群

kubeadm init

部署 Kubernetes 应用

kubectl create deployment nginx --image=nginx

管理 Kubernetes 集群

kubectl get nodes

三.KubeWharf 应用场景探索

我觉得 KubeWharf 应用场景是非常多,因为它的优势非常明显。

KubeWharf 是一个开源分布式操作系统,基于 Kubernetes。它可以用于构建和管理各种 Kubernetes 集群,包括:

大规模多租集群:KubeWharf 可以扩展到数万个节点,满足大规模多租集群的需求。

在离线混部:KubeWharf 可以用于在本地和云端混合部署 Kubernetes 集群,满足在离线混部的需求。

存储和机器学习云原生化:KubeWharf 可以用于云原生化存储和机器学习应用,满足存储和机器学习云原生化的需求。

经过我的不断学习,KubeWharf 可以应用在以下几个场景:

在线业务:KubeWharf 可以用于部署各种在线业务应用,例如 Web 应用、后端服务等。

离线业务:KubeWharf 可以用于部署各种离线业务应用,例如数据分析、机器学习等。

云原生应用:KubeWharf 可以用于部署各种云原生应用,例如容器应用、微服务应用等。

混合云:KubeWharf 可以用于在本地和云端混合部署 Kubernetes 集群。

边缘计算:KubeWharf 可以用于部署边缘计算 Kubernetes 集群。

KubeWharf 是一个强大的工具,可用于构建和管理各种 Kubernetes 集群。它可以满足各种场景的需求,是构建可扩展、功能强大、稳定、可观测和安全的 Kubernetes 集群的理想选择。

🌰四.心得与总结

🐹4.1 心得

我深入探讨了云原生领域中的一个重要工具——KubeWharf,并通过详细解读其组成部分和一个真实的应用场景,展示了它在构建可扩展、功能强大、稳定、可观测和安全的 Kubernetes 集群方面的优势。以下是我的心得:

● KubeWharf 基于 Kubernetes,专注于提高系统的各项性能,包括可扩展性、功能性、稳定性、可观测性和安全性。

● 它由多个项目组成,如 KubeBrain、KubeZoo、KubeGateway 和 Godel Scheduler,每个项目都有特定的功能,共同构建了一个强大的分布式操作系统。

我通过一个真实的应用场景,文章展示了 KubeWharf 在构建大型、可扩展、稳定、安全的 Kubernetes 集群方面的成功经验。

强调了 KubeWharf 的优势,包括可扩展性、丰富的功能、经过大规模验证、强大的可观测性和多种安全功能。这个案例为读者提供了一个具体的实例,说明 KubeWharf 在实际业务中的应用效果。

我对 KubeWharf 的一个关键应用领域——元数据存储系统进行了深入剖析。特别是对逻辑时钟的影响,我详细描述了元数据存储系统如何监听逻辑时钟,以保证系统的数据最终一致性。这一部分的具体实现细节使读者更深入地理解了 KubeWharf 的内部机制。

我通过对 KubeBrain 的编译与启动以及 KubeWharf 的应用场景进行探索,为大家提供了进一步学习的方向。通过展示编译与启动命令以及相关配置,大家可以更好地理解如何在实际中使用 KubeWharf。同时,对 KubeWharf 的应用场景进行了分类,涵盖了在线业务、离线业务、云原生应用、混合云和边缘计算等多个领域,强调了 KubeWharf 的通用性和灵活性。

🐹4.1 总结

这篇文章深入剖析了云原生领域中基于 KubeWharf 的分布式操作系统。通过对 KubeWharf 的构建背景、组成部分和真实应用场景的详细介绍,读者能够深刻理解这一工具在构建强大、可扩展、稳定的 Kubernetes 集群方面的重要性。我通过清晰的步骤和实例演示,使得即使是对 KubeWharf 陌生的读者也能够快速入门🐹。

在实际应用场景中,KubeWharf 在大规模多租户、离线混部、存储和机器学习云原生化等领域的优越表现。通过一家大型互联网公司的案例,读者不仅了解了 KubeWharf 的具体应用流程,还明白了它在多个方面的优势,包括扩展性、功能丰富性、稳定性、可观测性和安全性。这为读者提供了一个清晰的实际应用场景,帮助他们更好地理解 KubeWharf 的实际作用。

对于 KubeWharf 中一个关键领域——元数据存储系统的深入剖析,更是为读者提供了深入了解 KubeWharf 内部工作机制的机会。透过对逻辑时钟的具体影响和实现细节的描述,读者能够更好地理解元数据存储系统的工作原理,从而加深对 KubeWharf 整体架构的理解。

通过对 KubeBrain 编译与启动的学习记录以及对 KubeWharf 应用场景的探索,文章为读者提供了进一步学习和应用的指导。这些内容不仅仅是理论性的介绍,更是实际操作的具体步骤和场景应用的分类,使得读者能够更好地掌握 KubeWharf 的使用和适用范围。

作为一个研究云原生多年的我来说,我是非常的看好 KubeWharf,我相信 KubeWharf 随着版本的优化迭代,会变的越来越好的!!!

image-20240801163421884