某农商行容器云平台灾备建设实践经验分享( 四 )


支持,弹性伸缩时自动变更配置
平台内外网络直接通信
繁琐,需在外部网络设备中启用BGP功能
简单,容器像传统虚拟机一样融入企业现网环境
扩展性(大规模集群)
三层组网,扩展性优秀,大规模下需引入路由反射器
二层组网,单VLAN扩展能力有限,集群可以管理多个VLAN以满足扩展性
性能
IPIP=OFF时损耗在5%左右,IPIP=ON时损耗较大
优秀,损耗在5%左右
网络可视化

中等,GUI查看各网段IP分配情况
网络隔离
通过iptables支持Kubernetes NetworkPolicy对象实现隔离
基于VLAN隔离,支持NetworkPolicy隔离,支持租户隔离
结合我行的现状,通过对当前主流容器平台Openshift3、Openshift4、Rancher、博云等国内外容器厂商的产品进行功能、性能对比,经过综合评估,最终我行选择与在容器及容器网络方面有丰富经验的本土化容器厂商博云合作 。
同时,容器云的网络建设作为本次金融云规划的重点之一,前期通过大量的调研,内部业务运维部门沟通,最终采用的是博云基于OVS自研的容器网络插件 。其可以很好地利用物理网络设备,结合当前网络需求的特点,提高网络访问效率 。方案上使用fabric网络组件,将容器管理网与应用业务进行分离,业务网络与管理网都为实际物理层面的二层网络,可以让容器的IP直接对外提供访问服务 。
以下为使用fabric网络的应用Pod在IaaS平台中的桥接过程,即Pod桥接在各K8S节点中的OVS,K8S节点桥接在IaaS计算节点的OVS,流量最终直接进入物理交换机 。

某农商行容器云平台灾备建设实践经验分享


通过Fabric打造纯二层网络模式,解决了我行金融容器云网络的以下建设难题:
从运维管理角度,采用了二层网络模型,无需引入三层网络方案,同时将管理网络和业务网络进行分离,简化运维、提升工作效率 。
金融容器云内部网络与外部网络互联互通,业务应用往往会在容器云平台内外同时部署,平台内外网络直接打通,POD与虚拟机/物理机同等地位,有利于与已有的云产品无缝整合 。
网络安全性方面,支持Pod固定IP地址,应用互访跨防火墙的等场景下,POD具备固定IP地址 。灵活的网络隔离:包括强安全性的硬件隔离和灵活的软件隔离 。
网络性能方面,提供高性能,低抖动的网络环境 。网络模型同时支持Underlay和Overlay:Underlay性能好,可以内外网互通;Overlay不依赖底层网络,灵活性强,最好可以同时支持 。
对于我行未来的网络扩展方面,能够满足IPV6的建设 。
四、建设方案
我行整个金融云平台建设是从一个完整的架构角度考虑IaaS层的搭建,从VMware扩展到OpenStack,在底层各种虚拟化技术之上,通过云管平台对底层的各种资源进行纳管,而容器技术仅是我行金融云平台中采用的众多新技术其中之一 。本章节重点阐述容器云平台的建设实践解决方案 。
1、总体架构从云化视角,三朵云支撑我行云化逐步落地 。三朵云为:开发测试云和生产云,其中生产云包含生产和灾备两套云平台 。通过博云产品提供的多云管理Portal和DevOps Portal实现底层资源管理及运维操作管理 。多云管理Portal主要提供云资源的统一管理、多租户服务、自动化作业、用户自服务等能力 。DevOps Portal提供容器应用持续集成和部署管理,通过代码和应用包完成一键发布、变更 。生产环境中,完成应用的多中心部署和F5负载均衡自动注册,通过应用包或者镜像进行发布 。
项目整体建设目标如下:
某农商行容器云平台灾备建设实践经验分享

推荐阅读