들어가며
쿠버네티스는 버전 1.14 부터 윈도우 워커 노드를 프로덕션 레벨로 지원하기 시작했습니다.
Kubernetes 1.14: Production-level support for Windows Nodes, Kubectl Updates, Persistent Local Volumes GA
https://kubernetes.io/blog/2019/03/25/kubernetes-1-14-release-announcement/
Azure-CNI, OVN-Kubernetes, Flannel 을 윈도우 워커노드를 지원하는 CNI로 소개하였으며, 현재 kubernetes.io 의 공식 문서에는 flannel을 기준으로 윈도우 워커 노드를 추가하는 가이드를 제공하고 있습니다. 테스트나 일반적인 환경이라면 flannel 로 윈도우 워커 노드를 구성할 수 있습니다.
다만 Network Policy 를 사용해야하는 요건이 있다면 flannel이 아닌 다른 옵션을 찾아봐야 합니다. 다행히 Calico 프로젝트에서 2020년 9월 Calico for Windows 를 오픈 소스로 발표함에 따라 오픈 소스 Calico 를 CNI로 사용할 수 있는 옵션이 생겼습니다.
Tigera Announces Open-Source Calico for Windows and Collaboration with Microsoft
https://kubernetes.io/blog/2019/03/25/kubernetes-1-14-release-announcement/#production-level-support-for-windows-nodes
본 포스트에서는 Calico CNI 로 쿠버네티스에 윈도우 워커 노드를 추가하는 과정과 Calico CNI 에 대해서 다뤄보고자 합니다. 쿠버네티스가 구성되어 있다는 전제 하에 윈도우 워커노드를 위한 구성 과정의 ②, ④, ⑤ 번 과정을 중심으로 작성하였습니다.
윈도우 워커노드 구성 과정
① 리눅스 컨트롤 플레인 구성 ② Calico CNI 구성 및 윈도우 워커 노드를 위한 설정 변경 ③ 리눅스 워커 노드 추가 ④ 윈도우 워커노드 추가 ⑤ 워크로드 테스트
테스트 환경
윈도우 워커 노드를 구성하기 위해서 리눅스 컨트롤 플레인이 있어야 합니다. 쿠버네티스 윈도우 지원에서 윈도우 노드는 컨트롤 플레인의 역할을 할 수 없으며, 한편으로 쿠버네티스 에코시스템의 다양한 에드온(Addon)을 사용하기 위해 리눅스 워커 노드를 같이 사용하는 것이 권장됩니다.
구성도
Caclio 에서 윈도우 워커 노드를 위한 설정 변경
먼저 Calico 에서 윈도우 워커 노드 사용을 하는데 있어 제약사항은 아래 Requirements 문서를 확인할 필요가 있습니다.
https://projectcalico.docs.tigera.io/getting-started/windows-calico/kubernetes/requirements
오버레이 방식을 VXLAN 모드 변경
Calico 의 overlay 모드를 사용할 때 유의사항은 윈도우 워커 노드에서는 IPIP 모드를 지원하지 않기 때문에 VXLAN 으로사용해야 한다는 점입니다.
아래 명령을 통해 IPIP 에서 VXLAN 방식로 변경할 수 있습니다.
root@k8s-m:~# calicoctl get ippool default-ipv4-ippool -o wide
NAME CIDR NAT IPIPMODE VXLANMODE DISABLED DISABLEBGPEXPORT SELECTOR
default-ipv4-ippool 192.168.0.0/16 true Always Never false false all()
root@k8s-m:~# calicoctl get ippool default-ipv4-ippool -o yaml | sed -e "s/ipipMode: Always/ipipMode: Never/" | calicoctl apply -f -
Successfully applied 1 'IPPool' resource(s)
root@k8s-m:~# calicoctl get ippool default-ipv4-ippool -o yaml | sed -e "s/vxlanMode: Never/vxlanMode: Always/" | calicoctl apply -f -
Successfully applied 1 'IPPool' resource(s)
root@k8s-m:~# calicoctl get ippool default-ipv4-ippool -o wide
NAME CIDR NAT IPIPMODE VXLANMODE DISABLED DISABLEBGPEXPORT SELECTOR
default-ipv4-ippool 192.168.0.0/16 true Never Always false false all()
# 위의 절차만으로는 윈도우 워커 노드 추가 시 에러가 발생해서 아래의 절차를 추가하였음
root@k8s-m:~# kubectl get felixconfigurations.crd.projectcalico.org default -o yaml -n kube-system > felixconfig.yaml
root@k8s-m:~# cp felixconfig.yaml felixconfig.yaml.org
root@k8s-m:~# vi felixconfig.yaml
root@k8s-m:~# diff felixconfig.yaml felixconfig.yaml.org
13c13
< ipipEnabled: false
---
> ipipEnabled: true
root@k8s-m:~# kubectl apply -f felixconfig.yaml
Warning: resource felixconfigurations/default is missing the kubectl.kubernetes.io/last-applied-configuration annotation which is required by kubectl apply. kubectl apply should only be used on resources created declaratively by either kubectl create --save-config or kubectl apply. The missing annotation will be patched automatically.
felixconfiguration.crd.projectcalico.org/default configured
참고로 온프레미스 환경에서 사용가능한 Calico 의 네트워크 옵션을 간략하게 소개합니다.
non-overlay 모드
Pod IP가 외부로 직접 통신하는 방식입니다. Pod IP는 Calico의 Bird에서 BGP 통하여 서로 전파하며, 네트워크 장비와 직접 BGP Peer 를 맺어 외부에서 Pod IP로 직접 통신 가능하게 만들 수 있습니다. 만약 네트워크 장비와 BGP Peering이 어렵다면 L2 네트워크라는 전제하에 클러스터 내부에서만 BGP 로 Pod IP를 전파해 사용할 수도 있습니다.
overlay 모드
Pod IP를 encapsulation 하는 오버레이 모드가 지원됩니다. 오버레이 기법에는 IPIP 와 VXLAN 이 있습니다. 먼저 IPIP 방식은 Outer IP(IPIP) 로 encapsulation 해서 패킷을 전송하는 방식입니다.
VXLAN 방식은 VXLAN 기법으로 encapsulation 해서 패킷을 전송하는 방식입니다. 다만 아래 그림과 같이 BGP 라우팅을 사용하지 않는 방법입니다. (Bird 를 사용하지 않고, Felix 가 etcd를 통해 다른 노드의 Pod CIDR 정보를 가져와서 정보를 업데이트 합니다)
cross-subnet 모드
라우팅이 필요없는 구간에서는 non-overlay 모드로 통신하고, 라우팅이 필요한 구간에서는 overlay 모드로 통신하는 특별한 모드입니다. non-overlay 모드를 통해 L2 구간에서는 오버헤드가 없는 통신을 하면서 필요할 때는overlay 모드를 사용합니다. 단 윈도우 워커 노드 환경에서는 cross-subnet 이 지원되지 않습니다.
IPAM 옵션 수정
Calico에서는 IP Borrowing 이라는 방식으로 노드의 IP가 부족하면 다른 노드에서 빌려오는 옵션이 있습니다. 다만 윈도우 워커 노드는 IP Borrowing 매커니즘을 지원하지 않기 때문에 아래와 같이 옵션을 수정해야 합니다.
root@k8s-m:~# calicoctl ipam configure --strictaffinity=true
Successfully set StrictAffinity to: true
윈도우 워커 노드 추가
1) 사전 작업
업데이트 설치
kubernetes.io 의 윈도우 노드 추가에 대한 공식 문서를 보면 윈도우 워커 노드에서 VXLAN/오버레이를 사용하기 위해서는 사전에 KB4489899를 설치해야 합니다. (참고로 KB4489899 는 현재 제공되지 않고 있습니다. 윈도우 서버 2019 의 업데이트는 누적되기 때문에 해당 업데이트 이후의 업데이트를 설치하면 됩니다 )
추가로 사전에 Docker 나 containerD를 설치해야하는데 절차는 아래의 문서를 참고하기 바랍니다.
Docker EE 설치
ConatinerD 설치
https://kubernetes.io/ko/docs/setup/production-environment/container-runtimes/#containerd
마이크로소프트는 2021년 9월 부터 Docker EE 빌드를 생성하지 않는다고 발표했습니다. 윈도우 서버의 컨테이너 런타임은 containerd 가 더 적절한 선택일 수 있습니다. 다만 여기서는 리눅스 노드와 동일한 환경을 구성하고자 도커를 설치했습니다.
참고로 Docker EE는 쿠버네티스 1.14 에서 stable 되었고, ContainerD 는 쿠버네티스 1.20에서 stable 되었습니다.
https://kubernetes.io/ko/docs/setup/production-environment/windows/intro-windows-in-kubernetes/#%EC%BB%A8%ED%85%8C%EC%9D%B4%EB%84%88-%EB%9F%B0%ED%83%80%EC%9E%84
2) Calico 컴포넌트 설치
아래부터는 Calico 공식 문서의 Quickstart 를 참고하여 실행하였습니다.
# Prepare the directory for Kubernetes files on Windows node
PS C:\Users\Administrator> mkdir c:\k
Directory: C:\
Mode LastWriteTime Length Name
---- ------------- ------ ----
d----- 2022-03-14 오전 1:55 k
# Copy the Kubernetes kubeconfig file from the master node
PS C:\Users\Administrator> scp root@172.16.3.170:~/.kube/config c:\k\
root@172.16.3.170's password:
config 100% 5640 352.6KB/s 00:00
# Download the PowerShell script, install-calico-windows.ps1
PS C:\Users\Administrator> Invoke-WebRequest https://projectcalico.docs.tigera.io/scripts/install-calico-windows.ps1 -OutFile c:\install-calico-windows.ps1
# Install Calico for Windows for your datastore with using the default parameters
# The PowerShell script downloads Calico for Windows release binary, Kubernetes binaries, Windows utilities files, configures Calico for Windows, and starts the Calico service.
PS C:\Users\Administrator> c:\install-calico-windows.ps1 -KubeVersion 1.22.6 -ServiceCidr 10.96.0.0/12 -DNSServerIPs 10.96.0.10
WARNING: The names of some imported commands from the module 'helper' include unapproved verbs that might make them
less discoverable. To find the commands with unapproved verbs, run the Import-Module command again with the Verbose
parameter. For a list of approved verbs, type Get-Verb.
Creating CNI directory
<생략>
Waiting for Calico initialisation to finish...StoredLastBootTime , CurrentLastBootTime 2022-03-14 오전 1:48:58
Waiting for Calico initialisation to finish...StoredLastBootTime , CurrentLastBootTime 2022-03-14 오전 1:48:58
Waiting for Calico initialisation to finish...StoredLastBootTime , CurrentLastBootTime 2022-03-14 오전 1:48:58
Calico initialisation finished.
Done, the Calico services are running:
Status : Running
Name : CalicoFelix
DisplayName : Calico Windows Agent
Status : Running
Name : CalicoNode
DisplayName : Calico Windows Startup
Calico for Windows StartedCalicoFelix 와 CalicoNode 가 서비스로 실행되었습니다.
3) 쿠버네티스 컴포넌트 설치
위에서 c:\install-calico-windows.ps1 를 실행하면 C:\CalicoWindows 에 install-kube-services.ps1 파일이 생성됩니다. 이 파워쉘 스크립트를 실행하면 kubelet 과 kube-proxy 가 서비스로 설치됩니다.
마지막으로 Start-Service 로 각 서비스를 실행합니다.
PS C:\Users\Administrator> C:\CalicoWindows\kubernetes\install-kube-services.ps1
the param is
Installing kubelet service...
Service "kubelet" installed successfully!
Set parameter "AppParameters" for service "kubelet".
Set parameter "AppDirectory" for service "kubelet".
Set parameter "DisplayName" for service "kubelet".
Set parameter "Description" for service "kubelet".
Set parameter "Start" for service "kubelet".
Reset parameter "ObjectName" for service "kubelet" to its default.
Set parameter "Type" for service "kubelet".
Reset parameter "AppThrottle" for service "kubelet" to its default.
Set parameter "AppStdout" for service "kubelet".
Set parameter "AppStderr" for service "kubelet".
Set parameter "AppRotateFiles" for service "kubelet".
Set parameter "AppRotateOnline" for service "kubelet".
Set parameter "AppRotateSeconds" for service "kubelet".
Set parameter "AppRotateBytes" for service "kubelet".
Done installing kubelet service.
Installing kube-proxy service...
Service "kube-proxy" installed successfully!
Set parameter "AppParameters" for service "kube-proxy".
Set parameter "AppDirectory" for service "kube-proxy".
Set parameter "DisplayName" for service "kube-proxy".
Set parameter "Description" for service "kube-proxy".
Set parameter "Start" for service "kube-proxy".
Reset parameter "ObjectName" for service "kube-proxy" to its default.
Set parameter "Type" for service "kube-proxy".
Reset parameter "AppThrottle" for service "kube-proxy" to its default.
Set parameter "AppStdout" for service "kube-proxy".
Set parameter "AppStderr" for service "kube-proxy".
Set parameter "AppRotateFiles" for service "kube-proxy".
Set parameter "AppRotateOnline" for service "kube-proxy".
Set parameter "AppRotateSeconds" for service "kube-proxy".
Set parameter "AppRotateBytes" for service "kube-proxy".
Done installing kube-proxy service.
PS C:\Users\Administrator> Get-Service -Name kubelet
Status Name DisplayName
------ ---- -----------
Stopped kubelet kubelet service
PS C:\Users\Administrator> Get-Service -Name kube-proxy
Status Name DisplayName
------ ---- -----------
Stopped kube-proxy kube-proxy service
PS C:\Users\Administrator> Start-Service -Name kubelet
PS C:\Users\Administrator> Start-Service -Name kube-proxy
PS C:\Users\Administrator> Get-Service -Name kubelet
Status Name DisplayName
------ ---- -----------
Running kubelet kubelet service
PS C:\Users\Administrator> Get-Service -Name kube-proxy
Status Name DisplayName
------ ---- -----------
Running kube-proxy kube-proxy servicekubelet 과 kube-proxy를 실행하고 잠시 후에 컨트롤 플레인에서 확인해보면 아래와 같이 윈도우 워커 노드가 확인됩니다.
root@k8s-m:~# kubectl get no -owide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-lw Ready <none> 87m v1.22.6 172.16.3.171 <none> Ubuntu 20.04.2 LTS 5.4.0-77-generic docker://20.10.13
k8s-m Ready control-plane,master 89m v1.22.6 172.16.3.170 <none> Ubuntu 20.04.2 LTS 5.4.0-77-generic docker://20.10.13
k8s-ww Ready <none> 80s v1.22.6 172.16.3.172 <none> Windows Server 2019 Datacenter Evaluation 10.0.17763.1999 docker://20.10.9리눅스 워커 노드를 kubeadm 으로 조인하는 것과 다르게 해당 스크립트를 수행하는 것만으로 윈도우 워커 노드가 추가됩니다.
워크로드 테스트
워크로드 테스트 샘플 애플리케이션은 아래 Calico 의 github 에서 참고 했습니다.
https://github.com/tigera-solutions/install-calico-for-windows
애플리케이션 디플로이
root@k8s-m:~/app# ls
netshoot.yml stack-iis.yml stack-nginx.yml
root@k8s-m:~/app# kubectl apply -f ./
pod/netshoot created
deployment.apps/iis created
service/iis-svc created
deployment.apps/nginx created
service/nginx-svc created
root@k8s-m:~/app# kubectl get po -w
NAME READY STATUS RESTARTS AGE
iis-7dfbf869dd-24zzx 0/1 ContainerCreating 0 8s
netshoot 0/1 ContainerCreating 0 8s
nginx-868547d6bf-kv858 0/1 ContainerCreating 0 8s
iis-7dfbf869dd-24zzx 0/1 ContainerCreating 0 11s
netshoot 1/1 Running 0 43s
nginx-868547d6bf-kv858 1/1 Running 0 51s
c
root@k8s-m:~# kubectl exec -it netshoot -- bash
bash-5.1# nslookup nginx-svc
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: nginx-svc.default.svc.cluster.local
Address: 10.103.180.29
bash-5.1# nslookup iis-svc
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: iis-svc.default.svc.cluster.local
Address: 10.101.147.244
bash-5.1# curl -Is http://nginx-svc | grep -i http
HTTP/1.1 200 OK
bash-5.1# curl -Is http://iis-svc | grep -i http
HTTP/1.1 200 OK
bash-5.1# exit
exit윈도우 워커 노드에 IIS 를 리눅스 워커 노드에 Nginx 를 배포합니다. (윈도우 컨테이너 이미지는 사이즈가 크기 때문에 Pulling 에 오랜 시간이 걸립니다)
netshoot 파드에서 각 서비스가 정상 호출됩니다.
Network Policy 적용
아래 allow-nginx-ingress-from-iis.yaml 를 생성하여 IIS 파드만 Nginx 파드를 호출할 수 있도록 합니다.
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-nginx-ingress-from-iis
namespace: default
spec:
podSelector:
matchLabels:
run: nginx
policyTypes:
- Ingress
ingress:
- from:
- podSelector:
matchLabels:
run: iis
ports:
- protocol: TCP
port: 80
---IIS 파드는 nginx-svc 호출이 가능하고, netshoot 파드는 불가합니다.
# netshoot -> nginx : 성공 (사전)
root@k8s-m:~/app# kubectl exec -t netshoot -- sh -c 'SVC=nginx-svc; curl -m 5 -sI http://$SVC 2>/dev/null | grep -i http'
HTTP/1.1 200 OK
# netpol 생성
root@k8s-m:~/app# kubectl apply -f k8s.allow-nginx-ingress-from-iis.yaml
networkpolicy.networking.k8s.io/allow-nginx-ingress-from-iis created
# iis -> nginx : 성공
root@k8s-m:~/app# IIS_POD=$(kubectl get pod -l run=iis -o jsonpath='{.items[*].metadata.name}')
root@k8s-m:~/app# kubectl exec -t $IIS_POD -- powershell -command 'iwr -UseBasicParsing -TimeoutSec 5 http://nginx-svc'
StatusCode : 200
StatusDescription : OK
Content : <!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style...
RawContent : HTTP/1.1 200 OK
Connection: keep-alive
Accept-Ranges: bytes
Content-Length: 615
Content-Type: text/html
Date: Sun, 13 Mar 2022 18:47:39 GMT
ETag: "61f0168e-267"
Last-Modified: Tue, 25 Jan 2022 ...
Forms :
Headers : {[Connection, keep-alive], [Accept-Ranges, bytes],
[Content-Length, 615], [Content-Type, text/html]...}
Images : {}
InputFields : {}
Links : {@{outerHTML=<a href="http://nginx.org/">nginx.org</a>;
tagName=A; href=http://nginx.org/}, @{outerHTML=<a
href="http://nginx.com/">nginx.com</a>; tagName=A;
href=http://nginx.com/}}
ParsedHtml :
RawContentLength : 615
# netshoot -> nginx : 실패
root@k8s-m:~/app# kubectl exec -t netshoot -- sh -c 'SVC=nginx-svc; curl -m 5 -sI http://$SVC 2>/dev/null | grep -i http'
command terminated with exit code 1
마치며
이 포스트는 Kubernetes Korea Group 에서 1~3월 초까지 진행한 쿠버네티스 네트워크 스터디(KANS, Kubernetes Advanced Networking Study) 의 졸업 과제의 일환으로 작성하였습니다. 해당 스터디에서 다룬 쿠버네티스 네트워크와 CNI에 대한 이해를 바탕으로 원할한 테스트가 가능했습니다.
긴 글 읽어주셔서 감사하며 작성된 내용에 오류가 있다면 언제든지 알려주십시오.
참고
Intro to windows in kubernetes
윈도우 노드 추가
https://kubernetes.io/ko/docs/tasks/administer-cluster/kubeadm/adding-windows-nodes/
윈도우 노드 - 컨테이너 런타임 설치
Calico 네트워크 모드 선택
https://projectcalico.docs.tigera.io/networking/determine-best-networking#on-prem
Windows Calico QuickStart
https://projectcalico.docs.tigera.io/getting-started/windows-calico/quickstart
Windows Calico 관련 참고 영상
https://tigera.wistia.com/medias/gvc1f5132d
https://www.youtube.com/watch?v=DMKS43POa5s
'Kubernetes' 카테고리의 다른 글
| Jenkins와 Argo CD를 활용한 Kubernetes 환경 CI/CD 구성 (0) | 2025.03.30 |
|---|---|
| CNI(Container Network Interface)란? (0) | 2025.02.19 |
| 쿠버네티스에 containerd 를 사용하는 윈도우 워커노드 추가 (with Calico CNI) (0) | 2022.07.12 |
| Kubernetes 업그레이드 (K8S v1.21.x → v1.22.x) (0) | 2022.02.05 |