ECK는 마켓플레이스 기반 Elastic Cloud 솔루션보다 훨씬 더 많은 노력이 필요하지만, Kubernetes 운영자가 시스템 오케스트레이션과 노드 확장을 처리하기 때문에 직접 VM을 배포하는 것보다 훨씬 더 자동화되어 있습니다.

이번에는 자동을 사용하여 Azure Kubernetes Service(AKS)로 작업해 보겠습니다. 다른 문서에서는 Azure VM 및 Azure Marketplace를 사용하는 방법에 대해 알아보세요.

AKS 자동이란 무엇인가요?

Azure Kubernetes Service(AKS)는 클러스터 설정을 자동으로 관리하고, 리소스를 동적으로 할당하고, 보안 모범 사례를 통합하는 동시에 Kubernetes 유연성을 유지하므로 개발자는 컨테이너 이미지에서 배포된 애플리케이션으로 몇 분 내에 전환할 수 있습니다.

AKS Automatic은 대부분의 클러스터 관리 오버헤드를 제거하고 단순성과 유연성 간의 균형을 잘 맞추고 있습니다. 올바른 선택은 사용 사례에 따라 다르지만, 계획이 있다면 더 쉽게 결정할 수 있습니다:

• 테스트 환경을 배포하세요: 배포가 빠르고 간단하여 빠른 실험이나 단기간의 클러스터에 이상적입니다.

• 엄격한 가상 머신, 스토리지 또는 네트워킹 요구 사항 없이 작업하세요: AKS 자동은 사전 정의된 기본값을 제공하므로 필요에 맞는 기본값을 사용하면 추가 구성이 필요하지 않습니다.

• Kubernetes로 처음 시작하세요: AKS Automatic은 클러스터 설정의 대부분을 처리함으로써 학습 곡선을 낮추고 팀이 애플리케이션에 집중할 수 있도록 합니다.

Elasticsearch의 경우, Elastic Stack의 Kubernetes 배포 오케스트레이션을 간소화하는 공식 Elastic Kubernetes 운영자인 ECK(Elastic Cloud on Kubernetes )를 사용하겠습니다.

AKS 자동 설정 방법

1. Microsoft Azure 포털에 로그인합니다.

2.오른쪽 상단의 Cloud Shell 버튼()을 클릭하여 콘솔에 액세스하고 거기에서 AKS 클러스터를 배포합니다. 또는 Azure Cloud Shell을 사용할 수도 있습니다.

튜토리얼을 진행하는 동안 프로젝트 ID를 자신의 것으로 업데이트하는 것을 잊지 마세요.

AKS를 열면 위의 스크린샷과 같은 화면이 나타납니다.

3. aks-preview Azure CLI 확장을 설치합니다. 이 미리 보기 버전에서는 클러스터 생성 시 --sku automatic 을 선택하면 AKS 자동 기능을 사용할 수 있습니다.

이 메시지가 표시되면 AKS 확장 프로그램이 제대로 설치되었다는 뜻입니다.

4. az feature register 명령을 사용하여 기능 플래그 등록하기

방금 생성한 기능 구독에 대한 세부 정보가 표시됩니다:

등록 상태가 "등록중"에서 "등록됨"으로 변경될 때까지 등록 상태를 확인합니다. 등록을 완료하는 데 몇 분 정도 걸릴 수 있습니다.

az provider register 을 실행하여 변경 사항을 전파합니다.

5. 리소스 그룹 만들기

리소스 그룹은 관리 및 배포할 Azure 리소스의 논리적 그룹입니다.

6. 자동 조종 장치 클러스터를 생성합니다. 이름을 myAKSAutomaticCluster로 지정하고 방금 만든 리소스 그룹을 사용하겠습니다. 다음 VM 크기 중 하나에서 16개의 vCPU를 사용할 수 있는지 확인합니다: Standard_D4pds_v5, Standard_D4lds_v5, Standard_D4ads_v5, Standard_D4ds_v5, Standard_D4d_v5, Standard_D4d_v4, Standard_DS3_v2, AKS용 Standard_DS12_v2 리소스 할당에 사용할 수 있습니다.

*MissingSubscriptionRegistration오류가 표시되면 누락된 구독이 있는 4단계로 돌아가세요. 예를 들어 The subscription is not registered to use namespace 'microsoft.insights' 실행이 필요합니다. az provider register --namespace Microsoft.Insights.

대화형 로그인을 따르세요:

"az login"을 실행하라는 메시지가 표시됩니다. 해당 명령을 실행한 다음 기다려야 합니다.

7. 준비가 될 때까지 기다립니다. 생성하는 데 약 10분이 걸립니다.

8. kubectl 명령줄 액세스를 구성한다.

저희가 설치한 확장 프로그램은 AKS 자동을 활성화하고 있습니다.

9. 노드가 배포되었는지 확인합니다.

금지된 오류 메시지가 표시되면 오류에서 사용자 ID를 복사합니다.

10. AKS 액세스 제어에 사용자를 추가합니다.

AKS ID를 받습니다. 명령에서 출력을 복사합니다.

AKS ID와 사용자의 대표 ID를 사용하여 역할 할당을 생성합니다.

11. 노드가 다시 배포되었는지 확인합니다.

12. Kubernetes(ECK) 운영자에 Elastic Cloud를 설치합니다.

13. 기본값을 사용하여 단일 노드 Elasticsearch 인스턴스를 생성해 보겠습니다.

기본 AKS 머신의 vm.max_map_count 값이 너무 낮기 때문에 nmap 을 비활성화했습니다. 비활성화하는 것은 프로덕션에는 권장되지 않지만 vm.max_map_count 의 값을 늘리는 것은 권장됩니다. 자세한 방법은 여기에서 확인할 수 있습니다.

14. 또한 Kibana 단일 노드 클러스터를 배포해 보겠습니다. Kibana의 경우, 로드 밸런서를 추가하여 장치에서 Kibana에 접속하는 데 사용할 수 있는 외부 IP를 제공합니다.

기본적으로 AKS 자동은 로드 밸런서를 공개로 구성하며, 메타데이터 주석을 설정하여 동작을 변경할 수 있습니다:

service.beta.kubernetes.io/azure-load-balancer-internal: "true"

15. 파드가 실행 중인지 확인합니다.

16. 또한 kubectl get elasticsearch 및 kubectl get kibana 을 실행하여 Elasticsearch 버전, 노드 및 상태와 같은 보다 구체적인 통계를 확인할 수 있습니다.

17. 서비스에 액세스합니다.

그러면 EXTERNAL-IP 아래에 Kibana의 외부 URL이 표시됩니다. 로드 밸런서가 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다. EXTERNAL-IP 값을 복사합니다.

18. 'elastic' 사용자의 Elasticsearch 비밀번호를 가져옵니다:

19. 브라우저를 통해 Kibana에 액세스합니다:

a. URL: https://<EXTERNAL_IP>:5601

b. 사용자 이름:elastic

c. 비밀번호: c44A295CaEt44D6xIzN6Zs5m(이전 단계부터)

20. 브라우저에서 Elastic Cloud에 액세스하면 시작 화면이 표시됩니다.

노드 변경 또는 크기 조정과 같이 Elasticsearch 클러스터 사양을 변경하려는 경우, 새 설정으로 YML 매니페스트를 다시 적용할 수 있습니다:

이 예제에서는 노드를 하나 더 추가하고 RAM과 CPU를 수정하겠습니다. 보시다시피 이제 kubectl get elasticsearch 에 2개의 노드가 표시됩니다:

Kibana도 마찬가지입니다:

컨테이너 CPU/RAM 및 Node.js 메모리 사용량(최대 이전 공간 크기)도 조정할 수 있습니다.

기존 볼륨 클레임은 크기를 줄일 수 없다는 점에 유의하세요. 업데이트를 적용한 후 운영자는 중단 시간을 최소화하면서 변경 작업을 수행합니다.

불필요한 비용을 피하려면 테스트가 끝나면 클러스터를 삭제하는 것을 잊지 마세요.

결론

ECK와 함께 Azure AKS Automatic을 사용하면 운영 복잡성을 줄이고, 자동화된 확장 및 업데이트를 보장하며, Kubernetes의 유연성을 활용하는 등 Elasticsearch와 Kibana를 배포하기 위한 균형 잡힌 솔루션을 제공합니다. 이 접근 방식은 모든 인프라 세부 사항을 수동으로 관리하지 않고도 안정적이고 반복 가능하며 유지 관리가 가능한 배포 프로세스를 원하는 팀에 이상적이며 테스트 및 프로덕션 환경 모두에 실용적인 선택이 될 수 있습니다.

다음 단계

Kubernetes에 대해 자세히 알아보려면 여기에서 공식 문서를 확인하실 수 있습니다:

• Kubernetes의 Elastic Cloud | Elastic Docs

• Azure Kubernetes Service(AKS) 자동 소개(미리 보기)(영문)

• AKS 오토매틱 - AKS 엔지니어링 블로그

AWS의 인프라를 통해 모든 Elastic Stack 구성 요소의 배포와 오케스트레이션을 간소화하는 공식 관리형 Elasticsearch 서비스인 Elastic Cloud Service on AWS를 사용하려고 합니다.

Elasticsearch와 AWS EC2를 설치하고 구성하는 방법을 배우고 싶으시다면 이 블로그를 참조하십시오.

AWS Marketplace는 무엇입니까?

Elastic on AWS Marketplace는 인프라 프로비저닝, 보인 및 확장을 AWS에서 처리하여 개발자는 검색 애플리케이션 구축에만 집중할 수 있는 완전 관리형 검색 및 분석 환경을 제공합니다. 이를 통해 팀은 AWS와의 기본 제공 통합을 통해 엔터프라이즈급 Elasticsearch 클러스터를 몇 분 안에 배포할 수 있습니다.

Elastic을 AWS Marketplace에서 언제 사용해야 하나요?

Elastic on AWS Marketplace는 관리형 서비스, 기본 제공 보안, 운영 부담 없이 원활한 AWS 통합을 통해 Elasticsearch를 배포하고자 하는 기존 AWS 인프라를 보유한 조직에 가장 적합합니다.

AWS 마켓플레이스에서 Elastic Cloud를 설정하는 방법

1단계: AWS Marketplace에 액세스

1. AWS에 로그인합니다.

• 검색 창에서 AWS 마켓플레이스를 검색합니다.

2. 왼쪽 탐색 패널에서 제품 검색을 클릭한 다음 Elasticsearch를 검색합니다.

3. Elastic Cloud (Elasticsearch Service)를 클릭합니다.

2단계: 서비스 구독

1. 구매 옵션을 선택하거나 무료 체험을 클릭합니다.

2. 요금제 세부 정보, 이용 약관 및 구매 세부 정보를 검토합니다.

3. 구독 버튼을 클릭합니다.

4. 이제 Elastic 계정을 설정해야 합니다. AWS에서 제공하는 단계를 따르세요.

a. '통합 사용' 버튼을 클릭합니다.

b. '로그인 또는 벤더 계정 만들기' 버튼을 클릭합니다.

c. '템플릿 시작' 버튼을 클릭합니다.

d. '소프트웨어 시작' 버튼을 클릭합니다.

3단계. Elastic에서 새 계정 구성

1. Elastic 계정을 생성하십시오

2. 이메일 주소를 확인하십시오

3. 귀하의 이름과 회사 정보를 입력하십시오

4. 간단한 Elastic 설문조사를 완료합니다.

5. Elastic Cloud를 호스팅할 지역을 선택합니다. 기본적으로 실제 AWS 리전이 선택됩니다.

6. Elastic이 배포될 때까지 기다립니다.

7. 배포가 AWS 마켓플레이스 구독에 연결됩니다.

구독 취소

구독을 취소하시려면 다음 단계에 따르세요.

1. AWS 콘솔로 이동합니다.

검색 창에서 AWS Marketplace를 검색합니다. AWS Marketplace를 클릭합니다.

2. Elastic Cloud 구독을 클릭합니다.

3. 작업 버튼을 클릭한 다음 구독 취소를 클릭합니다.

4. 취소를 확인한 후 예 버튼과 구독 취소 버튼을 클릭하십시오.

5. 페이지 상단에 확인 메시지가 표시됩니다.

다음 단계

Elastic Cloud 여정을 시작하려면 단일 배포와 세 개의 프로젝트가 포함된 Elastic Cloud (Elasticsearch Service) 7일 무료 체험을 시작하세요. AWS 계정에 로그인하고 '구매 옵션 보기'를 클릭하기만 하면 Elastic Cloud(Elasticsearch Service)에서 Elastic의 검색 AI 플랫폼을 즉시 사용해 볼 수 있습니다. 이 평가판은 인프라 관리 부담 없이 검색, 보안 및 통합 가시성 솔루션에 대한 전체 액세스를 제공합니다.

Elasticsearch의 경우 Elastic Cloud on Kubernetes(ECK)를 사용할 예정입니다. 이는 모든 Elastic Stack 구성 요소의 Kubernetes 배포 오케스트레이션을 단순화하는 공식 Elasticsearch Kubernetes 오퍼레이터입니다.

다양한 GCP 인프라에 Elasticsearch 클러스터를 배포하는 방법에 대해 자세히 알아보려면 Google Cloud Compute 및 Google Cloud Marketplace 시작하기 문서를 참조하세요.

Elasticsearch 배포 작업

GKE Autopilot이란 무엇입니까?

Google Kubernetes Engine(GKE) Autopilot은 클러스터 구성, 노드 관리, 보안, 확장을 Google이 처리하고 개발자는 애플리케이션 배포에 집중할 수 있는 완전 관리형 Kubernetes 환경을 제공하며, 팀은 기본 제공되는 모범 사례를 통해 몇 분 안에 코드에서 프로덕션으로 전환할 수 있습니다.

Google Cloud에서 ECK는 언제 사용하나요?

Elastic Cloud on Kubernetes(ECK)는 전용 노드 역할, 고가용성 및 자동화와 같은 고급 기능을 갖춘 Elasticsearch를 배포하려는 기존 Kubernetes 인프라를 보유한 조직에 가장 적합합니다.

Google Cloud에서 ECK를 설정하는 방법은 무엇인가요?

1. Google Cloud 콘솔에 로그인합니다.

2. 오른쪽 상단의Cloud Shell 버튼을 클릭하여 콘솔에 접속하고 거기에서 GKE 클러스터를 배포합니다. 또는 gcloud CLI를 사용할 수도 있습니다.

튜토리얼을 진행하는 동안 프로젝트 ID를 본인의 ID로 업데이트하는 것을 잊지 마세요.

3. Google Kubernetes Engine API를 활성화합니다.

다음을 클릭합니다.

이제 Kubernetes Engine API를 검색할 때 활성화된 것으로 표시되어야 합니다.

4. Cloud 셸에서 Autopilot 클러스터를 생성합니다. 이름을 autopilot-cluster-1로 지정하고 프로젝트의 ID를 autopilot-test로 바꿉니다.

5. 준비될 때까지 기다립니다. 생성하는 데 약 10분 정도 걸립니다.

클러스터를 올바르게 설정하면 확인 메시지가 표시됩니다.

6. kubectl 명령줄 접근 권한을 구성합니다.

다음과 같이 보셔야 합니다:

autopilot-cluster-1에 대한 kubeconfig 항목이 생성되었습니다.

7. Elastic Cloud on Kubernetes(ECK) 오퍼레이터를 설치합니다.

8. 기본값으로 단일 노드 Elasticsearch 인스턴스를 생성해 보겠습니다.

다양한 설정에 대한 몇 가지 레시피를 확인하려면 이 링크를 참조하세요.

storageClass을(를) 지정하지 않으면 ECK는 기본값으로 설정된 standard-rwo을(를) 사용하며, GKE의 경우 Compute Engine 영구 디스크 CSI 드라이버를 사용하여 1GB 볼륨을 생성한다는 점에 유의하세요.

기본 GKE 머신의 vm.max_map_count 값이 너무 낮기 때문에 nmap을(를) 비활성화했습니다. 프로덕션 환경에서는 비활성화하는 것을 권장하지 않으며, vm.max_map_count 값을 높이는 것이 좋습니다. 자세한 내용은 여기에서 확인할 수 있습니다.

9. 또한 Kibana 단일 노드 클러스터를 배포해 보겠습니다. Kibana의 경우 디바이스에서 Kibana에 접속하는 데 사용할 수 있는 외부 IP를 제공하는 LoadBalancer를 추가하겠습니다.

다음과 같이 주석을 참고하세요.

cloud.google.com/l4-rbs: "enabled"

이는 Autopilot에 공개 LoadBalancer를 제공하도록 지시하는 중요한 설정입니다. 설정하지 않으면 LoadBalancer가 내부에 있습니다.

10. 파드가 실행 중인지 확인합니다

11. Elasticsearch 버전, 노드 수 및 상태와 같은 더 구체적인 통계를 보려면 run kubectl get elasticsearch 및 kubectl get kibana을(를)사용할 수도 있습니다.

12. 서비스에 액세스합니다.

이렇게 하면 EXTERNAL-IP 아래에 Kibana의 외부 URL이 표시됩니다. LoadBalancer가 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다. EXTERNAL-IP의 값을 복사합니다.

13. 다음과 같이 'elastic' 사용자의 Elasticsearch 비밀번호를 가져옵니다.

14. 다음과 같이 브라우저를 통해 Kibana에 액세스합니다.

• URL: https://<EXTERNAL_IP>:5601

• Username:elastic

• 비밀번호: 28Pao50lr2GpyguX470L2uj5 (이전 단계에서 얻은 비밀번호)

15. 브라우저에서 액세스하면 시작 화면이 표시됩니다.

노드 변경이나 크기 조정과 같은 Elasticsearch 클러스터 사양을 변경하려면 새 설정으로 yml 매니페스트를 다시 적용하면 됩니다.

이 예시에서는 노드를 하나 더 추가하고 RAM과 CPU를 수정해 보겠습니다. 보시다시피 이제 kubectl get elasticsearch에는 2개의 노드가 표시됩니다.

Kibana도 마찬가지입니다.

컨테이너 CPU/RAM 및 Node.js 메모리 사용량(max-old-space-size)을 조정할 수 있습니다.

기존 볼륨 클레임은 크기를 줄일 수 없다는 점에 유의하세요. 업데이트를 적용한 후 오퍼레이터는 중단 시간을 최소화하면서 변경 사항을 적용할 것입니다.

불필요한 비용 발생을 방지하기 위해 테스트가 끝나면 클러스터를 삭제하는 것을 잊지 마세요.

다음 단계

Kubernetes 및 Google Kubernetes Engine에 대해 더 자세히 알아보려면 다음 문서를 참조하세요.

• Elastic Cloud on Kubernetes | Elastic Docs

• GKE Autopilot 소개 | Google Cloud 블로그

• Autopilot 개요 | Google Kubernetes Engine(GKE)