실시간 문제 탐지 및 실행 가능한 권장 사항을 통해 Elasticsearch 운영을 간소화하고 성능을 최적화하며 비용을 절감하세요. AutoOps는 클라우드 및 자체 관리형 배포에 사용할 수 있습니다. AutoOps에 대해 자세히 알아보세요.
자체 관리형 Elasticsearch(온프레미스 또는 프라이빗 호스팅 환경)를 위한 AutoOps를 도입하여 Elasticsearch를 더 쉽게 관리할 수 있습니다. 이 블로그에서는 기존의 기술적인 기능 안내가아닌 DevOps 엔지니어의 관점에서 그 가치와 설정 방법, 제공하는 인사이트를 소개합니다. AutoOps의 진정한 가치는 대규모로 Elasticsearch를 관리하는 일상적인 작업에서 가장 잘 드러나기 때문입니다.
1장: 배경 - 대규모 자체 관리의 복잡성
대규모 자체 관리 데이터 플랫폼의 운영은 복잡할 수 있습니다.
어느 순간, 쿼리가 번개처럼 빨라집니다. 다음으로 수집이 지연되고 저장 비용이 급증합니다. 동물들이 새벽 3시에 호출할 수 있다는 점을 제외하면 기본적으로 동물원을 운영하는 것과 비슷합니다.
제 환경도 다르지 않습니다. 여러 클러스터, 무거운 클러스터 간 검색(CCS), 여러 부서에 걸쳐 수백 명의 사용자가 있습니다.
스택 모니터링을 일상 업무에 사용합니다. 그래프와 메트릭을 제공하지만 점들을 연결하려면 여전히 많은 전문 지식과 시간이 필요합니다. 병목 현상을 진단하거나 샤드 전략을 조정해야 할 시기를 파악하는 것은 여전히 오류가 발생하기 쉬운 수동 프로세스입니다. 많은 경우 문제가 가동 중단, 성능 저하 또는 예기치 않은 스토리지 급증을 초래할 때까지 눈에 띄지 않습니다.
2장: AutoOps 알아보기
그리고 발표가 있었습니다: 이제 자체 관리 클러스터(온프레미스 또는 프라이빗 호스팅 환경)에서 AutoOps를 사용할 수 있습니다.
AutoOps는 오랫동안 Elastic Cloud 사용자가 배포를 보다 효율적으로 관리할 수 있도록 도와왔습니다. 이제 온프레미스 또는 프라이빗 클라우드 환경에서 실행되는 자체 관리형 클러스터(ECK, ECE 또는 독립형)에서도 동일한 혜택을 누릴 수 있습니다.
AutoOps 피치는 매력적입니다:
- 수집 병목 현상, 불균형한 샤드, 느린 쿼리 등에 대한 실시간 문제 감지
- 클러스터 구성에 맞춘 실행 가능한 권장 사항
- 리소스 최적화 인사이트를 통해 효율성 향상 및 낭비되는 비용 절감
- 경량 에이전트 설치로 간단한 설정 - 추가 인프라 필요 없음
솔직히 '추가 인프라가 필요 없다'고 약속하는 모든 것이 제 관심을 끌었습니다.
3장: 5분 안에 설정하기(예, 정말)
저는 오후 시간을 차단하고 커피를 비축하며 긴 준비에 대비했습니다. 놀랍게도 5분밖에 걸리지 않았습니다:
- 내 Elastic Cloud 계정에로그인
- 에이전트를 실행할 위치 결정(Docker, Linux 또는 Kubernetes)
- 클러스터 URL 입력
- 단일 명령을 실행하여 경량 Metricbeat 에이전트를 설치했습니다.
그게 다입니다. 클러스터가 연결되었습니다.
프로비저닝할 전용 모니터링 클러스터가 없습니다. 그리고 중요한 것은 AutoOps는 메트릭만 전송하므로 회사의 데이터는 자체 관리 환경에 보관된다는 것입니다.
1단계: Elastic Cloud에 가입하기
2단계: 에이전트를 실행할 위치 선택
3단계: Elasticsearch 엔드포인트와 인증 방법 입력하기
4단계: 에이전트를 설치하는 간단한 명령어
몇 분 후 AutoOps에서 인사이트를 표시하기 시작합니다.
자세한 내용은 AutoOps 온보딩 문서와 자주 묻는 질문을 참조하세요.
4장: 첫 번째 인사이트, 첫 번째 승리
몇 분 만에 AutoOps는 인사이트를 드러내기 시작하여 근본 원인 분석과 이를 해결하기 위한 명확한 단계를 제공했습니다.
첫 주 하이라이트가 포함되어 있습니다:
- 너무 커진 ILM 정책에 연결되지 않은 인덱스에 플래그 지정
- 한 클러스터에는 과거 유지 관리 작업으로 인해 빈 노드 3개가 남아있었습니다.
- 일부 노드가 워터마크를 교차하고 있었고, 몇 개의 인덱스에 복제본이 누락되었습니다.
- 잘못 구성된 템플릿 발견
- 장기간 실행되는 검색을 정확히 찾아내어 정확한 취소 명령을 제안합니다.
클러스터가 인덱싱을 거부하는 것을 자동 운영이 감지했습니다.
일부 인덱스가 복제본 없이 구성된 것을 AutoOps가 감지했습니다
AutoOps 이전에는 이러한 문제를 해결하기 위해 더 많은 하드웨어를 투입했을 것입니다. 대신 자동 운영은 근본 원인을 바로 찾아냈고 수정하는 데 몇 분밖에 걸리지 않았습니다.
모니터링 시스템이 단순히 차트를 보여주는 데 그치지 않고 문제를 해결하는 방법을 알려주었습니다. AutoOps가 우리 집 Wi-Fi를 진단하는 데도 도움이 될 수 있는지 궁금해지기 시작했고 마침내 가족의 IT 부서에서 벗어나게 되었습니다.
자동 운영은 샤드 크기를 모니터링하고 빈 샤드가 많을 때 알림을 보냅니다.
5장: 내가 보는 것을 보는 지원
지원 케이스를 처음 열었을 때, 저는 또 다른 이점을 깨달았습니다. Elastic Support 엔지니어가 제가 보고 있던 것과 똑같은 데이터와 권장 사항을 볼 수 있다는 것이었습니다.
지원을 협업으로 전환했습니다. 티켓을 주고받는 대신 Elasticsearch를 속속들이 알고 있는 팀원과 함께 일하는 것 같은 느낌이 들었습니다.
6장: 대규모 운영
AutoOps 이전에는 Elasticsearch를 확장하는 것이 과학, 본능, 부족의 지식이 뒤섞인 것처럼 느껴졌습니다.
이제 명확한 가시성과 권장 사항을 갖춘 데이터 기반이 되었습니다:
- 리소스 사용률에 대한 가시성을 확보하여 오버프로비저닝 방지
- 균형 잡힌 성능을 위한 더 스마트한 샤드 할당 및 계층화 권장 사항
- 낭비되는 스토리지 및 하드웨어 비용을 줄이는 인덱스 사이징 인사이트
- 여러 클러스터에서 더 빠른 근본 원인 분석
7장: 다양한 클라우드 커넥티드 서비스 중 첫 번째 서비스
AutoOps는 독립형 도구 그 이상입니다. 이는 자체 관리형 고객을 위한 새로운 Cloud 커넥티드 서비스 세트의 첫 번째 서비스로, 자체 관리형 클러스터는 자체 환경에서 이러한 서비스를 설치하고 관리하는 데 따른 운영 오버헤드 없이 Elastic Cloud 서비스를 사용할 수 있습니다. 기능이 자동으로 롤아웃되므로 팀은 인프라 복잡성을 줄이면서 더 빠르게 개선된 기능을 사용할 수 있습니다.
다음은 탄력적 추론 서비스(EIS).
마무리 의견
대규모 자체 관리형 배포를 관리하는 것이 부담스러울 필요는 없습니다.
더 간단한 작업을 원하신다면 언제든지 일부 워크로드를 호스팅이든 서버리스든 Elastic Cloud로 이동하여 가장 손쉽게 Elasticsearch를 실행할 수 있습니다.
자체 관리형 실행을 계속 유지하려면 자체 관리형 Enterprise 라이선스가 있는 클러스터를 Elastic Cloud의 AutoOps에 연결하세요.
TLDR
대규모 자체 관리형 Elasticsearch 클러스터를 실행하는 것은 복잡하고 시간이 많이 걸립니다. AutoOps는 별도의 인프라를 관리할 필요 없이 Elastic Support를 통해 실시간 문제 탐색, 실행 가능한 권장 사항, 공유 가시성을 제공합니다. 몇 분이면 설정이 완료되고 인사이트가 바로 표시됩니다.