이상 징후 탐색란 무엇인가?

이상 징후 탐색은 데이터 세트나 시스템에서 표준 범위를 벗어나는 데이터 요소를 식별하는 프로세스입니다. 데이터 분석 중이나 머신 러닝을 통해 이상 징후 탐색은 대부분의 데이터 내에서 일반적인 패턴이나 통계 모델을 따르지 않는 인스턴스에 플래그를 지정합니다. 이상 징후는 이상값, 예상치 못한 변화 또는 오류로 나타날 수 있습니다. 이는 분석 중인 데이터의 종류와 설정한 사전 정의된 매개 변수에 따라 다릅니다. 이상 징후 탐색은 잠재적인 문제나 위협을 신속하고 효율적으로 대상으로 삼고 시스템의 무결성과 안정성을 유지할 수 있기 때문에 유용합니다.

이상 징후 탐색 방법으로 찾을 수 있는 몇 가지 유형의 이상 징후는 다음과 같습니다. (이러한 범주는 상호 배타적이지 않다는 점에 유의하는 것이 중요합니다. 이상 징후는 동시에 여러 범주의 특성을 나타낼 수 있습니다.)

• 포인트 이상 징후는 나머지 데이터 세트와 눈에 띄게 다른 개별 데이터 요소입니다. 예를 들어, 특정 신용 카드 소지자의 일반적이지 않은 갑작스러운 대규모 신용 카드 구매는 잠재적인 신용 카드 사기로 조사하도록 플래그가 지정된 포인트 이상 징후가 될 수 있습니다.
• 상황에 따른 이상 징후는 데이터 요소의 정상적인 동작이 상황에 따라 달라질 수 있는 경우를 말합니다. 일반적인 예로는 연중 가장 바쁜 쇼핑일인 블랙 프라이데이에 트래픽과 매출이 크게 증가하는 소매 사이트를 들 수 있습니다. 이러한 급증은 일년 중 다른 시기에는 이례적이므로 이 날에는 특별한 매개 변수가 설정됩니다.
• 집단적 이상 징후에는 개별 데이터 요소가 정상으로 보일지라도 전체적으로 비정상적인 동작을 나타내는 데이터 요소 그룹이 포함됩니다. 이러한 이상 징후는 여러 데이터 요소 간의 관계나 패턴을 관찰함으로써 식별됩니다. DDoS 공격은 정상적인 트래픽 패턴과는 다른 여러 소스로부터 트래픽을 생성하므로 집단적 이상 징후의 예입니다.
• 시간적 이상 징후와 시계열 이상 징후는 일련의 사건이나 계절적 변화 등 시간적 순서에 따라 데이터에 편차가 있을 때 발생합니다. 예를 들어, 휴가지의 관광 성수기 변화, 특정 계절의 비정상적인 날씨 패턴, 출퇴근 시간 외의 교통량 급증 등은 모두 시간적 이상 징후입니다.
• 공간적 이상 징후와 지리적 이상 징후는 공간적 또는 지리적 데이터에서 발생하는 이상 현상이 포함됩니다. 이러한 이상 징후는 데이터 요소 간의 공간적 관계를 보면 알 수 있습니다. 예를 들어, 공중 보건 데이터에서 특정 지역에 질병 진단을 받은 개인이 비정상적으로 많이 집중되어 있으면 국지적 발병으로 조사되는 공간적 이상 징후가 됩니다.

이상 징후 탐색은 나중에 문제를 일으킬 수 있는 비정상적인 패턴, 동작 또는 이벤트를 식별하는 데 도움이 되기 때문에 중요합니다. 조직은 모니터링하도록 선택한 모든 시스템 및 데이터 세트의 잠재적인 위험, 비효율성 및 비정상성에 대한 경보를 받을 수 있습니다. 이를 통해 문제가 확대되기 전에 신속하고 적극적으로 개입하는 데 필요한 정보를 얻을 수 있습니다. 비즈니스의 다양한 측면에서 이러한 모든 이상 징후를 인식하면 업무를 원활하게 운영하고 개선에 집중할 수 있는 부분을 보여주며 내부 및 외부 공격으로부터 보호할 수 있습니다.

이상 징후 탐색은 먼저 기본 동작 프로필을 설정하여 작동합니다. 이 프로필은 모든 것이 정상적으로 작동할 때 예상되는 데이터 패턴과 동작을 나타냅니다. 일반적으로 과거 데이터나 정상적인 동작의 대표적인 샘플을 사용하여 생성됩니다.

정상적인 동작 프로필이 설정되면 새로 들어오는 데이터가 이 프로필과 비교됩니다. 데이터 요소를 평가하여 정상적인 동작 프로필의 예상 특성과 얼마나 잘 일치하는지 확인합니다. 여기에서 크게 벗어나는 모든 데이터 요소는 이상 징후로 표시됩니다. (이러한 편차는 다음 섹션에서 설명할 다양한 통계 기법, 머신 러닝 알고리즘 또는 규칙 기반 접근 방식을 사용하여 식별할 수 있습니다.)

다음으로, 탐지된 이상 징후를 추가로 조사하여 그 원인과 의미를 파악합니다. 측정 오류나 무작위 변동으로 인해 발생하는 오탐이나 이상값이 아닌지 확인하기 위해 이상 징후를 검증하는 것이 중요합니다. 이상 징후가 확인되면 조치를 취할 차례입니다. 이는 추가 조사, 유지 관리 또는 수리, 보안 조치, 품질 관리 조정 또는 영향을 줄이는 기타 단계를 의미할 수 있습니다.

대부분의 이상 징후 탐색 기술은 규칙 기반이거나 머신 러닝 기반일 수 있습니다. 후자는 지도 기술, 비지도 기술, 준지도 기술이라는 세 가지 머신 러닝 기반 그룹으로 나눌 수 있습니다. 어떤 기술을 선택하느냐는 해결하려는 문제의 특정 요구 사항과 레이블이 지정된 데이터의 양에 따라 달라집니다.

지도 ML 이상 징후 탐색 기술은 훈련 중에 정상 인스턴스와 비정상 인스턴스를 모두 명확하게 정의하는 레이블이 지정된 데이터가 필요한 기술입니다. 모델은 정상 데이터의 패턴을 학습한 다음, 학습한 내용에 따라 새로운 데이터 요소를 정상 또는 비정상으로 분류합니다.

비지도 ML 이상 징후 탐색 기술은 레이블이 지정된 데이터 없이 작동하며, 이상 징후가 드물고 대부분의 데이터와 상당히 다르다고 가정합니다. 이러한 기술은 비정상적인 패턴, 이상값 또는 정상적인 동작과의 편차를 식별하는 것을 목표로 합니다.

준지도 ML 이상 징후 탐색 기술은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터의 조합을 사용합니다. 레이블이 지정된 데이터를 활용하여 정상적인 행동의 기준을 설정한 다음 레이블이 지정되지 않은 데이터를 사용하여 이 기준과의 편차를 식별합니다. 이는 비정형 데이터로 작업할 때 특히 유용합니다.

머신 러닝이 이상 징후 탐색에 일반적으로 사용되지만, 다른 기술(예: 통계 방법, 규칙 기반 접근 방식, 신호 처리 기술)도 이상 징후 탐색에 활용될 수 있다는 점은 언급할 가치가 있습니다. 이러한 비머신 러닝 기술은 다양한 원리와 알고리즘을 사용하여 데이터의 이상 징후를 식별합니다.

이상 징후 탐색에는 여러 영역에 걸쳐 다양한 사용 사례가 있습니다. 다음은 여러분이 접할 수 있는 몇 가지 사용 사례입니다.

• 사이버 보안: 이상 징후 탐색은 네트워크 트래픽, 시스템 로그 및 사용자 활동에서 비정상적인 패턴이나 동작을 식별하는 데 도움이 되며, 이를 통해 침입 시도, Malware 및 데이터 침해와 같은 사이버 위협을 발견하는 데 도움이 됩니다.
• 애플리케이션 및 시스템 모니터링: 이상 징후 탐색은 애플리케이션, 서버 및 네트워크 인프라의 성능을 모니터링하는 데 매우 중요합니다. 대기 시간, CPU 사용량, 메모리 사용률과 같은 메트릭의 이상 징후를 신속하게 찾아 보고할 수 있으므로 잠재적인 운영 중단을 방지하는 데 도움이 될 수 있습니다.
• 이상 거래 탐지: 이상 징후 탐색은 비정상적인 지출 패턴, 비정상적인 지리적 위치에서의 구매, 기타 의심스러운 활동을 찾아내 신용 카드 사기 및 신원 도용을 방지할 수 있습니다.
• 하드웨어 유지 관리: 이상 징후 탐색 기능을 활용하여 하드웨어의 성능도 모니터링할 수 있습니다. 여기에는 CPU 온도, 팬 속도, 전압 수준과 같은 요소가 포함됩니다. 즉, 장애가 임박했음을 의미할 수 있는 이상 징후를 표시하여 운영 중단이 발생하기 전에 수리를 시작할 수 있습니다.
• 사용자 행동 분석: 이상 징후 탐색은 사용자 프로파일링을 피하면서 애플리케이션, 웹사이트 및 기타 온라인 플랫폼의 사용자 행동 패턴과 추세를 분석할 수 있습니다. 이는 비정상적인 사용자 상호 작용을 식별하는 데 도움이 되며 보안 조치를 개별적으로 맞춤 설정하는 데도 도움이 될 수 있습니다.

이상 징후 탐색에는 여러 가지 이점이 있습니다. 다음은 조직에 도움이 될 수 있는 몇 가지 방법입니다.

• 이를 통해 문제가 더 큰 문제로 커지기 전에 조기에 탐지할 수 있습니다. 이상 징후를 조기에 발견하면 가능한 손상이나 중단을 막기 위한 조치를 취할 수 있습니다.
• 이는 사이버 공격이나 사기 등 악의적일 수 있는 의심스러운 활동을 식별하는 데 핵심적인 역할을 합니다. 이를 통해 잠재적인 위협을 신속하게 발견하고 보안을 강화할 수 있습니다.
• 시스템의 최적 성능과의 편차를 찾아 비효율성을 찾아낼 수 있습니다. 이를 통해 프로세스를 간소화하고 시스템의 전반적인 개선을 위한 아이디어를 얻을 수 있습니다.
• 이는 서비스 중단이든 문제를 나타낼 수 있는 고객 서비스 문의의 비정상적인 증가든, 고객 만족도에 영향을 미칠 수 있는 이상 징후를 발견하기 때문에 고객 서비스에 매우 중요합니다.
• 머신 러닝 기반 이상 징후 탐색은 시스템을 상시 모니터링할 수 있다는 추가적인 이점이 있습니다.
• 규제 요구 사항은 물론 업계 표준의 편차도 찾아낼 수 있으므로 규제 준수에도 도움이 될 수 있습니다.

이상 징후 탐색 기술에는 특정한 한계와 과제가 있습니다. 알아두셔야 할 몇 가지 단점은 다음과 같습니다.

• 지도 머신 러닝 모델이 제대로 작동하려면 많은 레이블이 지정된 데이터가 필요할 수 있습니다. 이상 징후 탐색 훈련 모델에 레이블이 지정된 데이터의 양이 충분하지 않으면 정확성이 저하됩니다.
• 측정할 이상 징후 탐색 알고리즘에 대해 측정할 부정확한 임계값을 설정하면 다양한 보고 오류가 발생할 수 있습니다.
• 지금은 구식인 과거 모델을 기반으로 알고리즘이 훈련된 경우, 모델 성능이 저하될 수 있습니다. 모델을 업데이트하는 것은 힘들고 시간이 많이 걸릴 수 있습니다.
• 임계값이 정확하더라도 알고리즘은 때때로 오탐(이상 징후로 표시된 정상 데이터 요소) 또는 미탐(이상 징후가 감지되지 않음)을 생성할 수 있습니다. 하나를 줄이면 다른 하나가 증가하는 경우가 많기 때문에 이 두 가지 유형의 오류 사이에서 균형을 맞추는 것이 어려울 수 있습니다.
• 이상 징후 탐색 알고리즘은 잡음이 많거나 관련 없는 데이터에 민감할 수 있습니다. 전처리 기술과 기타 노이즈 감소 방법을 사용하여 이를 완화할 수 있습니다.
• 대규모 데이터 세트 또는 실시간 스트리밍 데이터에 이상 징후 탐색을 적용할 때 확장성이 문제가 될 수 있습니다. 조직에서는 현재 모든 것을 처리하는 데 필요한 것보다 더 많은 컴퓨팅 리소스가 필요할 수 있습니다.

최상의 결과를 얻기 위해서는 이상 징후 탐색 모범 사례를 따르는 것이 중요합니다. 다음은 명심해야 할 몇 가지 사항입니다.

• 시작하기 전에 데이터의 패턴과 특성을 철저히 이해해야 합니다.
• 가능한 한 정확한 예상 동작에 대한 기준 패턴 또는 임계값을 설정합니다. 이 단계를 간과하지 마세요. 그렇게 하면 나중에 문제가 생길 것입니다.
• 조직에서 생성하는 데이터 종류에 가장 적합한 이상 징후 탐색 기술을 선택합니다. (최선의 접근 방식이라면 여러 기술을 결합할 수 있습니다.)
• 이상 징후 탐색 시스템의 성능을 정기적으로 모니터링하고 생성 중인 데이터가 변경된 경우 업데이트합니다.
• 질문이 있는 경우, 분석 중인 주제에 대한 전문가인 팀원에게 문의합니다. 결과를 보다 정확하게 해석하는 데 도움이 될 수 있습니다.

Elastic은 데이터에 대한 정교한 실시간 분석을 제공하기 위해 다양한 머신 러닝 기술을 활용하는 명확하고 사용하기 쉬운 인터페이스를 제공합니다. Elastic의 이상 징후 탐색 기능에는 더 나은 이상 탐지 머신 러닝 작업을 구축하는 데 도움이 되는 단계별 워크플로우가 포함되어 있습니다. 또한 이상 징후와 그 근본 원인을 더 쉽게 이해할 수 있는 시각화 기능과 함께 다양한 도메인에서 비정상적인 동작을 안정적으로 탐지하는 기능도 포함되어 있습니다.

Elastic 머신 러닝과 Elastic Observability가 현재 귀사에 어떻게 도움이 될 수 있는지 자세히 알아보세요.

Kibana 안내서: 이상 징후 탐색

이상 징후 탐색 시작하기

이상 징후 탐색 알고리즘

지리적 데이터에서 비정상적인 위치 탐지