감정 분석이란 무엇인가요?

감정 분석은 자연어 처리(NLP) 기술로, 컴퓨터 언어학과 머신 러닝을 활용하여 텍스트 데이터에 내재된 감정적 어조를 감지합니다. 이를 통해 조직은 브랜드, 제품, 서비스 또는 아이디어에 대한 긍정적, 중립적 또는 부정적 감정을 식별할 수 있습니다.

핵심 기술은 다음과 같습니다.

• 자연어 처리(NLP): 기계가 인간의 언어를 처리하고 해석할 수 있도록 합니다.
• 컴퓨터 언어학: 텍스트 분석을 위한 언어학적 프레임워크를 제공합니다.
• 머신 러닝(ML): 모델은 레이블이 지정된 텍스트에서 패턴을 학습해 감정을 분류합니다.

1. 텍스트 수집: 이메일, 지원 티켓, 채팅 기록, 소셜 미디어, 고객 리뷰 등 다양한 소스에서 원시 텍스트 데이터를 수집합니다. 처리 파이프라인이 이 데이터를 '수집'합니다.
2. 텍스트 전처리: 처리되지 않은 텍스트를 다음과 같이 정제하고 표준화합니다.
   1. 토큰화: 데이터(텍스트)를 단어 또는 구로 분할합니다.
   2. 소문자 변환: 입력이 표준화됩니다
   3. 불용어 제거: 일반적인 비정보성 단어를 필터링합니다.
   4. 어간 추출/표제어 추출: 단어를 가장 기본적인 형태로 분해합니다.
   5. 개체명 인식(NER): 고유 명사와 엔터티(개체)를 식별하는 과정입니다.
3. 특징 추출: 텍스트로부터 구조화된 수치형 표현을 생성합니다.
   1. 희소 벡터 모델을 위한 Bag of Words(BoW) 또는 TF-IDF
   2. 워드 임베딩(Word2Vec, GloVe, BERT 등)을 통한 의미적 맥락 반영
   3. 컨텍스트 벡터(예: 트랜스포머 기반 모델)
4. 감정 분류: 텍스트를 머신러닝 또는 딥러닝 모델을 활용해 감정 범주로 분류합니다.
   1. 규칙 기반 모델(어휘 사전 및 언어적 휴리스틱 활용)
   2. 전통적 ML 모델(Naïve Bayes, SVM, 로지스틱 회귀 등)
   3. 신경망 모델(LSTM, CNN, 트랜스포머 등)
5. 결과물 및 채점: 각 입력 텍스트는 감정 연속 척도(예: -1에서 +1)에 따라 점수가 매겨지거나 긍정, 부정 및 중립으로 레이블이 지정됩니다. 이제 감정 메타데이터는 다음과 같이 활용됩니다.
   1. 필터링이나 검색을 위해 인덱싱됩니다.
   2. 분석 및 대시보드에서 활용하기 위해 통합됩니다.
   3. 부정적 감정이 급증할 때 경고를 발생시키는 데 사용됩니다.
6. 피드백 + 모델 업데이트: 레이블이 지정된 결과를 사용하여 모델을 미세 조정하거나 재학습할 수 있습니다.

감정 분석은 자연어 처리의 하위 범주로, NLP가 수행하는 많은 작업 중 하나입니다. 감정 분석은 텍스트 내의 감정과 의견을 포착하는 데 중점을 두지만 NLP는 기계가 인간 언어를 처리할 수 있는 능력을 제공하는 포괄적인 기술입니다.

NLP 기반 언어 처리 작업에는 다음이 포함됩니다.

• NER: 텍스트 내 사람, 조직, 장소 등의 고유명사를 식별하는 작업
• 품사 태깅: 단어에 명사, 동사, 형용사 등 문법적 역할을 레이블을 지정하는 작업
• 텍스트 분류: 텍스트를 스팸/정상 메일과 같은 카테고리로 분류하는 작업
• 언어 모델링: 문장에서 다음 단어를 예측하거나 문장 구조를 이해하는 것
• 텍스트 요약: 긴 문서의 간결한 요약 생성
• 기계 번역: 한 언어에서 다른 언어로 텍스트를 변환하는 작업
• 질문 응답: 텍스트 입력을 기반으로 질문에 응답하는 시스템을 구축하는 작업
• 자연어 생성: 정형 데이터 또는 프롬프트에서 인간과 유사한 텍스트를 생성하는 작업

감정 분석은 머신 러닝의 광범위한 분야 내에서 특화된 사용 사례로 일반적으로 레이블이 지정된 텍스트 데이터로 학습된 지도학습 머신 러닝 모델을 사용하여 텍스트 내 감정과 의견을 감지합니다.

반면 머신 러닝은 명시적으로 프로그래밍되지 않아도 시스템이 데이터에서 패턴을 학습하고 예측이나 결정을 내릴 수 있도록 합니다. 몇 가지 주요 머신 러닝 작업은 다음과 같습니다.

• 이미지 분류: 이미지/사진에서 물체나 사람을 식별하기
• 음성 인식: 음성 언어를 텍스트로 변환하기
• 추천 시스템: 사용자 행동을 기반으로 제품, 미디어 등을 추천

기본적으로 감성 분석 기법은 다음과 같은 머신 러닝(ML) 기법에 의존합니다:

• 분류 알고리즘: 예를 들어 심층 신경망, 의사결정나무, 로지스틱 회귀 등
• 특징 추출: 원시 텍스트를 수치형 벡터로 변환
• 모델 평가: 리콜, 정밀도, 정확도 등의 메트릭으로 성능 평가

AI는 일반적으로 인간의 인지 능력이 필요한 작업을 수행할 수 있는 시스템을 개발하는 것을 목표로 하는 광범위한 학문입니다. 감정 분석은 특히 NLP 분야에서 활용되는 AI의 특화된 응용 사례입니다.

NLP, 컴퓨터 비전 그리고 머신 러닝은 모두 AI의 하위 분야입니다.

감정 분석은 토큰화, 구문 분석, 언어의 벡터 표현과 같은 핵심 NLP 구성 요소를 기반으로 구축됩니다. 이는 감정에 대해 레이블이 지정된 데이터 세트로 미세 조정된 사전 학습 트랜스포머 모델(예: BERT 또는 RoBERTa)이 주로 활용됩니다. 본질적으로 AI는 다양한 작업을 아우르는 반면, 감정 분석은 텍스트 데이터의 감정적 어조를 분석하기 위해 AI 및 NLP 방법에 초점을 맞춥니다.

데이터 마이닝은 대규모 데이터 세트에서 패턴, 상관관계 및 이상 징후 등을 발견하는 포괄적인 분석 프로세스입니다.

감정 분석과 데이터 마이닝의 주요 차이점은 다음과 같습니다.

• 방법론: 감정 분석은 언어의 뉘앙스를 해석하기 위해 지도학습 또는 비지도학습 모델에 NLP 기술을 통합합니다. 반면, 데이터 마이닝은 다양한 데이터 형식에서 패턴 발견을 위해 최적화된 통계적, 수학적, 알고리즘적 방법을 사용합니다.
• 결과: 감정 분석 결과에는 감정 분류 또는 연속적인 감정 점수가 포함됩니다. 데이터 마이닝 결과에는 예측 모델, 클러스터, 연관 규칙 등이 포함됩니다.
• 데이터 유형에 중점: 데이터 마이닝은 숫자형, 범주형, 텍스트형 등 다양한 형식의 데이터를 다룹니다. 감정 분석은 감정적 인사이트 추출을 위해 비정형 텍스트를 대상으로 합니다.

감정 분석은 규칙 기반 방법, 머신러닝 모델 또는 하이브리드 방식으로 수행할 수 있습니다. 각 접근법은 다음을 포함한 다양한 유형의 감정 분석 작업에 적용할 수 있습니다.

• 세분화된 감정 분석
• 측면 기반 감성 분석(ABSA)
• 감정 탐지 기반 감정 분석
• 의도 기반 감정 분석

세분화된 감정 분석

등급별 감정 분석이라고도 하는 이 유형은 감정을 긍정적, 중립적, 부정적으로만 분류하는 것이 아니라 여러 단계로 세분화합니다. 일반적인 범주에는 매우 긍정적, 긍정적, 중립적, 부정적, 매우 부정적이 포함됩니다. 이처럼 더욱 정교한 세분화는 고객 만족도를 보다 정밀하게 파악하고자 하는 기업 등 특정 시나리오 및/또는 산업에 유용할 수 있습니다.

측면 기반 감성 분석(ABSA)

이 접근 방식은 제품이나 서비스의 특정 측면이나 기능에 대한 감정을 식별하는 데 중점을 둡니다. 예를 들어 무선 헤드폰의 리뷰를 생각해볼 수 있습니다. 연결성, 디자인, 음질 등 다양한 측면을 포함할 수 있습니다. ABSA는 고객이 제품의 어떤 요소를 선호하거나 싫어하는지를 기업이 정확히 파악할 수 있도록 도와줍니다.

감정 탐지 기반 감정 분석

감정 탐지는 극성 분석을 넘어 행복, 슬픔, 분노, 좌절과 같은 특정 감정을 식별합니다. 이런 유형의 분석은 주관적인 언어를 평가하기 위해 어휘 사전을 자주 활용합니다.

그러나 어휘 기반 방법은 문맥이나 미묘한 감정 표현을 처리하는 데 어려움을 겪을 수 있습니다.

의도 기반 감정 분석

이름에서 알 수 있듯이 의도 기반 분석은 텍스트 이면에 숨겨진 의도를 파악하는 데 중점을 둡니다. 이를 통해 기업은 고객의 구매, 업그레이드, 취소 또는 구독 취소와 같은 의도와 관심 수준을 파악할 수 있습니다. 의도 탐지는 일반적으로 고객 이메일이나 지원 요청과 같은 레이블이 지정된 데이터를 기반으로 분류기를 학습해야 합니다.

감정 분석을 수행하려면 일반적으로 다음 단계를 따릅니다.

1. 텍스트 전처리: 문장 토큰화, 표제어 추출, 불용어 제거 등을 포함합니다.
2. 특징 추출: 표제어 처리된 토큰을 숫자형 표현으로 변환하거나 임베딩을 생성하는 작업을 포함할 수 있습니다.
3. 분류: 데이터에 감정 분류기를 적용하는 작업입니다. 일반적으로 추출된 특징을 기반으로 감정을 분류하기 위해 동작하는 특정 모델이나 알고리즘을 사용합니다.

감정 분석에는 세 가지 일반적인 접근 방식도 있습니다.

• 규칙 기반 감성 분석
• 머신 러닝 기반 감정 분석
• 하이브리드 감정 분석

규칙 기반 감성 분석

규칙 기반 감정 분석은 미리 정의된 언어 규칙과 감정 어휘를 사용하여 텍스트의 감정적 톤을 결정합니다.

구성 요소는 다음과 같습니다.

• 감정 어휘 사전: 긍정, 부정, 중립의 감정값을 태깅한 단어들을 포함하는 사전
• 언어 규칙: 부정어("not good"), 강조어("very happy"), 접속사와 같은 수식어를 처리하기 위해 수작업으로 정의된 규칙 집합

프로세스:

1. 토큰화: 텍스트를 토큰(단어 또는 구문)으로 분할합니다.
2. 어휘 사전 조회: 토큰을 감정 어휘 사전과 매칭하여 극성 점수를 부여합니다.
3. 규칙 적용: 문맥을 고려한 규칙을 사용하여 점수를 조정합니다. 예를 들어 부정은 극성을 반전시키고 강조어는 감정을 강화합니다.
4. 집계: 개별 토큰 점수를 텍스트에 대한 전반적인 감정 점수로 결합합니다.

이 접근 방식은 결과 해석이 용이하고 레이블이 지정된 대규모 데이터 세트가 필요하지 않다는 장점이 있습니다. 그러나 규칙 기반 감정 분석은 유연성이 부족할 수 있으며 때로는 풍자, 문맥, 진화하는 언어 사용과 같은 미묘한 뉘앙스를 처리하는 데 어려움을 겪을 수 있습니다.

머신 러닝 기반 감정 분석

머신 러닝 감정 분석은 레이블이 지정된 학습 데이터를 통해 학습하는 알고리즘을 사용합니다.

구성 요소는 다음과 같습니다.

• 학습 데이터: 긍정적, 부정적 또는 중립적 감정에 해당하는 단어나 구를 모델이 학습하도록 돕는 레이블이 지정된 데이터 세트(예: 영화 리뷰, 제품 리뷰)
• 특징: 텍스트를 수치화한 표현으로 단어 수, TF-IDF 벡터 또는 의미를 반영한 임베딩 등이 해당
• 분류: 추출된 특징을 기반으로 텍스트를 분류하는 데 사용되는 심층 신경망, 나이브 베이즈¹, 로지스틱 회귀, 서포트 벡터 머신(SVM) 등의 모델

프로세스:

1. 데이터 전처리: 텍스트를 정제하고 토큰화한 후 불용어를 제거하고 최종적으로 특징 벡터로 변환합니다.
2. 모델 학습: 특징과 이에 대응하는 감정 레이블을 ML 알고리즘에 입력하여 패턴을 학습합니다.
3. 예측: 학습된 모델을 새로운 텍스트 데이터에 적용하여 감정 레이블을 예측합니다.
4. 평가 및 튜닝: 정확도, 정밀도, 재현율 등의 메트릭을 사용하여 모델 성능을 평가하고 결과를 개선하기 위해 하이퍼파라미터를 세밀하게 조정합니다.

머신 러닝 접근 방식은 규칙 기반 시스템보다 복잡한 패턴과 맥락을 더 효과적으로 포착할 수 있습니다. 또한 새로운 언어 사용에 더 쉽게 적응합니다. 그러나 학습을 위해 상당량의 레이블이 지정된 데이터와 계산 자원이 필요한 경우가 많습니다.

하이브리드 감정 분석

하이브리드 감정 분석은 규칙 기반 방식과 머신러닝 방식을 결합하여 두 접근 방식의 강점을 모두 활용합니다.

따라서 구성 요소에는 다음이 포함됩니다.

1. 규칙 기반 시스템: 해석 가능한 감정 신호를 제공하는 사전 정의된 언어 규칙과 감정 어휘 사전
2. 머신 러닝 모델: 복잡한 언어 패턴과 문맥을 포착하기 위해 레이블이 지정된 데이터로 학습된 알고리즘

프로세스:

1. 전처리: 텍스트를 정제하고 토큰화하며 머신 러닝 구성 요소의 요구에 따라 특징 벡터로 변환합니다.
2. 규칙 적용: 언어 규칙을 적용하여 명시적인 감정 지표를 식별하고 부정어 또는 강조어와 같은 수식어를 처리합니다.
3. 머신 러닝 예측: ML 모델은 동일하거나 보완적인 특징을 분석하여 명시적 규칙을 넘어서는 미묘한 감정을 감지합니다.
4. 융합(Fusion): 규칙 기반 및 머신 러닝 구성 요소의 결과물을 가중치 또는 투표 메커니즘으로 결합하여 최종 감정 예측을 생성합니다.

두 가지 주요 접근 방식을 결합하면 미묘한 감정 표현이나 변화하는 언어 사용이 중요한 영역에서 더 나은 결과를 도출할 수 있습니다. 따라서 하이브리드 시스템에서 복잡성과 성능 간의 적절한 균형을 맞추기 위해 세밀한 조정과 통합이 필요합니다.

감정 분석은 다음을 식별함으로써 기업에 실행 가능한 인사이트를 제공합니다.

• 사용된 언어의 극성(긍정적, 중립적, 부정적)
• 소비자 응답에 담긴 감정 어조(예: 분노, 기쁨 또는 슬픔)
• 어조가 긴급함을 전달하는지 여부
• 소비자의 의도 또는 관심 수준

자동화된 의견 마이닝의 한 형태인 감정 분석은 다양한 비즈니스 활용 사례를 지원할 수 있습니다.

기업은 소셜 플랫폼, 블로그 게시물 및 다양한 토론 또는 리뷰 포럼에서 댓글, 리뷰 및 언급을 수집하고 분석함으로써 자사 브랜드에 대한 인식을 파악할 수 있습니다. 감정 분석 도구는 이러한 과정을 자동화하고 확장할 수 있습니다. 

데이터 소스에는 다음이 포함될 수 있습니다.

• 소셜 미디어(X, 인스타그램 댓글)
• 리뷰 사이트(Yelp, Google 리뷰)
• 포럼과 블로그
• 앱 스토어 리뷰

이러한 데이터에 감정 분석을 적용해 생성된 인사이트는 기업이 긍정적인 피드백의 패턴을 감지하고, 부정적인 피드백의 문제점을 식별하며, 긴급성과 감정의 강도를 평가할 수 있도록 돕습니다.

마케팅 팀은 이러한 접근 방식을 자주 활용하여 메시지 전략을 개선하고 브랜드 인지도와 인기도를 모니터링합니다.

감정 분석은 개별 브랜드 감정을 넘어 전체 시장, 산업 또는 고객 세그먼트에 대한 고차원적이고 종합적인 인사이트를 추출할 수 있는 신뢰할 수 있는 도구입니다.

일반적인 데이터 소스에는 다음이 포함됩니다:

• 뉴스 기사 및 보도 자료
• 업계 보고 및 분석가 논평
• 금융 뉴스와 주식 시장 토론
• 블로그와 포럼
• 제품 및 서비스 평가
• 설문조사 및 피드백 데이터

감정 분석 애플리케이션은 이러한 데이터 소스를 사용하여 시장 감정 추세를 정량화하고, 이를 통해 위험 평가와 제품 전략 수립에 필요한 인사이트를 제공합니다.

감정 분석을 이커머스 플랫폼에 통합하면 제품 검색 및 필터링 기능이 개선될 수 있습니다. 앞서 언급한 소셜 미디어 및 리뷰 외에도 추가 데이터 소스에는 다음이 포함될 수 있습니다.

• 사용자 탐색 경로가 기록된 웹 서버 로그와 감정 레이블이 지정된 세션 녹취록이 결합된 데이터
• 감정 태그가 연결된 IoT 장치 로그(예: 내장 앱을 통해 고객 피드백이 수집되는 스마트 홈 기기)
• 증강 현실(AR) 제품의 상호작용 피드백(사용자의 음성 코멘트가 기록되고 감정 분석이 적용됨)
• 전 세계 고객 지원 커뮤니케이션에서 수집된 다국어 감정 데이터

다양한 텍스트 및 반정형 데이터 소스에서 감정 신호를 집계 및 분석하는 것은 브랜드와 제품에 대한 인식이 경쟁사와 비교해 어느 수준인지 벤치마킹하는 데 활용될 수 있습니다.

통상적이지 않은 데이터 소스의 예는 다음과 같습니다.

• 특허 출원 및 기술 백서에서 감정이 담긴 언어를 추출 
• 실적 발표 통화 녹취록에서 감정 변화와 투자자 신뢰 신호를 분석
• 감정 주석이 포함된 고객 불만 티켓 및 해결 로그
• 멀티미디어 전사본에서 NLP 기법으로 측정된 인플루언서 콘텐츠 및 추천에 대한 감정

감정 분석은 본질적으로 복잡하고 모호하며 끊임없이 진화하는 인간 언어에 대한 이해를 기반으로 합니다. 이로 인해 자동화된 시스템이 텍스트를 정확하게 해석하는 것이 어려운 과제가 됩니다.

기업 간(B2B) 리뷰에서 엔터티 비모호화

서로 다른 엔터티(주체)를 향한 감정을 구분하는 것은 특히 경쟁 환경에서 자주 발생하는 과제입니다. 예를 들어 B2B 리뷰에서는 회사와 경쟁사를 설명하는 데 유사한 표현이 사용될 수 있지만 각각에 대한 감정은 구분되어 해석되어야 합니다.

감정 분석 도구에 엔터티 비모호화 기능이 부족할 경우 실제로는 경쟁사를 언급하는 문장에 나타난 긍정적 감정이 귀사에 잘못 연결될 수 있습니다.

반어적 표현, 풍자, 문맥

반어와 풍자 표현을 감지하고 이해하는 것은 감정 분석에서 여전히 중요한 과제입니다.

이러한 표현 방식은 긍정적인 단어를 사용해 부정적이거나 반대되는 의미를 전달하며 종종 명확한 텍스트 단서 없이 사용되기도 합니다. 이러한 모호성은 자동 감정 분류를 복잡하게 만들 수 있습니다.

감정은 맥락에 크게 의존하며 동일한 문구라도 질문이나 상황에 따라 감정의 극성이 달라질 수 있습니다.

풍자와 반어적 표현을 처리하려면 문맥 인식형 모델(트랜스포머) 및/또는 어조나 시각적 단서를 통합하는 멀티모달 분석과 같은 고급 기술이 필요합니다.

문맥에 따라 달라지는 감정 분류는 응답을 정확히 해석하기 위해 프롬프트나 대화 이력을 통합하는 방식에 자주 의존합니다.

주관성

감정 분석의 주요 과제 중 하나는 언어의 주관성입니다. 문화에 따라 유머, 관용적 표현 그리고 방언의 차이가 의미를 변화시킬 수 있습니다.

어휘 및 구문상의 차이로 인해 특정 언어 변형이나 문화에 맞춰 학습된 감정 모델은 다른 언어 변형이나 문화에 적용할 경우 성능이 저하될 수 있습니다.

감정 분석을 성공적으로 적용하기 위해서는 지역에 맞게 조정된 학습 데이터와 문화적으로 특화된 어휘와 같은 현지화 전략이 필수적입니다.

감정 분석은 사용자에게 실행 가능한 인사이트를 제공합니다. 도구로서의 장점은 다음과 같습니다.

대규모 고객 감정 마이닝

감정 분석 도구는 다양한 텍스트 소스로부터 실시간 분석을 제공합니다.

주요 사용 사례는 다음과 같습니다:

• 부정적인 감정 급증 및 신규 문제의 조기 감지
• 시기적절한 경고를 통한 위기 관리
• PR 전략 수립에 필요한 인사이트 제공

이러한 맥락에서 텍스트 마이닝 프로세스에는 종종 지속적인 데이터 수집 및 전처리 그리고 데이터 시각화 도구의 활용이 포함됩니다. 감정 점수 산정에 이상 징후 탐색 알고리즘을 사용하면 급격한 변화를 감지할 수 있습니다.

예측 분석 모델을 지원합니다

감정 분석 결과는 예측 모델링 파이프라인의 엔지니어링 특성(Features)으로 통합될 수 있습니다.

일반적인 워크플로에는 다음이 포함됩니다.

• NLP 모델이나 API를 활용해 비정형 텍스트에서 감정의 극성(Polarity) 및 강도(Intensity) 점수를 추출
• 특정 시간 구간 또는 고객 세그먼트별로 점수를 집계하여 수치형 특성(Numeric Features) 생성
• 감정 기반 특성과 CRM 기록, 거래 로그 등 구조화된 데이터 세트를 결합
• 결과를 예측하기 위한 지도 학습 기반 머신러닝 모델(랜덤 포레스트, 그래디언트 부스팅, 딥 뉴럴 네트워크 등) 학습
• AUC-ROC, F1-score 또는 RMSE 등의 메트릭을 활용하여 모델 검증

제품 및 서비스 개발 개선

감정 분석을 활용하면 지속적인 피드백 모니터링을 통해 데이터 기반의 제품 개선 주기를 보다 효율적으로 운영할 수 있습니다.

• API 또는 스트리밍 플랫폼을 통해 리뷰, 지원 티켓, 포럼 등 다양한 채널에서 고객 피드백을 실시간으로 수집할 수 있습니다.
• 토큰화, 표제어 추출, 불용어 제거 등의 NLP 전처리 단계를 거친 뒤, 규칙 기반 또는 ML 기반 모델을 사용해 감정 분류를 수행할 수 있습니다.
• 감정 태그가 부착된 피드백을 시계열 또는 문서형 데이터베이스에 저장하여 트렌드 분석에 활용할 수 있습니다.
• 감정 분포나 데이터 급증과 같은 주요 메트릭을 시각화하는 대시보드를 구축할 수 있습니다.

감정 분석 시스템을 직접 구축하거나, 외부 제공업체를 활용하거나, 애플리케이션에 통합 가능한 애드온을 구매할 수 있습니다. 다양한 서비스형 소프트웨어(SaaS) 감정 분석 도구를 사용할 수 있고, Python이나 Java용 오픈 소스 라이브러리를 사용하여 자체 도구를 구축할 수도 있습니다. 클라우드 서비스 제공자는 자체 AI 제품군을 제공하는 경우가 많습니다.

• 자체 감정 모델 구축
  spaCy 또는 NLTK와 같은 NLP 라이브러리를 사용하여 자체 감정 모델을 구축할 수 있습니다. 커스터마이징이 필요하다면 직접 구축 방식이 전처리, 특성 엔지니어링, 모델 아키텍처 그리고 학습 데이터에 대한 완전한 통제를 가능케 합니다. 자체 감정 모델을 구축하려면 NLP 및 머신 러닝에 대한 전문 지식뿐 아니라, 데이터 레이블링, 모델 학습 및 조정에 상당한 투자가 필요합니다. 도메인 특화 언어나 세분화된 감정 뉘앙스에 맞춘 모델이 필요한 경우 직접 구축 방식이 적합할 수 있습니다.
• 턴키 SaaS 감정 분석 솔루션 활용
  사전 패키지 솔루션에는 Amazon Comprehend, Google AI 또는 Azure의 Cognitive Services가 포함될 수 있습니다. 이러한 SaaS 기반 감정 분석 도구의 주요 장점에는 빠른 배포, 관리형 인프라, 사전 학습된 모델 그리고 확장 가능한 API 등이 있습니다. 다만 모델 내부에 대한 제어가 제한되기 때문에 추가 학습을 통한 미세 조정이나 도메인 적응이 필요할 수 있습니다.
• 타사 감정 분석 모델 통합
  Elastic의 Search AI Platform과 같은 플랫폼에 맞춤형 또는 오픈 소스 감정 분석 모델을 업로드할 수도 있습니다. Elasticsearch의 색인 및 검색 기능을 감정 점수화와 결합하여 대규모 텍스트 데이터 세트를 분석할 수 있습니다. 이를 통해 사전 학습된 모델에 사용자 지정 규칙 세트 또는 ML 개선 기능을 결합하여 하이브리드 아키텍처를 개발할 수 있습니다. 신뢰할 수 있는 기존 검색 및 분석 인프라를 활용하면서 자체 모델 관리의 유연성을 원한다면 이 방법이 적합합니다.
• 클라우드 서비스 제공자의 AI 제품군
  클라우드 서비스 제공자의 AI 및 ML 제품군에는 일반적으로 감정 분석 기능이 포함되며 이는 광범위한 NLP 기능의 일부로 제공됩니다. 이러한 솔루션은 다른 서비스와의 간편한 통합과 지속적인 모델 업데이트를 제공합니다. 그러나 공급업체 종속성과 제한적인 사용자 맞춤 기능은 문제가 될 수 있습니다.

Elastic을 사용하여 감정 분석 도구를 시작하면 직접 의견 마이닝을 수행하고 필요한 실행 가능 인사이트를 확보할 수 있습니다.  

• Elastic을 활용한 NLP 감정 분석 배포 방법 알아보기
• ELK Stack을 이용한 Observability 및 감정 분석
• 데이터를 실행 가능한 인사이트로 전환하는 방법
• 텍스트 분류 종합 가이드
• NLP와 LLMs
• 머신 러닝과 AI

알고리즘: 컴퓨터가 따르는 프로세스 또는 규칙 집합

인공 지능: 기계와 컴퓨터 시스템에 의한 인간의 지능 시뮬레이션

전산 언어학: 언어와 음성을 분석하고 합성하기 위해 컴퓨터 과학 이론을 사용하는 언어학의 한 분야

상호 참조 해소: 텍스트 내에서 명명된 엔터티에 속하는 모든 단어를 식별하는 과정

표제어 추출: 같은 단어의 다른 굴절된 형태들을 함께 묶는 과정

어휘: 언어의 어휘 단어 목록

머신 러닝: 데이터와 알고리즘을 사용하여 컴퓨터가 프롬프트 없이 학습할 수 있게 하는 인공지능의 하위 분야

개체명 인식(NER): 단어를 고유명사나 엔터티로 식별하는 과정

자연어 처리: 인공 지능의 하위 집합으로서 컴퓨터 시스템이 인간의 언어를 이해하도록 돕는 것과 관련된 컴퓨터 과학의 한 분야

품사 태깅: 텍스트 내 단어가 어떤 품사(예: 명사, 동사, 형용사 등)에 속하는지를 분류하기 위해 해당 단어에 품사 정보를 부여하는 과정 (예: apple = 명사, slowly = 부사, closed = 형용사)

어간 추출: 단어를 어간 또는 어근 형태로 줄이는 과정

토큰화: 텍스트를 토큰이라고 하는 더 작은 단위로 분리하는 과정

단어 의미 중의성: 문맥에서 사용되는 단어의 의미를 식별하는 과정

¹ Webb, G.I. "Naïve Bayes." Encyclopedia of Machine Learning and Data Mining, Springer, 2017년, https://doi.org/10.1007/978-1-4899-7687-1_581.