책임 있는 변혁: 공공 부문을 위한 에이전틱 AI

공공 부문에서 AI 에이전트를 안전하게 배포할 수 있을까요? '그렇다'고 간단히 답할 수도 있지만, 이는 책임감과 거버넌스가 운영 방식에 의도적으로 내재되어 있을 경우에만 가능합니다.

데이터는 AI의 기반입니다. 하지만 공공 부문에서 데이터는 매우 민감하며, 데이터 유출은 국가 안보에 중대한 영향을 미칠 수 있습니다. 데이터 보안은 도입을 가로막는 가장 큰 장벽입니다. 이러한 우려는 당연히 망설임을 일으키지만, AI가 가져올 수 있는 잠재력에 대한 기대감도 함께 존재합니다.

에이전틱 AI는 책임감 있게 배포될 때 전통적인 IT 워크플로우를 현대화하고 내부 프로세스를 간소화하며 조직이 더 효율적으로 운영되도록 도울 수 있습니다. AI 에이전트는 최소한의 인간 상호작용으로 자율적으로 작동합니다.

공공 부문에서는 에이전틱 AI가 시민 서비스를 향상시키고 투명성을 강화하며 기관과 공공 간의 신뢰 격차를 줄이는 동시에 해당 서비스를 제공하는 공무원의 일상 경험도 개선할 수 있습니다.

네덜란드의 한 국방 기관인 물자 및 IT 사령부(COMMIT)의 DATA 부서가 설득력 있는 사례를 제시합니다. 이 기관은 폐쇄형 네트워크에서 작동하는 자체 대형 언어 모델(LLM)을 개발했습니다. 시스템을 인터넷으로부터 격리함으로써 민감한 정보를 안전하게 보호할 수 있었습니다.

AI를 피할 수 있는 방법은 없습니다. 생성형 AI 도구는 민간인들도 널리 이용할 수 있으며, 직원들은 이미 일상 생활에서 이를 실험하고 있습니다. 따라서 공공 부문 조직은 단순히 거부할 수 없습니다.

공공 에이전틱 AI 도구에 대한 제한 없는 액세스는 매우 민감한 시민 데이터를 위험에 빠뜨릴 수 있습니다. 적절한 감독이 없다면 조직은 개인정보 보호 위반, 규정 준수 실패, 데이터 유출에 노출될 수 있습니다.

완전한 폐쇄는 종종 섀도우 AI 에이전트로 이어집니다. 직원들은 감독 없이 승인되지 않은 도구를 사용하게 되고, 가시성이나 거버넌스 없이 데이터 유출의 위험이 높아집니다.

해결책은 조직의 특정 위험 프로필과 위험 허용 범위를 기반으로 AI 접근 스펙트럼에서 조직이 어디에 위치해야 하는지에 대한 의도적이고 전략적인 선택을 하는 데 있습니다.

보안이 내재된 인프라가 핵심입니다.

• 필요한 경우 에어 갭 또는 로컬에서 호스팅되는 LLM

• 제어된 배포 파이프라인

• 누가 어떤 도구를 어떻게 사용할 수 있는지 정의하는 명확한 거버넌스

개방형 표준을 기반으로 구축하면 장기적인 복원력이 더욱 강화되고, 특정 공급업체에 종속되는 것을 방지하며, 솔루션의 미래 경쟁력을 확보할 수 있습니다.

미래 대비는 기술적인 측면과 조직적인 측면을 모두 고려해야 한다는 것을 명심하세요. 내부적으로 이해하거나 관리하거나 개선할 수 없는 기술은 외부 공급업체에 대한 의존성을 야기합니다.

내부 AI 지식 및 전문성 허브를 구축함으로써 조직은 도구를 비판적으로 평가하고, 책임감 있게 구현하며, 지속적으로 최적화하는 역량을 개발할 수 있습니다. 사용자 교육과 내부 전문가 양성에 투자함으로써 외부 공급업체에 대한 의존도를 줄이고 장기적인 회복력을 확보할 수 있습니다.

공공 부문에서 AI 에이전트를 구현하는 것은 데이터 보안, 정보 접근 통제, 관련성과 정확성에 대한 미션 크리티컬 요구 등 주요 과제에 달려 있습니다. 이것이 바로 Retrieval-Augmented Generation(RAG)이 필요한 이유입니다.

일반적인 생성형 AI 모델과의 상호 작용은 민감한 데이터 노출에 취약하며, 모델이 오래된 인터넷 데이터에 의존하기 때문에 종종 환각 현상을 생성할 수 있습니다. 모델을 에어 갭으로 분리하고 지식 기반을 루프에 추가함으로써, 모델이 출력을 생성하는 데 사용하는 데이터를 제어할 수 있으며, AI 출력에서 액세스를 통합하고 추적성을 확보합니다.

즉, RAG는 조직의 검증된 지식 기반에 에이전틱 AI 응답을 기반으로 하여 모델이 승인된 내부 데이터만을 기반으로 답변을 생성할 수 있도록 합니다. 

그러나 RAG를 구현하면 새로운 과제가 생깁니다. 효과적인 RAG 배포를 위해서는 데이터에 대한 접근성이 필요하며, 대부분의 공공 부문 조직에서 이러한 데이터는 고도로 단편화되어 있습니다. 정형 데이터베이스, NoSQL 시스템 및 방대한 양의 비정형 문서가 생태계 전반에 걸쳐 흩어져 있습니다. 

데이터 메시 접근 방식은 이러한 분산된 데이터 세트를 연결하여 AI 애플리케이션을 위한 통합된 지식 계층으로 기능할 수 있도록 지원합니다. 그 결과 데이터 주권을 손상시키지 않으면서도 통제된 RAG 환경 내에서 AI 기반 검색 솔루션이나 공격 발견과 같은 고급 사용 사례를 지원할 수 있는 안전하고 지능적인 검색 및 어시스턴트 기능이 탄생합니다.

정부 기관의 에이전틱 AI는 가능하지만 신중하고 집중적인 접근이 필요합니다. 공공 부문에서 에이전틱 AI를 활성화하려면 도구 생태계를 구축해야 합니다. 그런 다음 LLM은 어떤 답변에 어떤 도구를 사용할지 결정합니다. 이는 매우 복잡해질 수 있습니다.

인텔리전트 통합을 사용하려면 다음을 수행해야 합니다.

• 기존 시스템과 통합되는 솔루션을 찾으세요. 통합되지 않는 독립형 시스템은 결국 더 많은 문제를 야기합니다. 

• 제품을 조사할 때 AI 성숙도를 고려하세요. 과대 광고에 현혹되지 마세요.

• 점진적으로 통합하세요. 성공 기준에 따라 정기적으로 점검하는 소규모의 구체적인 배포를 통해 통제력을 유지할 수 있습니다.

• 인간 참여를 유지하세요. 이는 통합 가시성, 추적 가능성 및 책임성과 관련된 문제입니다.

등록하여 RAG 및 에이전틱 AI에 책임감 되찾기 웨비나를 시청하고 AI 도입 전략, 모범 사례 및 사용 사례에 대해 자세히 알아보세요. 또는 저희에게 문의해 주세요.