Elastic Graph를 사용하여 imec.IC-link 파트너 네트워크 평가

이 블로그에서는 비즈니스 분석 활동에 사용되는 X-Pack 익스텐션을 비롯하여 Elastic Stack에 대한 경험을 공유하고자 합니다. 다른 많은 흥미로운 결과들 외에도, 우리는 소셜 네트워크로서의 비즈니스 파트너 네트워크에 대한 독자적인 분석을 제공하고 이를 파트너 간의 상호 작용 강도를 나타내는 분리 정도 파라미터에 따라 정량화할 수 있었습니다.

Imec.IC-link – Imec의 반도체 제조 부서

Imec은 벨기에 루벤에 본사를 둔 세계 최고의 나노전자 R&D 센터입니다. 현재, 약 3,500명의 연구원이 10nm 미만의 상보성 금속 산화막 반도체(CMOS)부터 웨어러블 의료 기기, 이미지 센서 및 비전 시스템, 태양 전지, 무선 통신, 질화 갈륨 전력 전자제품에 이르기까지 광범위한 주제를 연구하고 있습니다.

imec.IC-link 부서는 imec의 반도체 제조 부서입니다. 우리는 혁신가, 기업가 및 대학이 실리콘으로 아이디어를 실현하도록 지원합니다. 소규모 MPW(Multi-Project Wafer) 프로토타입 제작부터 대량 생산에 이르기까지 고객이 볼륨과 관계없이 최첨단 파운드리를 사용할 수 있도록 지원합니다. 또한 전체 주문형 반도체(ASIC) 가치 체인 전체에 걸쳐 광범위한 관련 서비스를 제공합니다. 현재 300개 이상의 중소기업(SME)과 약 700개의 대학에 서비스를 제공하고 있으며, 매년 500개 이상의 반도체 생산을 지원하고 있습니다.

Elastic을 사용하는 이유

20년의 역사 동안 imec.IC-link는 대한 양의 기술 데이터와 비즈니스 데이터를 수집했습니다. 여기에는 모든 파운드리 반도체 제조 및 관련 서비스와 연관된 3TB 이상의 기술 데이터가 포함됩니다. 복잡한 최신 기술로 인해 유지 관리해야 하는 데이터 세트의 크기가 빠르게 증가하고 있습니다. 또한 당사의 비즈니스 활동은 상당한 양의 데이터를 생성하며 이는 확장되는 파트너 네트워크와 함께 계속해서 증가하고 있습니다. 재무 및 CRM 정보의 저장, 유지 관리 및 처리를 위한 표준 imec 인프라는 강력한 SQL 구현을 기반으로 하며 당사의 요구 사항을 충족하기에 적합합니다. 그러나 기술과 비즈니스 데이터의 병합을 활용할 수 있는 유연하고 예측 가능하며 규범적인 분석에 대한 우리의 요구는 현재 imec 인프라에서 제공할 수 있는 수준을 훨씬 뛰어넘고 있습니다.

유지 관리해야 하는 대량의 이기종 데이터를 처리할 수 있는 새로운 소프트웨어 인프라에서 생성된 비즈니스 분석을 통해 비즈니스 성장 잠재력을 탐색하는 프로그램을 마련하기로 결정했습니다. 기존 비즈니스/재무 데이터와 기술 데이터를 결합하면 더 많은 통찰력을 얻고 이전에는 가능하지 않았던 분석을 생성할 수 있습니다. 그러나 비즈니스/재무 데이터는 기존의 SQL 표 형식 데이터 세트 형태로 제공되며, 기술 데이터는 매우 다양한 형태로 나타납니다. 여기에는 텍스트 문서, 표, 프레젠테이션, 심지어 이메일 메시지 및 다른 많은 형태(대개 독점 데이터 형식)가 포함됩니다. 이 데이터를 구조화된 표 형식으로 변환하는 것은 매우 지루하고 번거로운 작업이며, 자유 형식 텍스트 문서와 같은 일부 형식은 변환이 불가능하기도 합니다. 우리는 이렇게 다양한 데이터를 저장하고 검색할 수 있는 방법을 찾아야 했습니다. 그래서 Elastic Stack을 기반으로 분산 문서 저장 공간과 분산 검색 및 분석 엔진을 결합한 솔루션을 구축했습니다. imec.IC-link 비즈니스 분석 봇(BA 봇)이라는 새로운 인프라의 핵심은 다음과 같습니다.

이 인프라는 이기종 데이터를 염두에 두고 설계되었습니다. 여러 소스에서 다양한 형식의 데이터가 Elastic Stack에 입력됩니다. SQL 유사 데이터 세트는 먼저 중간 SQL 스토리지에 저장된 다음 Logstash를 사용해 변환된 후 Elasticsearch로 전송됩니다. Logstash는 데이터를 수집하여 변환한 후 Elasticsearch로 전송할 수 있는 데이터 처리 파이프라인입니다. 또한 우리는 Logstash 파이프라인을 활용하여, 고객이 자사의 반도체 칩 구현에 적합한 기술을 선택할 수 있도록 지원하는 당사의 웹 기반 도구 세트에서 가져온 로그 데이터를 삽입할 수 있습니다. 평문으로 작성된 비즈니스 및 기술 문서를 삽입하기 위해 Java 클라이언트 API를 통해 Elastic Stack에 액세스하는 지원 프레임워크를 Java로 개발했습니다.

외부 소스에서 데이터를 수집하여 imec 내부 데이터와 병합하는 기능은 당사 인프라의 또 다른 중요하고 유용한 측면을 나타냅니다. 예를 들어, EU Open Data Portal에 공개되는 유럽 리서치 프레임워크 Horizon 2020(H2020)에 대한 데이터는 학계 및 SME 영역에서 잠재적인 imec.IC-link 고객을 검색할 수 있는 흥미로운 샘플입니다. 중간 SQL 스토리지와 Logstash를 통해 H2020 데이터 세트를 연결하고 몇 가지 유용한 인덱스를 만들어 imec.IC-link 고객 인덱스를 완성했습니다. 유용한 외부 데이터 소스의 또 다른 예는 Google 사용자 정의 검색 엔진의 도움을 받아 수집한 회사 정보를 Elasticsearch 클러스터로 가져와서 파트너에 대한 표준 CRM 정보를 완성하는 것입니다. 일반적으로 Elastic Stack을 기반으로 하는 아키텍처는 쉽게 도입하여 다양한 외부 데이터 소스를 사용하도록 할 수 있습니다. 상대적으로 적은 노력으로 내부 데이터와 외부 데이터가 겹친 병합된 인덱스를 만들 수 있으며, Kibana를 사용하여 대화형 비즈니스 분석 기법을 병합된 인덱스에 적용할 수 있습니다.

X-Pack Graph 탐색 및 시각화

마지막으로 분석 인프라의 기능을 확장하기 위해 Elastic에서 제공하는 X-Pack을 활용하기로 결정했습니다. X-Pack은 원래 Elastic Stack의 기능을 확장하는 상용 플러그인 세트입니다. 특히, Elastic Graph를 사용하면 다른 방법으로는 검색할 수 없었던 결과를 보여주는 시각화를 구축할 수 있습니다. 이를 통해 문서들 사이의 관계를 발견할 수 있으며, imec.IC-link 환경에서 이는 프로젝트, 고객 등 사이의 링크를 발견한다는 의미입니다.

또한 Graph는 기존 데이터 인덱스를 기반으로 작동하므로 적응이나 수정이 전혀 필요하지 않습니다.

이 블로그에서는 파트너 네트워크에 대한 이해 증진과 잠재 고객을 위한 활동을 중심으로 Graph의 유용성을 설명하는 두 가지 사용 사례를 제시합니다.

처음에는 H2020 프로젝트와 참가자의 네트워크를 분석하기로 했습니다. 우리는 IEEE 분류법을 사용하여 프로젝트를 분류하고 클러스터링했습니다. 또한 Elastic Graph 분석을 통해 가장 널리 사용되는 연결과 가장 관련성이 높은 연결을 구별할 수 있습니다. 가장 관련성이 높은 연결은 전경과 배경(모든 문서) 세트를 비교할 때 상대 빈도의 변화에 따라 결정됩니다. 이를 통해 연구 기관 및 대학과 같은 이른바 초연결된 엔티티(수백 가지의 다양한 프로젝트에 참여)는 물론 현지 기업 및 연구소(일반적으로 ‘눈에 덜 띄며’, 수행하는 활동이 매우 집중적이고 선진적임)를 식별할 수 있습니다.

그림 2는 imec의 위치에 초점을 맞춘 H2020 프레임워크의 양자 컴퓨팅 관련 프로젝트 및 참가자에 대한 Graph 분석을 보여줍니다. 우리는 몇 가지 선택된 주제(양자 컴퓨팅, 뉴로모픽 엔지니어링 등)에 대해 여러 H2020 Graph 분석을 실시했고, 관련 프로젝트 및 참가자와 검사 대상인 주제와의 연관성을 비롯한 대표 대시보드를 추출했습니다. 이러한 대시보드는 imec.IC-link뿐만 아니라 imec의 연구팀이 잠재적 연구 파트너를 선별하는 데도 매우 유용합니다.

Imec.IC-link 파트너 네트워크 분석

두 번째 사용 사례는 사업 개발에 더욱더 중요합니다. 우리는 imec.IC-link의 파트너 네트워크에 Elastic Graph 기능을 적용했습니다. 이 파트너 네트워크는 당사의 학계 및 SME 고객들과 기술 imec.IC-link를 보유한 대규모 반도체 제조업체들로 구성되어 있습니다. IP 브로커, ASIC 디자인 하우스, 패키징, 테스트 및 측정 서비스를 제공하는 회사 등 전체 ASIC 가치 사슬에 따라 당사의 오퍼링을 완성할 수 있도록 지원하는 서비스 및 소재 공급업체의 많은 다른 파트너들도 이 네트워크에 포함됩니다. Imec.IC-link는 고객, 공급업체 및 반도체 IC 제조업체들을 통합하고 imec.IC-link에서 경험이 풍부한 서비스팀이 주도하는 공동 프로젝트 작업을 수행할 수 있는 기회를 제공합니다. 이를 통해 엔지니어링 및 비즈니스 개발팀 내에서 경험을 공유하고 지속적으로 성장할 수 있는 고유한 에코시스템을 구축하고 있습니다. Elastic Graph 덕분에 역사상 처음으로 파트너 네트워크를 시각화하고 네트워크 내에 연결된 고객 간의 소위 분리 정도를 계산할 수 있게 되었습니다. 그림 3은 2016년 사업 활동을 기반으로 한 네트워크의 그래프 분석을 보여줍니다.

당사의 비즈니스 파트너 네트워크는 모든 유형의 파트너십을 포괄합니다. 파란색 점은 학계 및 SME 고객을 나타내고, 녹색 점은 소재 및 서비스 공급업체(대규모 반도체 파운드리 등)를 나타내며, 주황색 점은 imec.IC-link가 2016년에 준비한 모든 프로젝트를 나타냅니다. 프로젝트 종류는 다양합니다. 예를 들어, 고객이 많은 프로젝트(일반적으로 학술 프로젝트)의 경우 imec.IC-link는 많은 디자인을 특정 기술과 파운드리의 MPW 프로젝트에 통합합니다. 또한 한두 명의 고객만 참여하는 프로젝트도 있으며, 일반적으로 이미 전체 볼륨을 생산해야 하는 SME 고객이 이에 해당합니다. 마지막으로, 우리는 또한 우주 관련 프로젝트와 같이 전문 기술과 서비스를 제공하는 공급업체들이 많이 필요한 고유한 프로젝트들을 관리하고 있습니다.

우리가 물었던 주요 질문은 각 고객 사이의 분리 정도는 어떻게 되는가입니다. 다시 말해, 각 고객을 다른 고객에 연결하려면 평균 몇 개의 홉을 만들어야 하는가입니다. 파트너 네트워크의 적절한 크기 덕분에 우리는 대규모 그래프 결과의 경우에 일반적으로 필요한 사전 확률론적 기반의 알고리즘을 채택할 필요 없이 너비 우선 그래프 통과 알고리즘을 직접 적용할 수 있었습니다. 회계 연도마다 반복되는 결과에 따르면 두 고객 사이의 평균 홉 수가 2.6개임을 확인할 수 있습니다. 이 상대적으로 낮은 숫자는 파트너 네트워크의 밀도가 높음을 나타내며 동시에 엔지니어링 지원팀을 통해 고객이 점진적으로 구축된 대규모 경험 데이터베이스 및 공급업체가 제공하는 모든 가용 기술에 쉽게 액세스할 수 있음을 보장합니다.

결론

이 블로그에서는 우리가 비즈니스 분석 인프라의 핵심 구성 요소로 사용하고 있는 X-Pack이 포함된 Elastic Stack을 사용한 훌륭한 경험을 공유하고자 했습니다. Elastic Stack을 사용하면 기존의 비즈니스 분석 결과를 대화형 및 사용자 친화적인 방식으로 생성할 수 있습니다. Elastic Graph를 사용하면 특별한 데이터베이스 구조를 구축하거나 클러스터에 이미 저장된 데이터를 재구성할 필요 없이 파트너 네트워크 및 유럽 리서치 프레임워크 H2020과 같은 기타 관련 에코시스템에서 중요한 관계를 검색할 수 있습니다. 이 그래프 분석 덕분에 파트너 네트워크의 밀도를 표현하거나 특정 주제에 초점을 맞추어 H2020의 참가자 네트워크를 처리할 수 있었습니다.

Petr Dobrovolný | 소프트웨어 엔지니어

Petr Dobrovolný는 Brno University of Technology의 마이크로일렉트로닉스 학과에서 1987년과 1998년에 각각 석사와 박사 학위를 받았습니다. 박사 과정에서는 KUL의 ESAT-MICAS 부서와 협력하여 대형 아날로그 회로의 상징적 분석 문제를 조사했습니다. 1999년부터 imec에서 근무하면서 혼합 신호 및 디지털 전자 시스템의 분석 및 시스템 레벨 설계에 중점을 둔 연구 개발 프로젝트에 참여했습니다. 현재는 imec.IC-link의 비즈니스 및 기술 전략 그룹에 속해 있습니다. 그는 내부 IC-link 비즈니스, 운영 및 기술 데이터를 기반으로 다양한 기술 및 예측 분석 결과를 생성하기 위한 비즈니스 분석 프레임워크의 설계 및 구현을 담당하고 있습니다.