지금 크롤링을 시작하십시오!
터미널과 Elasticsearch로 웹 콘텐츠용 크롤러를 설정하고 배포하세요.
Elasticsearch - 가장 널리 배포된 벡터 데이터베이스
또는
공개 코드로 제어
Elastic Open Web Crawler(오픈 크롤러)를 필요에 맞게 사용자 정의하세요. 대용량 문서를 처리하고, 변환을 실행하고, 원하는 형식으로 데이터를 검색하면서 프로젝트를 검사하고, 수정, 기여하세요.
유연하고 빠른: Open Crawler의 장점
제한 없는 인덱스 이름 지정과 크롤링 전에 사용자 정의 매핑을 사용할 수 있는 기능의 이점을 누리세요. 크롤링 결과를 한 번에 하나의 웹 페이지가 아닌 Elasticsearch로 일괄 색인하여 성능을 향상하세요.
배포를 손쉽게 관리
간단한 CLI 명령어로 오픈 웹 크롤러를 프로그래밍 방식으로 관리하세요. Terraform이나 Puppet을 사용하여 배포를 쉽게 확장하거나 축소할 수 있으며, 필요에 따라 배포를 시작하거나 중지할 수 있습니다. 불필요한 종속성을 제거하여 관리를 간소화하세요. 서버리스 환경을 포함하여 어디에서나 배포하고 작고 간단한 도구로 쉽게 연결할 수 있습니다.
