OpenSearch

OpenSearch는 Elasticsearch 7.10.2 및 Kibana 7.10.2에서 파생된 커뮤니티 주도형 오픈소스 검색 및 분석 스위트입니다. Elastic이 상업적 사용을 제한하도록 라이선스를 변경했을 때, AWS와 오픈소스 커뮤니티는 Apache 2.0 라이선스 하에 진정한 오픈 대안을 유지하기 위해 프로젝트를 포크했습니다. OpenSearch는 분산되고 확장 가능한 아키텍처를 통해 강력한 전체 텍스트 검색 기능, 로그 및 이벤트 데이터 분석, 애플리케이션 성능 모니터링, 보안 분석을 제공합니다. OpenSearch Dashboards(Kibana의 포크)를 통해 사용자는 풍부한 데이터 시각화, 쿼리 구축 및 대시보드 생성 도구를 얻을 수 있습니다. 독점 라이선스 제한 없이 엔터프라이즈급 검색이 필요한 조직에서 신뢰하는 OpenSearch는 전자상거래 제품 검색부터 보안 정보 및 이벤트 관리(SIEM) 시스템에 이르는 사용 사례를 지원합니다.

일반적인 사용 사례

전자상거래 및 콘텐츠 플랫폼은 OpenSearch를 사용하여 패싯 탐색, 자동 완성 제안, 자연어 쿼리를 통해 빠르고 관련성 높은 제품 검색을 제공하여 전환율과 사용자 경험을 향상시킵니다. DevOps 및 SRE 팀은 OpenSearch를 중앙 집중식 로그 집계 및 분석에 배포하여 애플리케이션, 서버 및 인프라에서 로그를 수집하고 문제를 해결하고 이상 징후를 감지하며 실시간 모니터링 대시보드를 통해 시스템 상태를 유지합니다. 보안 운영 센터는 OpenSearch를 SIEM(보안 정보 및 이벤트 관리)에 활용하여 보안 로그를 수집하고, 패턴 매칭 및 이상 징후 감지를 통해 위협을 탐지하며, 강력한 검색 및 상관 관계 기능을 통해 사고를 조사합니다. 데이터 분석가 및 비즈니스 인텔리전스 팀은 OpenSearch Dashboards를 사용하여 메트릭을 시각화하고, 대화형 대시보드를 생성하며, 대량의 구조화 및 비구조화 데이터에서 통찰력을 드러내는 집계 및 분석을 통해 데이터 세트를 탐색합니다.

주요 기능

• 관련성 점수 및 고급 쿼리 DSL을 사용한 전체 텍스트 검색
• 실시간 인덱싱 및 거의 즉각적인 검색 결과
• 수평적 확장성을 갖춘 분산 아키텍처
• 데이터 시각화 및 탐색을 위한 OpenSearch Dashboards
• 데이터 요약을 위한 집계 및 분석
• 애플리케이션과의 쉬운 통합을 위한 RESTful API
• 구조화된, 비구조화된, 지리 공간 데이터 지원
• 수명 주기 정책을 통한 인덱스 관리
• 이상 징후 감지 및 경고 기능
• SQL 및 Piped Processing Language (PPL) 쿼리 지원
• 백업 및 재해 복구를 위한 스냅샷 및 복원
• 클러스터 최적화를 위한 성능 분석기

리소스 요구 사항 및 시작 시간

OpenSearch는 Java 기반 아키텍처와 빠른 검색 성능을 위한 인메모리 작업으로 인해 리소스 집약적인 애플리케이션입니다. OpenSearch는 기술적으로 최소한의 하드웨어에서도 실행될 수 있지만, 이 템플릿은 1GB의 Java 힙 크기로 구성되어 있습니다. 개발 및 소규모 프로덕션 워크로드의 경우 4GB RAM을 갖춘 VPS에서 사용합니다. 소규모 프로덕션 배포(최대 10GB의 인덱싱된 데이터)의 경우 최소 4GB RAM을 권장합니다. 중간 규모 워크로드(최대 100GB의 인덱싱된 데이터)의 경우 4GB 힙과 함께 8GB RAM을 권장합니다. 대규모 프로덕션 배포의 경우 사용 가능한 메모리의 50%로 힙 크기를 조정한 16GB 이상의 RAM을 권장하며, 최대 32GB까지 가능합니다. OpenSearch가 인덱스를 초기화하고 요청을 수락할 준비가 되는 데 초기 시작은 2~5분 정도 소요됩니다. 이 초기화 기간 동안 OpenSearch Dashboards에 연결 오류가 표시될 수 있으며, 이는 정상입니다. OpenSearch는 인덱싱된 데이터를 영구 볼륨에 저장하며 실제 디스크 사용량은 데이터 볼륨 및 인덱스 설정에 따라 달라지므로 충분한 디스크 공간을 계획하십시오.

보안 고려 사항

이 OpenSearch 배포에는 구성된 사용자 이름과 비밀번호를 사용하는 보안 플러그인을 통한 기본 인증이 포함되어 있어, 무단 사용자로부터 OpenSearch Dashboards 및 REST API에 대한 액세스를 보호합니다. OpenSearch Dashboards는 Traefik을 통해 자동 Let's Encrypt 인증서와 함께 HTTPS로 제공되어 UI에 대한 암호화된 액세스를 보장합니다. 컨테이너 간 내부 통신은 비공개 Docker 네트워크를 통해 HTTP를 사용합니다. 보안 패치 및 새로운 기능을 받으려면 OpenSearch 컨테이너를 정기적으로 업데이트하십시오. 데이터 손실을 방지하려면 OpenSearch의 스냅샷 및 복원 기능을 사용하여 자동 백업을 구성하십시오. VPS 방화벽 규칙을 사용하여 OpenSearch API 포트에 대한 네트워크 액세스를 제한하고, 신뢰할 수 있는 IP 주소만 API에 직접 액세스하도록 허용하십시오.

호스팅어 VPS에 OpenSearch를 배포해야 하는 이유

호스팅어 VPS에 OpenSearch를 배포하면 현재 Elasticsearch에 적용되는 독점 라이선스 제한 없이 검색 및 분석 인프라를 완벽하게 제어할 수 있습니다. 전용 VPS 리소스를 통해 OpenSearch는 데이터 볼륨 및 쿼리 속도에 따라 비용이 증가하는 관리형 서비스의 공유 용량을 놓고 경쟁하는 대신 예측 가능한 쿼리 성능과 인덱싱 처리량을 제공합니다. 자체 호스팅은 모든 인덱싱된 데이터, 검색 쿼리 및 분석을 사용자가 제어하는 인프라에 유지하므로, 데이터 상주 요구 사항이 있거나 타사 플랫폼에 저장할 수 없는 민감한 정보를 처리하는 조직에 필수적입니다. Apache 2.0 라이선스는 최신 Elasticsearch 버전과 달리 상업적 제한이나 예상치 못한 라이선스 변경이 없음을 의미합니다. 호스팅어 VPS 성능 계층을 사용하면 더 작은 데이터 세트로 시작하여 데이터가 증가함에 따라 리소스를 확장할 수 있으므로, 필요하지 않은 용량에 대해 관리형 서비스 계층 비용을 지불하는 대신 실제 사용량에 맞춰 인프라 비용을 유연하게 조정할 수 있습니다. Traefik은 OpenSearch Dashboards에 대한 HTTPS를 자동으로 처리하므로, 수동 SSL 구성 없이도 분석 UI에 안전하게 액세스할 수 있습니다.