EKS Logging Mimarisi: CloudWatch vs OpenSearch

Konteyner dünyasında loglar uçucudur. Bir pod silindiğinde logları da silinir. Bu yüzden logları merkezi bir yere toplamak (Log Aggregation) şarttır. Amazon EKS üzerinde log yönetimi için genellikle Fluent Bit ajanı kullanılır ve loglar iki ana hedeften birine gönderilir: CloudWatch Logs veya OpenSearch.

1. Amazon CloudWatch Logs

AWS'in yerel loglama servisidir.

• Avantajları:
  • Tam Entegrasyon: Kurulumu çok basittir. AWS ekosisteminin bir parçasıdır.
  • Serverless: Sunucu yönetimi yoktur. Logları gönderirsiniz, AWS saklar.
  • Container Insights: EKS için özel hazırlanmış performans ve log görünümleri sunar.
• Dezavantajları:
  • Sorgulama: CloudWatch Logs Insights sorgulama dili güçlüdür ama OpenSearch kadar esnek ve hızlı değildir.
  • Görselleştirme: Dashboard yetenekleri sınırlıdır.

2. Amazon OpenSearch Service (Eski adıyla ELK)

Elasticsearch ve Kibana'nın AWS tarafından yönetilen versiyonudur.

• Avantajları:
  • Güçlü Analiz: Kibana arayüzü ile loglar üzerinde derinlemesine arama, filtreleme ve görselleştirme yapabilirsiniz.
  • Hız: Büyük veri setlerinde bile çok hızlı sonuç döner.
• Dezavantajları:
  • Yönetim: Bir OpenSearch kümesi (cluster) yönetmeniz gerekir (boyutlandırma, disk alanı vb.).
  • Maliyet: Sürekli çalışan sunucular nedeniyle, düşük log hacimlerinde CloudWatch'a göre daha pahalı olabilir.

Karşılaştırma ve Öneri

• Eğer log hacminiz düşükse, sadece hata (error) durumunda loglara bakıyorsanız ve yönetim yükü istemiyorsanız: CloudWatch Logs.
• Eğer log hacminiz yüksekse, loglar üzerinden iş zekası (BI) veya güvenlik analizi yapıyorsanız ve geliştiricileriniz Kibana kullanmaya alışkınsa: Amazon OpenSearch.

Biz AWS Danışmanlığı projelerimizde genellikle Fluent Bit kullanarak logları OpenSearch'e göndermeyi, uzun vadeli arşivleme için ise (maliyet tasarrufu amacıyla) S3'e yedeklemeyi öneriyoruz.