HaruLife

Ansible Jinja2 템플릿 반복문

Rohin — Mon, 5 Aug 2024 11:23:57 +0900

set 문장과, for 문을 통한 반복문

# envs에 리스트형식으로 데이터 기입
{% set envs = ["dev", "stg", "prod"] %}

# envs의 리스트를 불러 for문으로 하나씩 넣어 반복문 실행
{%- for env in envs -%}
    test-{{ env }} {% if not loop.last %}, {% endif %}{%- endfor %}
    
# 결과물
test-dev, test-stg, test-prod

ELK(Elasticsearch + Logstash + Kibana + Filebeat)로그 모니터링 - 3

Rohin — Mon, 25 Mar 2024 12:58:26 +0900

Kibana를 통한 확인 방법!!

Index 설정

Stack Menagement 설정 선택

Kibana쪽 Data views 선택 및 Create data view 선택

name - index view 명칭
index pattern - 보여질 index명 기입 (위와같이 nginx-* 로할시 nginx- 로시작하는 모든 인덱스를 포함하게된다.)
오른쪽 네모박스 - 지정할수있는 index 리스트를 보여준다.

로그가 잘쌓이는지 확인단계

이제 인덱스를 그룹화해서 볼수있게 하였으니 확인하러가보자!

처음 화면으로 돌아와서 Dicover 선택

왼쪽 버튼을 통해 아까 만들었던 index view 명칭을 선택
오른쪽 버튼을 통해 시간 조절가능

1번 버튼을 통해 상세 설명을 확인할수 있다.
2번 버튼을 통해 해당 필드값에 대한 값만 보여지게 할수있다.

원하는 필드값만 지정하면 위와같이 깔끔하게 보여지게끔 설정이 가능하다.

ELK(Elasticsearch + Logstash + Kibana + Filebeat)로그 모니터링 - 2

Rohin — Mon, 25 Mar 2024 12:34:06 +0900

# Logstash + Filebeat 설치

Logstash 설치

https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

Installing Logstash | Logstash Reference [8.12] | Elastic

Use the echo method described above to add the Logstash repository. Do not use add-apt-repository as it will add a deb-src entry as well, but we do not provide a source package. If you have added the deb-src entry, you will see an error like the following:

www.elastic.co

GPG Key 가져오기

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

yum 저장소 등록

# vi /etc/yum.repos.d/logstash.repo

[logstash-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

설치

# yum install logstash

데이터 전송할때 사용할 역할 생성 (Kibana를 통해서 진행했다!)

ElasticSearch로 보내기위한 계정을 생성하고 역할을 생성한다.
(Logstash데이터를 받기위해 Elasticsearch에 계정생성하는 작업이다)

역할먼저 생성한 과정
특정 index에 대한 지정을 할때는 해당 인덱스만 영향을 받으므로 *로 처리해도 문제는 없다. (위와같이 할경우 index가 nginx*, logstash* 항목에 대해서만 작업이 가능)

데이터 전송할때 사용할 계정 생성

아까 만들었던 역할의 권한을 부여하여 계정 생성
이제 logstash 설정 부분을 수정하러 간다.

logstash.yml

# cat /etc/logstash/logstash.yml

path.data: /var/lib/logstash                       # Logstash 데이터 저장 경로
path.config: /etc/logstash/conf.d/*.conf           # 읽어들일 conf 파일들 지정
path.logs: /var/log/logstash                       # Logstash log 저장 경로

위 파일은 수정할건 없었다.
Logstash 데몬에 대한 설정

Config 파일 구조

Logstash 설정은 input, filter, output 3가지로 분류된다.
input - 데이터를 수집하는 역할
filter - 데이터를 변환하는 역할
output - 데이터를 내보내는 역할

모든 역할을 한파일로 관리해도되지만 여러개의 conf 파일로 저장하여 관리도 가능하다.
예시)

# ll /etc/logstash/conf.d/
-rw-r--r--. 1 root root 1281 Mar 21 11:54 filter_nginx.conf          # nginx 관련 filter 내용 정리
-rw-r--r--. 1 root root 2581 Mar 21 15:32 filter_syslog.conf         # syslog 관련 filter 내용 정리
-rw-r--r--. 1 root root   65 Mar 20 14:19 input_filebeat.conf        # filebeat으로 들어오는 input 관련 내용 정리
-rw-r--r--. 1 root root  543 Mar 20 14:35 output_nginx.conf          # nginx 관련 output 내용 정리
-rw-r--r--. 1 root root  516 Mar 20 15:46 output_syslog.conf         # syslog 관련 output 내용 정리

필자는 간단하게 설명하고자 하나의 파일로 담아서 설명 드립니다!

test.conf

# vi /etc/logstash/conf.d/test.conf


## 데이터를 받아오는곳에 대한 정의
input {
  beats {
    port => 5044                 ## input으로 받아올 포트 지정
    type => "filebeat"           ## type 설정 (위 input으로 들어오는 데이터는 필드값이 type : filebeat 으로 지정된다)
  }
}

## 데이터를 grok 언어를 통해 파싱하기.
## if문 사용 가능 (filebeat 설정의 tags 값에 harulife-nginx-server 가 들어있으면 진행)
## grok 언어에 대한 설명은 다음항목에서 설명진행. (grok, ruby등 다양한 언어사용가능)
## mutate 설정은 grok로 쪼개놓은 필드값을 묶어서 필드화 시키는 작업
## remove_field 설정은 쪼개놓은 필드값을 보여주지 않게 설정하는 작업

filter {
  grok {
    if "harulife-nginx-server" in [tags] {
      grok {
        match => {
          "message" => [
            "%{WORD:month} %{NUMBER:day} %{NUMBER:hour}:%{NUMBER:minute}:%{NUMBER:second} %{HOSTNAME:hostname} %{DATA:sys_service}\[%{NUMBER:PID}\]: %{GREEDYDATA:message}",
            "%{WORD:month} %{NUMBER:day} %{NUMBER:hour}:%{NUMBER:minute}:%{NUMBER:second} %{HOSTNAME:hostname} %{DATA:sys_service}: %{GREEDYDATA:message}"
            ]
        }
      }
      mutate {
        add_field => {
          "time" => "%{month} %{day} %{hour}:%{minute}:%{second}"
        }
        remove_field => ["month", "day", "hour", "minute", "second"]
      }
    }
  }
}

## 데이터를 보낼곳에 대한 정의
## hosts - 보낼곳에 대한 정의
## index - index는 어떤 index에 넣을지 지정 (없으면 생성함)
## cacert - https 통신임으로 통신할때 사용할 인증서 지정
## user - elasticsearch에 데이터를 쌓을수있는 권한을 가진 계정 설정
## password - 계정에 대한 패스워드

output {
  elasticsearch {
    hosts => ["https://localhost:9200"]
    index => "nginx-%{+YYYY.MM.dd}"
    cacert => "/etc/logstash/certs/http_ca.crt"
    user => "logstash_writer"
    password => "asdfqwer1234"
  }
}

Grok에 대한 설명

https://grokdebugger.com/ 를 통해 로그를 Debug 가능

      grok {
        match => {
          "message" => [
            "%{WORD:month} %{NUMBER:day} %{NUMBER:hour}:%{NUMBER:minute}:%{NUMBER:second} %{HOSTNAME:hostname} %{DATA:sys_service}\[%{NUMBER:PID}\]: %{GREEDYDATA} %{IPV4:remote_ip}%{GREEDYDATA} %{NUMBER:Port}%{GREEDYDATA}",
            "%{WORD:month} %{NUMBER:day} %{NUMBER:hour}:%{NUMBER:minute}:%{NUMBER:second} %{SYSLOGHOST:hostname} sshd\[%{NUMBER:pid}\]: error: kex_exchange_identification: client sent invalid protocol identifier \"%{GREEDYDATA:invalid_protocol_identifier}\""
          ]
        }
      }

- grok로 파싱할때 사용할 로그 형태

2024/03/18 19:37:56 [error] 26349#0: *568 open() "/usr/share/nginx/html/pftp" failed (2: No such file or directory), client: 79.110.62.195, server: _, request: "GET /pftp HTTP/1.1", host: "43.202.65.196" 2024/03/18 19:37:56 [error] 26349#0: *569 open() "/usr/share/nginx/html/sh" failed (2: No such file or directory), client: 79.110.62.195, server: _, request: "GET /sh HTTP/1.1", host: "43.202.65.196" 2024/03/18 19:37:57 [error] 26349#0: *570 open() "/usr/share/nginx/html/sshd" failed (2: No such file or directory), client: 79.110.62.195, server: _, request: "GET /sshd HTTP/1.1", host: "43.202.65.196" 2024/03/18 19:37:57 [error] 26349#0: *571 open() "/usr/share/nginx/html/tftp" failed (2: No such file or directory), client: 79.110.62.195, server: _, request: "GET /tftp HTTP/1.1", host: "43.202.65.196" 2024/03/18 20:20:55 [error] 26349#0: *573 open() "/usr/share/nginx/html/.env" failed (2: No such file or directory), client: 185.254.196.173, server: _, request: "GET /.env HTTP/1.1", host: "43.202.65.196" 2024/03/18 21:25:28 [error] 26349#0: *579 open() "/usr/share/nginx/html/.env" failed (2: No such file or directory), client: 177.54.158.94, server: _, request: "GET /.env HTTP/1.1", host: "43.202.65.196" 2024/03/18 22:02:43 [error] 26349#0: *583 open() "/usr/share/nginx/html/aaa9" failed (2: No such file or directory), client: 137.184.226.250, server: _, request: "GET /aaa9 HTTP/1.1", host: "43.202.65.196"

- grok로 파싱할때 grok 코드

%{YEAR:year}/%{MONTHNUM:month}/%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} \[%{LOGLEVEL:level}\] %{NUMBER:pid}#%{NUMBER}: \*%{NUMBER} %{GREEDYDATA:message}, client: %{IPORHOST:client}, server: %{DATA:server}, request: "%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\", host: \"%{IPORHOST:host}\"

- grok 코드로 파싱하고 난뒤 결과값

[ { "year": 2024, "month": 3, "day": 18, "hour": 19, "minute": 37, "second": 56, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/pftp\" failed (2: No such file or directory)", "client": "79.110.62.195", "server": "_", "http_method": "GET", "request": "/pftp", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 19, "minute": 37, "second": 56, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/sh\" failed (2: No such file or directory)", "client": "79.110.62.195", "server": "_", "http_method": "GET", "request": "/sh", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 19, "minute": 37, "second": 57, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/sshd\" failed (2: No such file or directory)", "client": "79.110.62.195", "server": "_", "http_method": "GET", "request": "/sshd", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 19, "minute": 37, "second": 57, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/tftp\" failed (2: No such file or directory)", "client": "79.110.62.195", "server": "_", "http_method": "GET", "request": "/tftp", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 20, "minute": 20, "second": 55, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/.env\" failed (2: No such file or directory)", "client": "185.254.196.173", "server": "_", "http_method": "GET", "request": "/.env", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 21, "minute": 25, "second": 28, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/.env\" failed (2: No such file or directory)", "client": "177.54.158.94", "server": "_", "http_method": "GET", "request": "/.env", "http_version": 1.1, "host": "43.202.65.196" }, { "year": 2024, "month": 3, "day": 18, "hour": 22, "minute": 2, "second": 43, "level": "error", "pid": 26349, "message": "open() \"/usr/share/nginx/html/aaa9\" failed (2: No such file or directory)", "client": "137.184.226.250", "server": "_", "http_method": "GET", "request": "/aaa9", "http_version": 1.1, "host": "43.202.65.196" } ]

Logstash에 대한 설명은 끝!

Filebeat 설치

https://www.elastic.co/guide/en/beats/filebeat/current/setup-repositories.html

Repositories for APT and YUM | Filebeat Reference [8.12] | Elastic

To add the Elastic repository, make sure that you use the echo method shown in the example. Do not use add-apt-repository because it will add a deb-src entry, but we do not provide a source package. If you have added the deb-src entry by mistake, you will

www.elastic.co

GPG Key 가져오기

# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

yum repo 저장소 추가

[elastic-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

filebeat 설치

# yum install filebeat

filebeat.yml

###### INPUT 설정 ######
filebeat.inputs:
###### nginx_access log 설정 ######
  - type: log
    enabled: true
    paths:
      - /var/log/nginx/access.log
    fields:
      server_name: harulife_web
      log_name: nginx_access_log
    tags: ["harulife-nginx-server", "nginx_access_log"]
    scan_frequency: 5s  ## 해당 로그를 5초간격으로 스캔한다.

###### nginx_error log 설정 ######
  - type: log
    enabled: true
    paths:
      - /var/log/nginx/error.log
    fields:
      server_name: harulife_web
      log_name: nginx_error_log
    tags: ["harulife-nginx-server", "nginx_error_log"]

###### message log 설정 ######
  - type: log
    enabled: true
    paths:
      - /var/log/messages
    fields:
      server_name: harulife_web
      log_name: message
    tags: ["harulife-nginx-server", "messages"]

###### secure log 설정 ######
  - type: log
    enabled: true
    paths:
      - /var/log/secure
    fields:
      server_name: harulife_web
      log_name: secure
    tags: ["harulife-nginx-server", "secure"]


###### modules를 사용 여부 설정 ######
## 기본적으로 제공되는 모듈이 있지만 모두다 본인이 파싱해서 사용하겠다면 false 한다.
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

###### 사용할 shards 수 지정 ######
## 사용빈도가 많다면 해당 값을 늘려준다.
setup.template.settings:
  index.number_of_shards: 1



###### OUTPUT 설정 ######
output.logstash:
  hosts: ["172.31.28.41:5044"]


processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~


## 로컬에서 debug 설정
logging.level: debug
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0640

세분화된 설명

  - type: log                             ## Type은 뭘로 할건지 설정
    enabled: true                         ## 실행 할건지 말건지 설정
    paths:                                ## 수집할 로그 paths 설정
      - /var/log/nginx/access.log         
    fields:                               ## 해당 로그에 대해 fields 설정
      server_name: harulife_web               ## fields.server_name 이라는 필드가 생성되며 해당 필드값은 harulife_web 이 된다.
      log_name: nginx_access_log.         
    tags: ["harulife-nginx-server", "nginx_access_log"]   ## tags가 달린채로 데이터를 넘긴다. (tags 필드도 생김)
    scan_frequency: 5s                    ## 해당 로그를 5초간격으로 스캔한다.

위와같이 설정후 이제 Kibana에서 확인하면된다!

ELK(Elasticsearch + Logstash + Kibana + Filebeat)로그 모니터링 - 1

Rohin — Fri, 22 Mar 2024 12:53:45 +0900

# ELK란

ELK란 Elasticsearch + Logstash + Kibana 를 통한 모니터링을 뜻합니다.

보통 일반적으로 구조한다면 위와같은 구조로 진행하게 됩니다.

저는 아주 기본적으로 설치해보고 설정하는 작업을 진행해볼 예정입니다.
설치 진행은 elasticsearch - kibana - logstash - filebeat 순으로 진행할 예정입니다.
기본설치이므로 공식홈페이지를 참조해서 설치 진행하셔도 무방합니다.

Elasticsearch rpm 설치 공홈

https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

Installing Elasticsearch | Elasticsearch Guide [8.12] | Elastic

To try out Elasticsearch on your own machine, we recommend using Docker and running both Elasticsearch and Kibana. For more information, see Run Elasticsearch locally.

www.elastic.co

Kibana rpm 설치 공홈

https://www.elastic.co/guide/en/kibana/current/rpm.html

Install Kibana with RPM | Kibana Guide [8.12] | Elastic

Install Kibana with RPMedit The RPM for Kibana can be downloaded from our website or from our RPM repository. It can be used to install Kibana on any RPM-based system such as OpenSuSE, SLES, Red Hat, and Oracle Enterprise. This package contains both free a

www.elastic.co

# 환경

AWS - EC2 2대
OS - Rocky Linux release 8.9 (Green Obsidian)
elasticsearch - elasticsearch-8.12.2-1.x86_64
kibana - kibana-8.12.2-1.x86_64
logstash - logstash-8.12.2-1.x86_64
filebeat - filebeat-8.12.2-1.x86_64

# ElasticSearch + Kibana 설치

ElasticSearch 설치

- GPG key 가져오기

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

- repository 등록

# vi /etc/yum.repos.d/elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

- elasticsearch 설치

# dnf install --enablerepo=elasticsearch elasticsearch

- elasticsearch.yml

# cat /etc/elasticsearch/elasticsearch.yml

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12

xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["ec2_host_name"]

http.host: 0.0.0.0

path.data : data 저장 경로
path.logs : log 저장 경로
xpack.security.enabled : xpack.security를 활성화 할건지 여부 설정
xpack.security.enrollment.enabled : 클러스터에 노드를 등록하기 위한 보안 등록 활성화
xpack.security.http.ssl : http 통신에 ssl 설정
xpack.security.transport.ssl : 노드간 통신에 대한 SSL 설정
cluster.initial_master_nodes : 클러스터의 초기 마스터 노드 지정
http.host : http 접근을 허용할 ip (0.0.0.0 or 123.123.123.123) 전체 열거나 or ip 1개만 지정하거나 밖에 안됨.

위 설정들은 기본설정에 대한 값이므로 추가적으로 클러스터 구성할시 아래와 같은 설정을 할수도 있다.

조만간 알려줌

- elasticsearch 시작

systemctl start elasticsearch

- elastic 계정 패스워드 설정

/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic -i

- 설치 확인

elasticsearch 9200 port로 접근했을때 모습

curl --cacert "ca인증서경로" -u 계정:계정패스워드 https://[ip or localhost]:9200

ex)
# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:asdfqwer1234 https://localhost:9200
{
  "name" : "ip-172-31-28-41.ap-northeast-2.compute.internal",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "F6xRGkkMSmWtPboJKeztbg",
  "version" : {
    "number" : "8.12.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "48a287ab9497e852de30327444b0809e55d46466",
    "build_date" : "2024-02-19T10:04:32.774273190Z",
    "build_snapshot" : false,
    "lucene_version" : "9.9.2",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

위와같이 나온다면 ElasticSearch 설치 성공!

Kibana 설치

- PGP key 가져오기

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

- yum repository 등록

# vi /etc/yum.repos.d/kibana.repo

[kibana-8.x]
name=Kibana repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

- kibana 설치

dnf install kibana

- kibana.yml

server.port: 5601            # 주석제거
server.host: "0.0.0.0"       # 주석제거 및 수정

logging:
  appenders:
    file:
      type: file
      fileName: /var/log/kibana/kibana.log
      layout:
        type: json
  root:
    appenders:
      - default
      - file

pid.file: /run/kibana/kibana.pid

server.port : 포트 지정
server.host : 접근을 허용할 ip 지정

- kibana 실행

systemctl start kibana

- kibana web 접근

http://[IP or 도메인]:5601
ex) http://15.165.15.16:5601/

- elasticsearch 서버 에서 kibana 토큰 생성

# /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

eyJ2ZXIiOiI4LjEyLjIiLCJhZHIiOlsiMTcyLjMxLjMuMjI5OjkyMDAiXSwiZmdyIjoiYjczNTQzYjI4MDIxNDQ5YmY2MDBjYThkYmVlODg4ZjIyMTUyZGY1MTk1NTFkZDk1NDlkYjVkZGU3YzU1Mzg0OSIsImtleSI6Iklib2ZGbzRCdVduX2tIR3J4Vmh2OlJKaDFQV0tzUjJXZU5HR3Vid3VpWEEifQ==

- 추출한 토큰값 입력

- kibana 서버 에서 verification-code 추출

# /usr/share/kibana/bin/kibana-verification-code

Your verification code is:  283 795

- 설치 진행

- 설치 완료 및 elastic 계정으로 로그인

- Kibana 설치 완료

위 작업으로 Elasticsearch와 kibana 설치가 완료되었습니다.
이후 Logstash와 filebeat 관련하여 가이드 하도록하겠습니다!
감사합니다.

Kibana process does not have enough permissions to write to config file

Rohin — Wed, 28 Feb 2024 18:28:54 +0900

환경

OS - Rocky Linux release 8.9 (Green Obsidian)

kibana - kibana-8.12.2-1.x86_64

위와같은 상황에서 elasticsearch와 연결하는 도중 에러 발생

로그내용은

{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:09.577+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":60.970777975},"trace":{"id":"c2f013435d6810ae4b7cfdeadc8c6fd6"},"transaction":{"id":"3e1f6a38fb56ed87"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:18.739+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":70.132319032},"trace":{"id":"3aa48afa00f06c777e68311c854c52a6"},"transaction":{"id":"104089caae85a603"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:19.327+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":70.720541749},"trace":{"id":"7a7548fd1cfe2fc3f0d0e690e6d883dc"},"transaction":{"id":"e78ad012b27c3c2f"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:19.629+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":71.02260384},"trace":{"id":"ee46755b3c4959901acf0f6b4b8179ae"},"transaction":{"id":"e65e6dbc90c5e347"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:19.907+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":71.300754019},"trace":{"id":"0c8513402e0b01feae4b0b6335b8563b"},"transaction":{"id":"5b2d82a3c8fc2a4f"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:33.170+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":84.564077047},"trace":{"id":"284274fb43c2608dfd8e438c509f2c1b"},"transaction":{"id":"88cea3d662778f46"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:48:33.662+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":85.055452613},"trace":{"id":"646c534e0c4ed7ec0cd5a123ddcb09be"},"transaction":{"id":"6ef01386d0d8a833"}}
{"service":{"node":{"roles":["background_tasks","ui"]}},"ecs":{"version":"8.6.1"},"@timestamp":"2024-02-28T08:49:03.656+00:00","message":"Kibana process does not have enough permissions to write to config file","log":{"level":"ERROR","logger":"plugins.interactiveSetup.routes"},"process":{"pid":29237,"uptime":115.049593532},"trace":{"id":"dc3f965b099c0ebf60cdadb8550b0804"},"transaction":{"id":"199049e01f7fb4d0"}}

파일에 대한 권한이 없어서 그러는 것임.

kibana.yml 파일 권한을 664로 수정

kibana 재시작 이후 다시 진행

이후 성공적으로 진행.

ERROR: Failed to determine the health of the cluster. Unexpected http status [503], with exit code 65

Rohin — Wed, 21 Feb 2024 17:10:31 +0900

환경

OS - Rocky Linux release 8.9 (Green Obsidian)
elasticsearch - elasticsearch-8.12.1-1.x86_64

elasticsearch를 클러스터 구성한 이후 elastic 계정에 대한 패스워드를 수정하려니 오류가 발생했다.

# /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic -i

ERROR: Failed to determine the health of the cluster. Unexpected http status [503], with exit code 65

# /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

ERROR: Failed to determine the health of the cluster. Unexpected http status [503], with exit code 65

클러스터 상황이라 문제되는것으로 보여진다.

elasticsearch.yml 파일에서 cluster.initial_master_nodes, discovery.seed_hosts을 주석처리한뒤 discovery.type: single-node 추가

이후 elasticsearch 재시작 이후 다시 명령어 진행

# /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic -i
This tool will reset the password of the [elastic] user.
You will be prompted to enter the password.
Please confirm that you would like to continue [y/N]y


Enter password for [elastic]: 
Re-enter password for [elastic]: 
Password for the [elastic] user successfully reset.

계정 패스워드를 변경했으면 다시 클러스터링 elasticsearch.yml 파일 수정후 클러스터 구성

Ansible 변수 관련 내용

Rohin — Thu, 8 Feb 2024 11:34:56 +0900

필자는 ansible을 처음 접하는 과정이다. 아래 설명은 ansible-playbook 기반으로 설명한다.
ansible을 사용하면서 좀더 이해하기 쉽게 변수에 대한 설명을 풀어서 점차 기록을 늘려갈 예정이다.
혹시라도 잘못알고있다던지 틀리다면 피드백 요청바랍니다.

server.ini

위 파일에는 ansible로 서버를 컨트롤 하기위해 접근하려는 서버의 정보를 기입하게 되어있습니다.

보통 아래와 같이 적습니다.

[ server ] #명칭은 본인이 원하는대로 수정가능
harulife-1 ansible_host= 1.2.3.4 haru_name="harulife" #이와같이 내용은 아무렇게나 적어도된다.
harulife-2 ansible_host= 4.3.2.1 haru_name="harulife_bak"

[ server:vars ] #위에서 정의한 그룹에 대한 변수설정이다.
ansible_port=22
ansible_user=rocky
ansible_ssh_private_key_file=~/.xxx/xxx/xxx.pem

hostvars

위 server.ini 파일에서 정의한 내용을 가져다 쓸수있는 변수처리다.

hostvars[host].ansible_host

위와같이 변수값을 호출하게되면
harulife-1 서버는
1.2.3.4
harulife-2서버는
4.3.2.1

위와같이 호출하게 된다

EC2 키 페어 관리

Rohin — Thu, 1 Feb 2024 14:24:00 +0900

EC2 생성시 키페어를 생성하여 접근하게 설정할수도 있다.

그런데 한가지 궁금한부분은 키페어를 생성하면
EC2 -> 키 페어 리스트에 생성했던 키페어 리스트가 나온다.

위 항목에서 키페어가 삭제되면 서버 접근이 불가할까?

답은 키페어 파일을 가지고있다면 접근이 가능하다!

해당 항목은 단지 생성했던 리스트를 보여줄뿐 제어까지 되어지진 않는것으로 보여진다.
접근을 불가하게 하려면 EC2내에서 기존에 있는 키페어 정보를 제거해야 한다!

[Mac] kubectx, fzf 설치를 통한 여러대의 kubernetes 관리

Rohin — Wed, 8 Nov 2023 13:24:26 +0900

Mac을 통해 여러대의 kubernetes를 관리하다보면 각각 접근하기에 번거로움이 있다.
이부분을 alias 설정도 할수있고 여러가지 방법이 있겠지만
kubectx와 fzf를 통해 편리하게 kubernetes 접근을 변경하는 방법을 알려드리려 한다.

kubectx

# brew install kubectx

위 명령어를 통해 kubectx를 설치한다.

# kubectx

위 명령어를 통해 연결되어있는 클러스터 정보를 확인할수있습니다.

fzf

# brew install fzf

위 명령어를 통해 fzf를 설치한다.

# kubectx

위 명령어를 통해 진행하였을시 클러스터를 선택할수있게 바뀐 부분을 확인할수 있습니다.

위와같이 kubectx 명령어를 통해 클러스터를 선택해 접속할수가 있습니다.

argoCD EKS 업그레이드 관련 Supported versions

Rohin — Thu, 19 Oct 2023 14:00:36 +0900

EKS 업그레이드 작업중 설치된 에드온에 관련하여 EKS 버전에 따른 지원사항을 확인하게된다.
Argocd 같은경우 내용 설명이 되어있긴하지만 해당 내용의 이해를 돕기위해 글을 남깁니다.

영어버전

Supported versions
Similar to the Kubernetes project, the supported versions of Argo CD at any given point in time are the latest patch releases for the N and N - 1 minor versions. These Argo CD versions are supported on the same versions of Kubernetes that are supported by Kubernetes itself (normally the last 3 released versions).

Essentially the Argo CD project follows the same support scheme as Kubernetes but for N, N-1 while Kubernetes supports N, N-1, N-2 versions.

For example if the latest minor version of ArgoCD are 2.4.3 and 2.3.5 while supported Kubernetes versions are 1.24, 1.23 and 1.22 then the following combinations are supported:

Argo CD 2.4.3 on Kubernetes 1.24
Argo CD 2.4.3 on Kubernetes 1.23
Argo CD 2.4.3 on Kubernetes 1.22
Argo CD 2.3.5 on Kubernetes 1.24
Argo CD 2.3.5 on Kubernetes 1.23
Argo CD 2.3.5 on Kubernetes 1.22

한글번역

지원되는 버전
Kubernetes 프로젝트와 마찬가지로 특정 시점에 지원되는 Argo CD 버전은 N 및 N - 1 마이너 버전에 대한 최신 패치 릴리스입니다. 
이러한 Argo CD 버전은 Kubernetes 자체에서 지원하는 것과 동일한 Kubernetes 버전(일반적으로 마지막으로 출시된 3개 버전)에서 지원됩니다.

기본적으로 Argo CD 프로젝트는 Kubernetes와 동일한 지원 체계를 따르지만 N, N-1의 경우 Kubernetes는 N, N-1, N-2 버전을 지원합니다.

예를 들어 ArgoCD의 최신 마이너 버전이 2.4.3 및 2.3.5이고 지원되는 Kubernetes 버전이 1.24, 1.23 및 1.22인 경우 다음 조합이 지원됩니다.

Kubernetes 1.24의 Argo CD 2.4.3
Kubernetes 1.23의 Argo CD 2.4.3
Kubernetes 1.22의 Argo CD 2.4.3
Kubernetes 1.24의 Argo CD 2.3.5
Kubernetes 1.23의 Argo CD 2.3.5
Kubernetes 1.22의 Argo CD 2.3.5

위의 말인 즉슨 Argo CD는 Kubernetes 버전과 동일하게 간다.
ex) kubernetes 버전 - 1.28 이면, Argo CD 버전 - 2.8.x

위와같은 상황이며 지원되는 버전에 대해서는 3개 버전까지 지원을 한다고한다. 해당 말같은경우
ex) Argo CD 버전 - 2.8.x 일때 kubernetes 버전 - 1.28, 1.27, 1.26 까지 사용이 가능하다.
Argo CD 버전 - 2.7.x 일때 Kubernetes 버전 - 1.28, 1.27, 1.26, 1.25 까지 사용이 가능하다.
Argo CD 버전 - 2.6.x 일때 Kubernetes 버전 - 1.28, 1.27, 1.26, 1.25, 1.24 까지 사용이 가능하다.
Argo CD 버전 - 2.5.x 일때 Kubernetes 버전 - 1.27, 1.26, 1.25, 1.24, 1.23 까지 사용이 가능하다.
반대로
ex) Kubernetes 버전 - 1.28 버전일때 Argo CD 버전 - 2.8.x, 2.7.x, 2.6.x 까지 사용이 가능하다.
Kubernetes 버전 - 1.27 버전일때 Argo CD 버전 - 2.8.x, 2.7.x, 2.6.x, 2.5.x 까지 사용이 가능하다.
Kubernetes 버전 - 1.26 버전일때 Argo CD 버전 - 2.8.x, 2.7.x, 2.6.x, 2.5.x, 2.4.x 까지 사용이 가능하다.
Kubernetes 버전 - 1.25 버전일때 Argo CD 버전 - 2.7.x, 2.6.x, 2.5.x, 2.4.x, 2.3.x 까지 사용이 가능하다.