roki_1213

컨테이너 로그를 ELK 스택으로 수집을 했습니다.

최근 서비스 배포 후 pod 내부 filebeat 6.7.0실행이 되지 않아 원인을 찾어 조치한 내용을 공유 드립니다.

하기 블로그를 참고하여 조치 했습니다.

https://velog.io/@jhbaik1501/Filebeat-%EC%8B%A4%ED%96%89-%EC%98%A4%EB%A5%98-runtimecgo-pthreadcreate-failed-Operation-not-permitted

이슈 발생 후 다양한 원인 추정

1. 오픈 파일 수 제한 ?

2. 메모리 리소스 부족 (모니터링 확인 결과 아니였습니다.)

3. filebeat 디버그 모드 실행? (로그 수집)

3번을 생각하고 

filebeat 기존 로그 확인 (/var/log/filebeat)

config 테스트 (filebit test config)

filebeat -e -c filebeat.yml (실행 시 발생하는 로그 확인)

위에 블로그와 동일한 이슈 발생  

runtime/cgo: pthread_create failed: Operation not permitted 등등

과거 amazon linux2023에서도 동일한 이슈가 있었는데 까먹고 있었다. ㅠㅠ

해당 시스템은 데비안 12 를 사용하고 있고 apt-get update 하면서 libc 가 업데이트 되었습니다. 

filebeat.yml에 하기 내용을 추가 후 조치 했습니다. (오류 원인은 위에 블로그에서 확인 부탁드립니다!)

seccomp:
  default_action: allow
  syscalls:
  - action: allow
    names:
    - rseq

최근들어 다양한 컨테이너 이미지를 사용하면서 우분투, 데비안, 알파인 리눅스 등등 사용하면 패키지 (yum, apt, apk) 등등 동작 방식 및 버전 관리에 중요성을 느끼고 있습니다.