JEUS-WEBTOB 503 오류 해결(리눅스 서버)

 

 

JEUS-WEBTOB 503 오류 해결(리눅스 서버)

---

 

 

JEUS-WEBTOB 503 오류 해결(리눅스 서버)

---

1. 증상

영문도 모르게 갑자기 503 오류 페이지를 띄우며 WEB 서비스가 죽는 경우가 발생했다.

JEUS-WEBTOB를 한 개의 리눅스 서버에서 연동해서 구동하는 환경이었다.

특정 시간대에 주로 발생했지만, 그렇지 않은 경우도 있었다.

두 서비스를 모두 재기동하는 경우 다시 살아나기도 했지만, 서버를 재부팅해야만 살아날 때도 있었다.

 

 

2. 원인 분석

구글링을 통해 얻어낸 결과는 JEUS-WEBTOB 연동 설정(방화벽 포함)이 어긋난 것과 Timeout 발생으로 인한 장애라는 것이었다.

하지만 설정 부분은 전혀 건드린 적도 없었고, 처음 연동하여 구동한 것이 아니었기 때문에 해당이 되지 않았다.

게다가 한 개의 리눅스 서버에서 두 서비스가 같이 구동되어 있어서 방화벽의 문제도 아니었다.

Timeout 부분은 혹시나 하여, JEUS 설정의 Read Timeout 과 WEBTOB 설정의  SvrChkTime을 재설정하였지만 증상이 전혀 개선되지는 않았다.

 

로그를 보아도 특이한 점을 찾지 못하던 중, 결국 핵심문제는 서버의 리소스(용량 등)가 부족한 것으로 판단했다.

하지만 하드 용량이나 CPU/메모리 사용률, 프로세스 목록들을 봐도 특이사항은 없었다.

그러던 중 로그에서 자주 호출되는 특정 폴더의 사진을 불러오는 듯한 로그가 남아 있었다.

구동되는 WEB 서비스의 특성 상 특정 시간대에 자주 호출되는 것도 나름 일치하는 점이었다.

결국, 문제는 해당 폴더에 사진이 너~무 많았기 때문이었다.

아래 리눅스 명령어를 통해 해당 폴더의 파일개수를 검색해보니, 400만개가 넘어가는 수준이었다.

* 현재 위치(폴더)의 파일 개수를 세는 명령어

ls -l | grep ^- | wc -l

 

 

3. 해결

원인을 찾았으니 해결책은 간단했다.

사진 자료를 다 삭제할 수는 없어서, 필요없는 사진은 다른 폴더에 백업을 해두고 삭제하였다.

해결을 하고 추가로 정보를 찾아보니, 특정 폴더에 정해진 파일수는 없지만 대략 1만개만 넘어도 과부하가 시작되는 것 같다.

이 기준에 비교하면 400배가 많은 파일이 있으니, 접근하다가 죽어버려서 503 오류 페이지를 띄우는 것이었다.

(불필요한 사진을 정리한 폴더에도 결국 10만개라서 과부하는 된다는 것은 안비밀이다.)

본인처럼 구글링을 통한 해결책이 해당이 되지 않거나 증상 해결이 되지 않을 때 서버의 리소스 과부하를 생각해보는 것도 좋을 것 같다.