1. 인프라 모니터링 사전 체크 및 환경 초기화
본격적인 대용량 로그 분석 시스템 가동 전, 기존 파일 백업 상태를 점검하고 시스템 스냅샷을 원점으로 되돌리는 초기화 공정을 선행했다.
- 서버 체크:
091서버 기반 자산 백업 스크립트 가동 여부 및 무결성 정상 확인. - 외부 클라우드 대조: ownCloud 플랫폼(
izerone.co.kr:8091,jeonjucom.kr:8091) 엔드포인트를 탐색하여2021/backup/내부 지정 디렉터리에 원격 백업본 적재 교차 검증 완료. - 시스템 초기화: 이전 작업의 잔여 마이그레이션 이력을 최종 클리어하고, 커널 런레벨 원점 복원(init) 프로세스 이행 완료.
2. 분산 로그 아키텍처 분석 및 보안 핵심 개념 수립
대규모 엔터프라이즈 환경에서 보안 침해 사고가 발생했을 때, 단순 단편 로그 확인보다는 위협이 시작된 원점 파악이 가장 중요한 핵심 가치임을 파악하고 실무 분석 체계를 구조화했다.
① ELK Stack 구성 노드 명세
데이터의 실시간 수집, 가공, 인덱싱 및 시각화를 위해 업계 표준인 세 가지 컴포넌트의 결합 구조를 매핑했다.
- Elasticsearch (192.168.0.129): 수집된 대량의 비정형 로그를 유기적으로 역인덱싱하여 고속으로 질의·분석하는 핵심 분산 검색 엔진.
- Logstash: 시스템 및 네트워크 장비로부터 전송되는 원시 데이터를 수집하고 유효 필드로 정제/가공하는 파이프라인 매니저.
- Kibana: Discover 웹 인터페이스를 통해 실시간 차트 밀리세컨드 단위 옵션 튜닝 및 직관적인 대시보드 시각화를 지원하는 도구.
- 외부 파이썬 노드와의 통신 바인딩을 위해 129번 ELK 환경에서
network.host: 0.0.0.0을 적용했다. - 이는 테스트용 전체 개방 조치이나, 상용 환경에서는 모든 인터페이스가 공격 표면으로 변해 랜섬웨어 등 보안 침해의 원점이 되므로 실무에서는 절대 엄금해야 하는 위험 정책임을 명심한다.
3. Python 멀티 플랫폼 연동 및 실시간 위협 IP 추적 자동화
118번 Syslog 관계형 데이터베이스와 129번 Elasticsearch 클러스터 노드를 동시 노크하여, 특정 유해 IP 대역을 추적하고 대조식으로 교차 검증(Cross-Check)하는 파이썬 스크립트 엔진을 구축했다.
① 이 기종 인프라 연동 테스트 스크립트
두 개의 독립된 분산 노드가 네트워크 소켓을 통해 정상 통신하는지 검증을 완료했다. (오전 11:14 가동 성공)
| 대상 플랫폼 (서버 주소) | 검증 소스코드 스냅샷 |
|---|---|
| 118번 RDB Syslog 서버 (MySQL 3306) |
|
| 129번 고속 분석 엔진 (Elasticsearch 9200) |
|
② 통합 블랙리스트 IP 추적 및 보안 이벤트 카테고리 매핑 (3.py)
사용자로부터 블랙리스트 타겟 IP와 탐색할 대용량 건수(예: 최근 1,000건)를 입력받아, 두 분산 저장소의 메시지를 토대로 실시간 위험 지표를 분류·도출하는 통합 분석 모듈을 생성했다.
# 3.py - DB와 ELK 데이터를 독립 수집 후 크로스체크 및 통계 요약 프레임워크
import sys
import pymysql
from elasticsearch import Elasticsearch
def get_target_ips():
print("=========================================")
print("🔎 [Step 1] 추적할 보안 위협 IP 입력")
print("=========================================")
user_ips = []
while True:
ip_input = input("👉 IP 입력 (종료는 Enter): ").strip()
if not ip_input: break
user_ips.append(ip_input)
if not user_ips:
print("\n❌ 입력된 IP가 없어 종료합니다."); sys.exit()
return user_ips
def get_log_limit():
print("\n=========================================")
print("🔢 [Step 2] IP당 조회할 로그 건수 지정")
print("=========================================")
while True:
limit_input = input("👉 조회할 건수 입력 (기본값 5): ").strip()
if not limit_input:
print("💡 입력값이 없어 기본값 '5건'으로 진행합니다."); return 5
if limit_input.isdigit():
limit = int(limit_input)
if limit > 0: return limit
print("❌ 0보다 큰 숫자를 입력해주세요.")
else:
print("❌ 올바른 숫자가 아닙니다. 다시 입력해주세요.")
def check_mysql(ips, limit):
results = {}
try:
conn = pymysql.connect(
host="192.168.0.118", user="rsyslog", password="rsyslog",
database="Syslog", port=3306, charset="utf8mb4"
)
with conn.cursor() as cursor:
for ip in ips:
sql = """
SELECT ReceivedAt, FromHost, Message
FROM SystemEvents
WHERE Message LIKE %s OR FromHost = %s
ORDER BY ReceivedAt DESC LIMIT %s
"""
cursor.execute(sql, (f"%{ip}%", ip, limit))
rows = cursor.fetchall()
results[ip] = [{
"time": str(row[0]), "host": row[1], "message": row[2]
} for row in rows]
conn.close()
except Exception as e: print(f"❌ MySQL 연결/조회 실패: {e}")
return results
def check_elasticsearch(ips, limit):
results = {}
try:
es = Elasticsearch(["http://192.168.0.129:9200"], request_timeout=5)
for ip in ips:
query = {
"query": { "query_string": { "query": f'"{ip}"' } },
"size": limit
}
response = es.search(index="*", body=query)
hits = response['hits']['hits']
results[ip] = [{
"index": hit['_index'],
"time": hit['_source'].get('@timestamp', 'N/A'),
"message": hit['_source'].get('message', 'N/A')
} for hit in hits]
except Exception as e: print(f"❌ Elasticsearch 연결/조회 실패: {e}")
return results
if __name__ == "__main__":
target_ips = get_target_ips()
log_limit = get_log_limit()
mysql_data = check_mysql(target_ips, log_limit)
elastic_data = check_elasticsearch(target_ips, log_limit)
print("\n==================================================")
print("📊 [Step 3] 118번 DB vs 129번 ELK 교차 검증 결과")
print("==================================================")
for ip in target_ips:
print(f"\n🎯 [대상 IP] : {ip}")
my_logs = mysql_data.get(ip, [])
print(f" ├─ 💾 118번 DB : {len(my_logs)}건 발견")
for log in my_logs: print(f" │ └─ [{log['time']}] {log['message'][:70]}...")
es_logs = elastic_data.get(ip, [])
print(f" └─ 🔎 129번 ELK : {len(es_logs)}건 발견")
for log in es_logs: print(f" └─ [{log['time']}] {log['message'][:70]}...")
print("\n==================================================")
print("🚨 [최종 요약] 대상 IP별 핵심 보안 이벤트 통계")
print("==================================================")
KEYWORDS = {
"🔑 로그인 실패 (🚨 위험)": ["failed password", "authentication failure", "invalid user"],
"🔓 로그인 성공 (확인)": ["accepted password", "session opened", "login success"],
"👤 계정 생성/수정 (추적)": ["useradd", "groupadd", "password changed"],
"🛡️ 권한 상승 행위 (sudo)": ["sudo:", "su:"],
"🚫 연결 거부/강제 종료": ["refused", "denied", "connection closed"]
}
for ip in target_ips:
print(f"\n[📊 IP: {ip} 통계 분석 결과]")
all_messages = [log['message'].lower() for log in mysql_data.get(ip, [])] + \
[log['message'].lower() for log in elastic_data.get(ip, [])]
total_logs = len(all_messages)
print(f" 👉 총 수집된 교차 로그 건수: {total_logs}건")
if total_logs == 0: continue
match_count = 0
for category, keywords in KEYWORDS.items():
count = sum(1 for msg in all_messages if any(kw in msg for kw in keywords))
if count > 0:
print(f" ├─ {category}: {count}건 감지됨")
match_count += count
etc_count = total_logs - match_count
if etc_count > 0: print(f" └─ ⚙️ 기타 일반 시스템 로그: {etc_count}건")
4. 오전 세션 분석 성과 및 인프라 상태 요약
개인 웹서버 환경(192.168.0.24) 및 포트 스캔 필터링(source.ip 및 22번 포트 대조)을 파이썬 코드로 질의하여 대량의 백그라운드 공격 위협 분석을 무결하게 완료했다.
- RDB 질의:
SELECT * FROM Syslog.SystemEvents WHERE Message LIKE '%192.168.0.210%';구조의 와일드카드 매칭 수행. - ELK 질의:
source.ip : 192.168.0.210 AND destination.port : 22쿼리 스트링 결합 검색을 통한 정밀 지표 도출. - 결론: 이 기종 백엔드 데이터 허브를 제어하는 자동화 스크립트 설계를 매듭지었으며, 이를 기반으로 오후 세션에서 상용 등급의 웹 서비스 아키텍처(Nginx + Gunicorn + Flask 리버스 프록시) 구동 공정으로 빌드업을 전개한다.
5. 개인 웹 서버 인프라 타겟팅 및 OS 환경 초기화
오전에 설계한 독립 파이썬 로그 분석 코드를 웹 기반의 모니터링 시스템으로 전환하기 위해, 개인 테스트 서버(192.168.0.24)의 인프라 패키지 저장소와 타임존 갱신 작업을 수행했다.
# 시스템 기본 정보 및 네트워크 바인딩 상태 확인
$ ip addr
$ cat /etc/*release*
$ date
# 타임존 서울 표준시 변경 (동기화 오차 방지) 및 호스트네임 설정
$ sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime
$ sudo hostnamectl set-hostname IP024
$ sudo reboot
# 커널 재부팅 후 필수 유틸리티 및 Nginx 웹서버 패키지 가동
$ sudo apt update
$ sudo apt -y install lrzsz unzip net-tools nginx
$ netstat -ant | grep 80 # 80 포트 리스닝 상태 진단
6. 파이썬 가상화 가동 환경(venv) 격리 및 뼈대 패키지 이식
운영체제(OS)의 전역 파이썬 런타임과 웹 애플리케이션의 의존성 충돌을 방지하기 위해 가상화 격리 공간(mysite)을 수립하고, Flask 및 WSGI 프록시 엔진을 적재했다.
# 사용자 홈 디렉터리 이동 및 venv 격리 시스템 빌드
$ cd ~
$ sudo apt -y install python3-venv
$ python3 -m venv mysite
$ cd mysite/bin
$ . activate # 가상환경(mysite) 진입
# 가상환경 내부 프로덕션 필수 의존성 패키지 일괄 인스톨
(mysite) $ pip install wheel
(mysite) $ pip install flask # 가벼우면서 확장이 용이한 MTV/MVC 프레임워크
(mysite) $ pip install flask-migrate # 데이터베이스 마이그레이션 관리 툴
(mysite) $ pip install flask-wtf # 웹 폼(Form) 및 CSRF 검증 보안 라이브러리
(mysite) $ pip install email_validator
(mysite) $ pip install gunicorn # 상용 등급의 동적 요청 처리용 WSGI 미들웨어 구동부
7. Flask 애플리케이션 프로토타입 테스팅 및 환경 변수 프로파일화
본격적인 모니터링 모듈 이식 전, 가상환경 내에서 Flask 컨텍스트 인스턴스가 올바르게 동작하는지 노크 테스트를 수행하고 쉘 스크립트 단축 명령어를 구성했다.
① 테스트 파일 가동 (app.py)
from flask import Flask
app = Flask(__name__)
@app.route('/')
def index():
return 'Hello, index!'
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
- 해석 및 실무 의의: Flask 내장 엔진 기본 구동(
flask run) 시 발생하는 경고이다. Flask 자체 웹서버는 단일 스레드 기반의 디버깅 전용 엔진이므로 대규모 트래픽이나 다중 소켓 통신을 감당할 수 없다. - 따라서 상용(Production) 배포 환경에서는 반드시 Nginx와 같은 고성능 웹서버와 Gunicorn 같은 전문 WSGI 아키텍처를 전면에 배치해야 한다는 인프라적 당위성을 시사한다.
② 사용자 쉘 환경변수 및 얼라이어스(Alias) 자동화 등록
# 가상환경 탈출 후 프로파일 수정
$ sudo nano ~/.profile
# 통합 매핑 단축 스크립트 추가
alias mysite='export FLASK_APP=monitor;export FLASK_DEBUG=true;export APP_CONFIG_FILE=/home/master/projects/mysite/config/production.py;cd ~/projects/mysite/flask;. ~/venvs/mysite/bin/activate'
$ source ~/.profile # 변경 세션 커널 즉시 적용
8. Nginx + Gunicorn + Flask 3티어 리버스 프록시 연동 아키텍처
웹 브라우저의 정적 요청(CSS, JS, Image)과 파이썬 프로그램의 동적 요청(DB 로그 데이터 쿼리)을 계층별로 라우팅하는 엔터프라이즈급 연동 체계를 수립했다.
① Nginx 가상 호스트 엔드포인트 바인딩
# 파일 경로 및 생성: /etc/nginx/sites-available/mysite
server {
listen 80;
server_name 192.168.0.24;
location = /favicon.ico { access_log off; log_not_found off; }
# 정적 자산(Static files) 서빙 성능 최적화를 위한 Nginx 다이렉트 맵핑
location /static {
alias /home/master/projects/mysite/flask/monitor/static;
}
# 동적 파이썬 컨텐츠: 내부 Unix 도메인 소켓을 통한 Gunicorn 미들웨어 토스
location / {
include proxy_params;
proxy_pass http://unix:/tmp/mysite.sock;
}
}
② 백엔드 환경 설정 파일 구축 (mysite.env)
# 파일 생성 위치: /home/master/projects/mysite.env
set FLASK_APP=monitor
set FLASK_DEBUG=true
APP_CONFIG_FILE=/home/master/projects/flask/config/production.py
③ OS 커널 시스템 데몬 레지스트리 서비스 이식 (mysite.service)
서버가 예기치 않게 다운되거나 다운타임이 발생해도 프로세스가 자동으로 재구동되도록 백그라운드 영속성 유닛(Systemd Daemon)을 생성했다.
# 파일 생성 위치: /etc/systemd/system/mysite.service
[Unit]
Description=gunicorn daemon
After=network.target
[Service]
User=master
Group=master
WorkingDirectory=/home/master/projects/mysite/flask
EnvironmentFile=/home/master/mysite.env
ExecStart=/home/master/projects/mysite/bin/gunicorn \
--workers 2 \
--bind unix:/tmp/mysite.sock \
"monitor:create_app()"
[Install]
WantedBy=multi-user.target
9. 프로덕션 가동 제어 및 데몬 스테이터스 실시간 진단
웹 인프라 파이프라인 설정을 끝마치고, 시스템 제어 엔진을 통해 각각의 분산 서비스를 올렸다.
# 인프라 서비스 가동 제어
$ sudo systemctl start nginx
$ sudo systemctl start mysite
# 실시간 프로세스 상태 트래킹 모니터링
$ sudo systemctl status nginx # Active: active (running) 정상 가동 상태 확인
$ sudo systemctl status mysite # Active: failed 상태 확인 (★디버깅 지점)
- 현상 분석: 현재
mysite.service구동 시failed가 마운트되는 것은 정상적인 빌드업 과정이다. - 원인 요인 및 후속 처리: 아직 오전에 작성한 통합 로그 분석 코드(3.py) 엔진을 Flask의 애플리케이션 팩토리 패턴인
monitor:create_app()구조 내부로 완전히 매핑 및 컨텍스트 이식을 완료하지 않았고, 가상환경(venv) 바이너리 절대 경로의 미세 오차 조율 단계가 남아있기 때문이다. - 계획: 인프라 웹 뼈대(Nginx ↔ Gunicorn 소켓 통신 가교) 구축은 완벽하게 마무리되었으므로, 후속 디버깅 세션에서
journalctl -u mysite로그를 추적하여 예외 처리를 정밀 타격하고 모니터링 대시보드 웹 전환을 완결 지을 것이다.