사이버 보안의 머신러닝(ML)

이 사이버 보안의 머신러닝 관련 기사는 정의, 유형, 과제 등 머신러닝의 핵심 요소를 설명합니다. 또한 사이버 보안에서 머신러닝이 수행하는 역할을 이해하고 머신러닝 모델을 평가하는 방법에 대한 지침을 제공합니다. 이 기사에서는 머신러닝의 이점과 사용 사례에 대한 검토도 다루고 있습니다.

AI, ML, 자동화가 위험을 사전에 식별하고 IT 팀과 비즈니스 이해관계자가 더 나은 의사결정을 내리는 데 필요한 이유를 확인해보세요.

머신러닝이란?

머신러닝은 인공지능(AI)의 하위 분야로, 이를 통해 시스템이 자동으로 특징을 식별하고, 정보를 분류하며, 데이터에서 패턴을 찾고, 결정 및 예측을 수행하며, 통찰을 발견할 수 있습니다. 과거 데이터는 알고리즘을 사용하는 시스템에 전송되어 머신러닝 모델을 생성하며, 해당 시스템이 지속적으로 학습하여 정확도를 높이도록 훈련합니다.

머신러닝 모델의 품질은 다음 두 가지 핵심 요소에 따라 달라집니다.

1. 입력 데이터의 품질(즉, 잘못된 데이터가 들어가면 잘못된 결과가 나옴)
2. 사용 사례에 대한 알고리즘의 적합성

머신러닝 모델의 알고리즘 선택은 사용 가능한 데이터의 유형과 수행해야 하는 작업에 따라 달라집니다.

사이버 보안 분야에서 머신러닝 알고리즘이 사용되는 예시는 다음과 같습니다.

• 의사결정 트리 알고리즘: 공격 탐지 및 분류
• 차원 축소 알고리즘: 노이즈가 많고 관련 없는 데이터 제거
• K-평균 클러스터링: 멀웨어 탐지 
• K-최근접 이웃 분류기(kNN): 인증에 사용되는 얼굴 인식
• 선형 회귀: 네트워크 보안 결과 예측
• 로지스틱 회귀: 사기 탐지
• 나이브 베이즈 알고리즘: 침입 탐지
• 랜덤 포레스트 알고리즘: 피싱 공격 분류
• 서포트 벡터 머신(SVM) 알고리즘: 블랙리스트에 포함된 IP 주소 및 포트 주소의 분류, 탐지, 예측

출처: Some Studies in Machine Learning Using the Game of Checkers

머신러닝이 사이버 보안을 혁신하는 방법

머신러닝 모델이 방대한 양의 데이터를 처리하고 그로부터 추론을 도출할 수 있는 능력은 사이버 보안 혁신의 핵심 동력입니다. 기존 보안 도구는 주로 사전 정의된 규칙과 알려진 위협 시그니처에 의존하므로, 새롭거나 진화하는 공격을 탐지하는 데는 한계가 있었습니다.

머신러닝은 적응적이고 사전 예방적인 방어를 가능하게 함으로써 사이버 보안 전략을 재편하고 있습니다. 위협이 진화함에 따라 이를 방어하기 위해 훈련된 모델도 함께 진화하며, 조직이 사후 대응적인 보안 태세에서 예측적인 보안 태세로 전환할 수 있도록 합니다.

머신러닝 모델은 방대한 양의 데이터로부터 지속적으로 학습하여 실시간으로 패턴과 이상 징후를 식별합니다. 이러한 인사이트를 통해 조직은 제로데이 공격과 같은 새로운 위협으로부터 심각한 피해를 입기 전에 이를 식별할 수 있습니다.

탐지 외에도 머신러닝은 사고 대응과 관리의 자동화를 주도합니다. 사이버 보안 시스템에서 머신러닝은 위협을 탐지한 즉시 사전 정의된 조치(예: 영향을 받은 시스템 격리 또는 악성 IP 주소 차단)를 몇 초 만에 실행하며, 이를 통해 피해를 최소화하고 공격 중에도 조직의 운영 연속성을 유지할 수 있습니다. 또한 보안 팀이 알림의 우선순위를 더 효과적으로 지정하고, 위협 조사와 차단에 걸리는 시간을 단축합니다.

사이버 보안에서 AI와 머신러닝의 역할

인공 지능(AI)과 머신러닝은 전례 없는 정확성과 속도로 위협을 예측, 탐지 및 대응하는 능력 덕분에 사이버 보안 솔루션의 핵심 구성 요소가 되었습니다. 사이버 보안에서 AI와 머신러닝의 주요 기능은 다음과 같습니다.

• 보안 침해나 공격 징후를 나타낼 수 있는 패턴 및 이상 징후 분석
• 복잡한 보안 프로세스와 사고 대응 자동화
• 기존 사이버 보안 조치의 효능 강화
• 과거 및 실시간 데이터로부터 지속적으로 학습
• 알려지지 않은 멀웨어와 제로데이 공격 탐지
• 이전 사이버 위협 경험을 기반으로 진화하는 적응형 방어 메커니즘 구현
• 잠재적 취약점 예측
• 실제 행동을 기반으로 보안 정책 최적화
• 수동 개입에 대한 의존도 감소
• 공격 시나리오 시뮬레이션

사이버 보안 도구에서 머신러닝의 예시

안티멀웨어 및 안티바이러스

코드 특성, 행동, 실행 패턴을 기반으로 악성 소프트웨어를 분류하고 탐지하며 제로데이 위협까지 식별합니다.

클라우드 보안 태세 관리(CSPM)

사용 패턴에 기반해 클라우드 환경 내의 구성 오류, 이상 활동, 정책 위반 가능성을 식별합니다.

이메일 보안 게이트웨이

콘텐츠, 발신자 행동, URL 패턴 분석을 통해 피싱, 스푸핑, 비즈니스 이메일 침해를 탐지합니다.

엔드포인트 감지 및 대응(EDR)

단순히 공격 시그니처가 아닌 행동 이상 징후를 기반으로 위협을 모니터링하고 분석합니다.

침입 탐지 및 방지 시스템(IDPS)

공격 시그니처가 알려지지 않은 경우에도 비정상적인 네트워크 트래픽 패턴을 탐지하고 무단 액세스를 차단합니다.

네트워크 트래픽 분석

네트워크 흐름 데이터를 검사하여 이상 징후를 파악하고, 측면 이동, 데이터 유출, 명령-제어 통신을 식별합니다.

보안 정보 및 이벤트 관리(SIEM)

과거 보안 이벤트 데이터로부터 학습하여 이벤트 상관 관계를 분석하고, 이상 징후를 탐지하며, 오탐을 줄입니다.

보안 오케스트레이션, 자동화, 대응(SOAR)

위협 인텔리전스와 행동 분석을 기반으로 알림의 우선순위를 정하고 대응 조치를 권장하거나 자동화합니다.

사용자 및 엔티티 행동 분석(UEBA)

사용자 및 시스템의 정상적인 행동에 대한 기준선을 설정하고, 외부 공격자 또는 악의적인 내부자로부터의 위협을 나타낼 수 있는 비정상적인 활동을 표시합니다.

머신러닝의 유형

사이버 보안의 지도 머신러닝

사이버 보안의 지도 머신러닝은 데이터를 분류하거나 결과를 예측하는 데 사용됩니다. 라벨링된 데이터 세트를 사용하여 알고리즘을 훈련하고, 입력 및 출력이 지정된 상태에서 상관 관계를 평가할 변수를 정의합니다. 교차 검증 과정에서 입력 데이터를 제공하면 모델은 과적합이나 과소적합을 방지하기 위해 가중치를 조정합니다.

사이버 보안에서 지도 머신러닝은 다음과 같은 방식으로 활용됩니다.

• 스캐닝, 스푸핑 등 네트워크 위험의 고유 라벨 식별
• 특정 보안 위협(예: 분산 서비스 거부, DDOS 공격)에 대한 대상 변수 예측 또는 분류
• 모델에 정상 및 악성 샘플을 학습시켜 새로운 샘플이 악성인지 예측하도록 지원

사이버 보안의 머신러닝 외에도, 지도 머신러닝은 다음 용도로 사용될 수 있습니다.

• 이진 분류: 데이터를 두 가지 범주로 나눔
• 다중 클래스 분류: 두 가지 이상의 유형의 답변 중에서 선택
• 회귀 모델링: 연속적인 값 예측
• 앙상블 학습: 여러 머신러닝 모델의 예측을 결합하여 정확한 예측 생성

사이버 보안의 지도 머신러닝에 사용되는 기술 예시:

• 적응형 부스팅
• 선형 회귀
• 로지스틱 회귀
• 나이브 베이즈
• 신경망
• 랜덤 포레스트
• 서포트 벡터 머신(SVM)

사이버 보안의 강화 머신러닝

강화 머신러닝은 사이버 보안 머신러닝에 사용되는 모델로, 지도 머신러닝과 유사하지만 샘플 데이터를 사용하는 대신 시행착오를 통해 알고리즘을 학습시킨다는 점이 다릅니다. 학습 과정에서 알고리즘은 긍정적 또는 부정적인 신호를 받으며, 긍정적인 결과를 추구하고 부정적인 결과를 피하도록 설계됩니다.

강화 머신러닝은 로봇 훈련과 같이 규칙이 명확하게 정의된 다단계 프로세스를 수행하도록 기계를 학습시키는 데 자주 사용됩니다.

사이버 보안에서 강화 머신러닝은 다음과 같은 방식으로 활용됩니다.

• 머신러닝 모델이 공격을 실시간으로 식별하고 대응할 수 있도록 훈련하는 적대적 시뮬레이션
• 자율형 침입 탐지
• 사이버-물리 시스템
• 분산 서비스 거부(DDoS) 공격 방어

또한 사이버 보안에서의 강화 학습은 다음과 같은 상황에서도 사용됩니다.

• 환경의 모델은 알려져 있으나 분석적 해법이 없는 경우
• 환경의 시뮬레이션 모델만 주어진 경우
• 환경 정보를 수집하는 유일한 방법이 상호작용뿐인 경우

사이버 보안의 강화 머신러닝에 사용되는 기술 예시:

• Deep Deterministic
• Deep Q Network(DQN)
• Policy Gradient(DDPG)

사이버 보안의 비지도 머신러닝

비지도 머신러닝은 사이버 보안에서 라벨링되지 않은 데이터 세트(예: 사진 이미지, 오디오 및 비디오 녹화물, 기사 또는 소셜 미디어 게시물)를 분석하고 클러스터링하는 데 사용됩니다. 사람의 개입 없이 숨겨진 패턴 또는 데이터 그룹을 식별할 수 있습니다.

이 알고리즘은 데이터 세트를 스캔하여 정보를 하위 집합으로 그룹화하는 데 사용될 패턴을 찾습니다. 비지도 머신러닝은 일반적으로 딥러닝에 사용됩니다.

사이버 보안에서 비지도 머신러닝은 다음과 같은 방식으로 활용됩니다.

• 비정상적인 행동 탐지
• 새로운 공격 패턴 식별
• 제로데이 공격 완화

사이버 보안을 위한 머신러닝 외에도, 비지도 머신러닝은 다음 용도로 사용될 수 있습니다.

• 이상 징후 탐지
• 연관 규칙 마이닝
• 클러스터링
• 차원 축소(데이터 세트 내 변수의 수를 줄이는 것)

사이버 보안의 비지도 머신러닝에 사용되는 기술 예시:

• K-평균 클러스터링
• 신경망
• 주성분 분석(PCA)
• 확률적 클러스터링
• 특이값 분해(SVD)

사이버 보안의 준지도 머신러닝

사이버 보안의 준지도 머신러닝은 지도 및 비지도 머신러닝을 결합한 형태입니다. 지도 학습 알고리즘에 사용할 라벨링된 데이터가 충분하지 않은 경우, 라벨링되지 않은 큰 데이터 세트에서 라벨링된 소량의 데이터 세트를 추출하여 분류 및 특징 추출에 사용합니다. 데이터 세트 라벨링 작업에 지나치게 비용이 많이 드는 경우에도 활용됩니다.

사이버 보안을 위한 준지도 머신러닝은 다음 용도로 사용될 수 있습니다.

• 적대적 신경망
• 악성 봇과 정상 봇 식별
• 멀웨어 탐지
• 랜섬웨어 탐지

사이버 보안을 위한 머신러닝 외에도, 준지도 학습은 다음 용도로 사용될 수 있습니다.

• 사기 탐지
• 데이터 라벨링
• 기계 번역

사이버 보안의 준지도 학습에 사용되는 기술 예시:

• 일관성 정규화
• 라벨 전파
• 의사 라벨링
• 자기 학습

사이버 보안에서 머신러닝의 이점

• BYOD (Bring Your Own Device) 및 CYOD(Choose Your Own Device)를 안전하게 구현할 수 있도록 지원
• 사이버 보안 프로세스 자동화
• 위협 탐지 강화로 초기 단계에서 위협 식별
• 적응형의 사전 예방적 방어 시스템 구현
• 위협 탐지 및 대응 시간 단축
• 탐지하기 어려운 네트워크 취약점 식별
• 이전 공격으로부터 학습한 내용을 내재화하여 유사한 프로필을 기반으로 미래의 공격을 방지
• 보안 분석가가 공격을 신속히 식별하고, 우선순위를 지정하며, 해결할 수 있도록 지원
• 인적 오류 최소화
• 얼굴 인식, 지문 인식, 동작 추적, 망막 스캐너 및 음성 인식과 같은 정교한 인증 메커니즘 지원
• 엔드포인트에 대한 보안 위협 방지 지원
• 고급 위협에 대한 인사이트 제공
• 업무량 감소
• 대량의 데이터를 스캔하여 멀웨어 탐지
• 정상 행동의 미세한 차이를 감지하여 아주 작은 이상 징후까지 식별

사이버 보안의 머신러닝 사용 사례

DDoS 공격 및 봇넷 방지

다양한 엔드포인트 간의 대규모 트래픽을 분석하도록 모델을 훈련하여 DDoS 공격(예: 애플리케이션, 프로토콜 및 볼류메트릭 공격) 및 봇넷을 사전에 식별하고 예측할 수 있습니다.

웹 쉘 식별

머신러닝 모델은 정교한 회피 기법에도 불구하고 웹 셸을 식별하도록 학습될 수 있습니다.

머신러닝을 통한 웹 셸 탐지는 다른 시스템보다 훨씬 더 정확한 것으로 입증되었으며, 특히 알려지지 않은 페이지에 대해서도 예측 능력을 크게 향상시킵니다.

위협 탐지 및 분류

머신러닝은 애플리케이션의 공격 탐지 및 대응을 용이하게 하고 신속하게 처리하기 위해 사용됩니다. 대규모 보안 이벤트 데이터 세트를 분석하여 악성 활동의 패턴을 식별합니다.

사고가 탐지되면 머신러닝 모델이 자동으로 조치를 수행합니다. 이때 사용되는 데이터 세트는 침해 지표(IOC) 및 보안 시스템 로그 파일 등 다양한 소스에서 수집됩니다.

멀웨어 탐지

모델은 애드웨어, 백도어, 랜섬웨어, 스파이웨어, 트로이목마 등 모든 유형의 멀웨어를 탐지하도록 학습될 수 있습니다. 머신러닝은 기존의 시그니처 기반 시스템이 놓치는 제로데이 멀웨어 탐지에도 효과적입니다.

네트워크 위험 점수화

머신러닝은 이전 사이버 공격 데이터 세트를 분석하여 특정 공격의 타겟 영역을 파악하고, 공격의 위치, 가능성, 영향을 정량화한 위험 점수를 부여합니다. 이 데이터는 조직이 자원 배분의 우선순위를 정하고 광범위한 공격 발생 시 대응 방향을 설정하는 데 도움이 됩니다.

애플리케이션 공격 방어

머신러닝은 HTTP/S, SQL, XSS 공격에서의 이상 징후를 탐지하도록 모델을 훈련시켜, 다양한 계층 7 공격에 취약한 애플리케이션을 보호하는 데 활용됩니다.

모바일 엔드포인트 보안

머신러닝은 모바일 기기에 대한 위협을 탐지하고 대응하는 여러 보안 애플리케이션에서 사용됩니다. 또한 음성 기반 명령 공격으로부터 사용자를 보호하기 위해 사용자의 음성과 해커의 음성을 구분하는 고급 머신러닝 기법도 활용됩니다.

보안 운영 센터(SOC)

이 머신러닝 사용 사례는 고용량으로 생성되는 대량의 데이터 분석을 자동화함으로써 보안 위협의 모니터링, 탐지 및 대응을 지원합니다.

피싱 공격 방지

머신러닝은 데이터를 실시간으로 분석하여 피싱 이메일을 식별하고 중지하는 데 사용될 수 있습니다. 이메일 헤더, 본문 내용 및 구두점 패턴을 기반으로 머신러닝 모델을 훈련함으로써, 유해한 이메일과 무해한 이메일을 구별하며, 패턴을 식별하여 가능한 피싱 공격을 분류하고 밝혀낼 수 있습니다. 또한 정상으로 보이는 이메일에 포함된 악성 URL을 식별하도록 훈련할 수도 있습니다.

작업 자동화

머신러닝은 네트워크 로그 분석, 위협 분석, 인텔리전스 분류, 취약점 평가와 같이 시간이 많이 걸리고 반복적이며 오류가 발생하기 쉬운 보안 작업을 자동화하는 데 뛰어납니다. 자동화를 제공하는 것 외에도, 머신러닝은 사람이 수행하는 것보다 훨씬 빠르고 효과적인 속도로 위협과 이상 징후를 식별할 수 있습니다.

사용자 및 엔티티 행동 분석(UEBA)

UEBA는 머신러닝을 활용하여 사용자 및 엔티티에 대한 완전한 가시성을 제공하고, 계정 침해를 탐지하며, 악의적이거나 비정상적인 내부자 활동을 완화 및 탐지합니다. 머신러닝 알고리즘을 사용함으로써 정상적인 행동 패턴에 대한 기준선이 설정되며, 늦은 밤 직원 계정의 로그인 시도나 일관성 없는 원격 접속, 평소보다 많은 다운로드 수와 같은 비정상적인 활동을 식별하는 데 사용됩니다.

이메일 모니터링 및 보안

머신러닝의 한 유형인 자연어 처리(NLP)는 이메일을 열지 않은 상태에서 메시지를 모니터링하고 멀웨어 및 바이러스 유무를 평가하는 데 매우 효과적입니다. 또한 머신러닝은 이메일 헤더, 본문 내용, 링크 및 전송 패턴을 분석하여 피싱 시도를 표시함으로써 피싱을 탐지하는 데 능숙합니다.

내부자 위협 탐지

머신러닝 모델은 사용자의 기본 행동(예: 로그인 시간, 파일 접근 패턴)을 학습하여, 사용자가 대량의 민감한 정보를 다운로드하는 것과 같이 악의적인 내부자의 징후일 수 있는 비정상적인 활동을 탐지할 수 있습니다.

방화벽 조정

머신러닝 모델은 실제 트래픽의 패턴을 지속적으로 학습하여 방화벽 도구가 합법적인 트래픽과 악성 요청(예: SQL 삽입 또는 교차 사이트 스크립팅)을 구별하도록 돕습니다.

인증을 위한 행동 생체 인식

머신러닝은 사용자가 입력하는 방식, 마우스를 움직이는 방식 또는 기기와 상호작용하는 방식과 같은 휴먼 행동을 지속적으로 분석합니다. 이는 올바른 로그인 자격증명을 사용하는 위조자를 탐지하는 데 도움이 됩니다.

위협 헌팅 및 포렌식

머신러닝은 로그 파일 및 텔레메트리 데이터의 방대한 정보량을 처리하여 숨겨진 위협을 밝혀내고, 침해 지표(IOC)를 연결하며, 공격 패턴을 찾음으로써 위협 헌팅 및 포렌식 작업을 용이하게 합니다.

공급망 공격 탐지

머신러닝 모델은 소프트웨어 업데이트, 서드파티 도구 행동 또는 공급업체 접근 방식에서의 비정상적인 패턴을 식별하여 잠재적인 공급망 침해를 표시할 수 있습니다.

머신러닝 모델 평가

머신러닝 모델이 솔루션에 사전 구축되어 있지 않은 경우, 사이버 보안 머신러닝을 위한 모델을 평가하고 선택할 때 주의가 필요합니다. 사용 사례와 데이터에 적합한 머신러닝 모델을 찾을 때 고려할 사항은 다음과 같습니다.

• 머신러닝 모델 지원에 사용 가능한 리소스(예: 훈련, 모니터링, 유지보수, 성공 측정) 결정
• 목표 설정 및 잠재적인 데이터 입력 식별
• 유사한 사용 사례에 대한 머신러닝 모델의 결과 평가
• 모델이 효과적으로 작동하기 위해 필요한 데이터의 양 파악

머신러닝의 과제 및 고려 사항

사이버 보안에서 머신러닝이 강력하고 효과적인 발전이라는 점은 의심할 여지가 없지만, 동시에 여러 과제가 존재합니다.

머신러닝과 관련하여 가장 일반적으로 언급되는 몇 가지 과제는 다음과 같습니다.

• 특정 정보가 누락되거나 오류가 포함된 데이터 세트로 학습한 모델의 알고리즘은 정확도가 떨어지게 됩니다.
• 머신러닝 모델의 성능을 최적으로 유지하려면 모니터링 및 유지보수가 필요합니다.
• 지나치게 민감한 머신러닝 모델은 오탐을 생성하여 경고 피로와 시스템에 대한 신뢰 저하로 이어질 수 있습니다.
• 사이버 보안 머신러닝을 구동하는 데 필요한 방대한 양의 데이터는 비용이 많이 드는 계산 및 데이터 처리 리소스를 필요로 합니다.
• 낮은 데이터 품질은 사이버 보안 머신러닝에 사용되는 모델의 성능을 저하시킬 수 있습니다.
• 사이버 보안에서의 머신러닝은 모델에 지시를 내리는 데 사용되는 알려진 시그니처나 패턴이 부족하기 때문에 제로데이 위협을 식별하는 데 어려움이 있습니다.

과적합 및 과소적합 역시 머신러닝 모델의 성능 저하에 따른 문제를 낳습니다.

• 과적합은 머신러닝 모델이 너무 많은 데이터로 훈련되어 노이즈나 부정확한 데이터를 훈련 데이터로 포착할 때 발생하며, 성능에 부정적인 영향을 미칩니다.
• 과소적합은 모델이 훈련 데이터의 패턴을 충분히 학습하지 못해 정확한 결과를 제공하지 못할 때 발생합니다.

머신러닝에 대한 오해

사이버보안에서 위협 대응 솔루션을 강화하는 머신러닝

사이버 보안의 머신러닝은 솔루션에 시간과 경험이 쌓일수록 더 효과적으로 조정하고 발전할 수 있는 특별한 강점이 있습니다. 머신러닝이 생성하는 위협 인텔리전스는 사전 예방적인 위협 방어를 지원할 뿐만 아니라, 솔루션 자체의 성능을 향상시키는 데에도 기여합니다. 머신러닝은 점점 더 보편화되고 있으며, 앞으로 많은 솔루션의 표준 구성 요소가 될 것으로 예상됩니다.

면책 조항: 이 기사에 포함된 정보는 정보 제공의 목적으로만 제공되며, 이 기사에 전달된 어떠한 내용도 어떠한 형태의 법적 조언을 구성할 의도가 없습니다. SailPoint는 법적 조언을 제공할 수 없으며, 관련 법률 문제에 대해서는 법률 전문가와 상담하시기를 권장합니다.