Megazone ICON 2026 행사 후기

개요

megazone 및 협력사들의 솔루션 소개와 함께 AI Infra/보안 관련 세미나

세션

• Megazone
• AWS
• Google Cloud
• New Relic
• Splunk
• GitLab
• Cloudflare 등

개인적으로 앞으로 회사에서 ML 서버를 둘 수도 있어 구축과 관련된 내용을 기대했으나  모든 연사가 이미 참석자들이 ML 서버를 갖추고 있음을 기초로 함

우리 회사도 근미래에 ML 서버를 도입한다면 적용할 수 있는 보안 혹은 observability 관련된 인사이트를 얻을 수 있었음

 

Main Session

Megazone

• Megazone 은 AI 와 관련된 서비스를 제공하려는 노력을 하고 있음
  • HALO
  • AIR
• AI 관련된 서비스를 제공할 때 유의한 “TRUST”
  • T : Tracebility, 토큰 사용량, 감사 로깅
  • R : Regulation, 역할, 조직별 정책, 모델/데이터/에이전트 별 권한 정책
  • U : User Access, 사내 권한 체계 연동, RAG/MCP/Agent 접근 권한 제어
  • S : Standardization, AI APP 개발/배포 표준
  • T : Tooling, AI Gateway, Guardrails
• megazone 은 AI Gateway 를 두고 권한 제어를 함
  • 토큰 사용량
  • 인증
  • 유량제어
  • LLM / MCP 등 AI 접근 권한
  • Guardrails
    • 프롬프트가 AI 로 하여금 공격이 될 수 있는지 (prompt injection)
    • Data Leakage 차단
    • 윤리/규정 필터
  • Audit Logs

 

Amorepacific

• 아모레는 글로벌 서비스를 하지만 모든 infra 는 국내에서 운영함
  • 따라서 글로벌에서 문의가 있을 경우 D+1 에 응답하는 경우가 많아 AI 자동화를 도입함
• HelpDesk 관점에서의 AI 사용
  • HelpDesk 는 프로그래밍과 거리가 있기 떄문에 무조건 자연어로만 처리하도록 유도
  • 기존 모든 질답을 분석 후 16개 유형으로 가공하여 데이터 제공
• 인프라 문의 관련
  • 현재 인프라 문의할 때 AI 가 50% 이상을 대신 답변함
  • RAG 기반 지식검색으로 자동 답변 (domain context)
  • JIRA 와 연동하여 티켓 단위 관리
• AI 실행 자동화 영역을 어떻게 구현할 것인가?
  • 실제 업무 처리 까지 연결 필요
  • 외부 시스템과 연동 (DB, Gialab DUO(문서 하단 참조), ISE)
  • 자동화로 속도 향상

각주 : 다른 세션에서도 지속적으로 강조되는 사항은, AI 에게 도메인 지식을 부여하는 것(AI 성능은 모델보다 데이터 품질 + 컨텍스트 중요), 그에 따른 보안에 유의하는 것. 이번 세미나의 공통된 주제처럼 보였음

 

Learning Session

 

러닝 세션에서는 관심있는 세션으로 계속 옮겨 다니며 들었음

특히 만약 회사에 ML 서버가 들어온다면 어떻게 대응하는 것이 좋을까? 하는 관점으로 세미나에 참석하였음

다만 이번 세미나에서는 모델 자체에 대한 보안보다 ML 서버와 public internet 간의 관계에 대한 집중이 많았음

 

 

ChatGPT 쓰지 말라고만 할 건가요? AI 도입의 ‘적’이 아닌 ‘가드레일’이 되는 보안 전략

 

Check Point 사의 자사 솔루션을 소개하며 AI Guardrail 에 대한 소개

• AI 시스템이 윤리적, 법적, 기술적 경계 내에서 작동하게 하는 메커니즘
• 모델의 input / output, 처리 등을 제어하는 정책 + 기술 + 모니터링 시스템
• 방지하는 위험 요소
  • AI 환각
  • 데이터 유출 (민감 정보, 직원의 개인정보 등)
  • prompt injection
    • e.g. email 내에 난독화된 악성 코드를 삽입하여 email 을 요약하는 ai agent 가 실행하게 함

 

1. 보안 아키텍처의 변화와 여정 - 기존 IP 중심의 네트워크 보안에서 Cloud 와 GenAI 를 관통하는 Zero Trust 보안 : Zscaler

2. 실 운영을 바탕으로 살펴보는 제로트러스트 사례 : Cloudflare

 

위 두개 세미나는 비슷한 측면이 많아 한 데로 묶었음

줄이면, 자신들이 auth server 로 대응하며 public internet/다른 서버와 통신할 때 trust layer 로 동작하게 할 수 있다는 것이었음

Zscaler

 

cloudflare

 

두 회사 모두 자신들이 trust layer 가 돼서 auth 를 중개하겠다는 방식

다만 cloudflare 는 자신들이 “SASE” 라는 플랫폼을 통해 AI, MCP 등에 대한 접근을 제어해준다고 함

아마도 향후에는 AI GW 가 API GW 통합이 이뤄지지 않을까... 혹은 이미 이뤄지지 않았을까

• 구조
  • User → Cloudflare (SASE) → LLM
• 역할
  • 인증
  • prompt injection 탐지
  • guardrail
  • audit logging

 

Observability 데이터 수집 전략부터 인시던트 관리까지 - AIOps Ready 아키텍처 설계 방향 제안

Splunk 사의 SplunkITSI 를 사용하면 할 수 있는 효과

• 로그 / 메트릭 / 트레이스를 통합 수집함
  • 좋은 데이터를 수집하기 위해 로그도 잘 찍어야 함…
• 수집된 데이터로 할 수 있는 것
  • AI가 평소 학습한 데이터를 토대로 아래와 같은 일들을 할 수 있음
  • anomaly detection
  • event correlation
    • 알람 100개여도 실제 원인이 1개라면 여러 이벤트 묶어서 알려 줌
  • episode
    • 관련된 이벤트를 묶어서 보여 줌 (문제 단위로)
  • root cause 분석
    • 서비스 dependency 기반으로 원인을 분석함
    • API latency, DB latency…

 

1. AI 시대의 소프트웨어 개발 변화와 애플리케이션 보안의 대응 : Black Duck

2. AI 시대의 개발 흐름: 코드부터 배포까지 하나로 연결하는 DevOps 표준 : GitLab

1번 세미나에서 하는 일들을 2번 세미나에서 모두 포함하고 있음

 

Black Duck

Black Duck 세미나의 주된 내용은 AI 가 학습한 코드가 취약점을 유발하거나 버그인 코드가 있으니 SCA 를 강화하기 위한 차원으로 AI 가 SCA 하겠다는 것, 개인적인 생각으론 Coderabbit 이 opensource 로 잘 활용되고 있는데 Black Duck 사의 제품을 왜 써야하지…? 라는 생각이 들었음, 아직 내가 제품에 대한 이해를 자세히 못한 듯

 

GitLab

위 구성에 대한 모든 일을 AI Agent 가 처리할 수 있음

• GitLab Duo
  • 대화형 prompt 를 통해서 AI Agent 가 직접 티켓을 발행하고, 작업하고 MR 을 올리면 SCA 를 돌려 코드 리뷰까지 수행하고 GitLab Runner 가 돌아가는 것 까지 시연으로 보았음…

회사에서 GitLab 을 쓰고 있어 굉장히 흥미로웠으나 역시 모델이 자사 코드에 대한 학습 우려가 컸음

• GitLab Duo 가 프로젝트를 읽고 컨텍스트를 만들어 MCP 와 통신하거나 자체적으로 작업을 수행
• 이때 자사 코드에 대한 유출이 염려되었음
• SLM 혹은 bedrock 을 도입하는 방향으로 가지 않을까...

 

정리

ICON 행사를 통해 얻은 insight

• AI의 성공은 모델이나 인프라뿐만 아니라 데이터, 접근 제어, 보안, 그리고 운영 체계를 포함한 종합적 관점 필요
• 이를 위해 AI Gateway, Guardrails, Zero Trust, Observability, AIOps와 같은 요소들이 공통적으로 강조
• 결국 AI는 더 이상 도입하는 기술이 아니라 통제하고 운영해야 하는 시스템
• 앞으로 중요한 것은 ML 서버를 구축하는 것이 아니라 AI가 안전하게 동작할 수 있는 구조와 정책 그리고 전체 운영 아키텍처를 어떻게 설계할 것인가라는 점