Jaeyoung Lee

AI 인프라를 공부하는 석사과정 학생

단국대학교 일반대학원 인공지능융합학과 · BoanLab

#분산학습 #GPU스케줄링 #eBPF관측 #Kubernetes #LLM서빙보안

Summary

단국대학교 일반대학원 인공지능융합학과 석사과정(BoanLab)에서 AI 인프라를 연구하고 있습니다. Kubernetes 위의 GPU 워크로드를 대상으로, Time-Slicing/MPS 공유 환경에서 생기는 GPU 간섭을 eBPF로 관측하고 정량화하는 일과, LLM 서빙 환경의 런타임 보안(사이드카 게이트웨이, 정책 자동화)을 주로 다룹니다.

큰 모델을 학습하고 서빙하는 일은 결국 GPU 몇 장을 얼마나 효율적으로 굴리느냐의 문제라고 생각합니다. 그래서 프레임워크보다 그 아래 — 스케줄러, 네트워크, 메모리, 커널 — 에 더 관심이 많습니다.

Experience

석사과정 연구원

2025.03 – 현재
BoanLab, 단국대학교
  • GPU 공유 간섭: Time-Slicing / MPS 환경의 간섭 정량화·원인 귀속과 eBPF 기반 파드 단위 관측 (gSonar)
  • GPU 공유 플랫폼: Kubernetes 위 인터랙티브 워크로드용 GPU 공유 플랫폼 개발 (gShare)
  • LLM 서빙 보안: 사이드카 기반 LLM API 보안 게이트웨이(Sentra), LLM 기반 런타임 보안 정책 자동화(KubeScribe)
  • 서비스 메시 환경의 mTLS 네트워크 성능 분석

#GPU #eBPF #Kubernetes #LLMSecurity

학부연구생

2024.08 – 2025.02
BoanLab, 단국대학교
  • 분산 학습·GPU 관련 기초 연구 참여
  • 대규모 NLP 모델에서 병렬화 기법의 성능 분석

#DistributedTraining #GPU

학부연구생

2023.07 – 2024.07
CIS Lab, 단국대학교
  • 시각장애인을 위한 컴퓨터 비전 솔루션 개발
  • ML 모델 학습
  • 아두이노 기반 임베디드 보드 프로그래밍

#ComputerVision #Embedded

Education

석사과정 · 인공지능융합학과

2025.03 – 현재
단국대학교 일반대학원
  • 소속 연구실: BoanLab

학사 · 컴퓨터공학과

2019.03 – 2025.02
단국대학교

Publications

심사 중

  1. gSonar: Quantifying and Attributing GPU Interference under Time-Slicing and MPS
    Jaeyoung Lee, Jaehyun Nam
    IEEE Access·Journal
  2. ckptGuard: 구조-인지 보호와 스트리밍 복원을 통한 LLM 추론 체크포인트 보안
    Jaeyoung Lee, Jaehyun Nam
    ACK 2026 (한국정보처리학회 추계학술발표대회)·Domestic Conference

게재

  1. Time-Slicing GPU 공유 환경에서 eBPF 기반 파드 단위 관측 및 간섭 분석
    Jaeyoung Lee, Myeongdu Gim, Jaehyun Nam
    KCC 2026 (한국컴퓨터종합학술대회)·Domestic Conference·우수발표논문상
  2. Sentra: A Kubernetes Sidecar-Based Multi-Layer Security Gateway for Protecting LLM APIs
    Jaeyoung Lee, ChanUk Park, Jaehyun Nam
    MobiSec 2025·Poster·KIISC Best Poster Award
  3. KubeScribe: LLM-Driven Automation of Runtime Security Policies in Cloud-Native Environments
    Jaeyoung Lee, Jaehyun Nam
    ICTC 2025·Int'l Conference
  4. 쿠버네티스 기반 서비스 메시 환경에서의 mTLS 적용에 따른 네트워크 성능 분석
    Jaeyoung Lee, Heesu Lee, Jaehyun Nam
    ASK 2025 (한국정보처리학회 춘계학술발표대회)·Domestic Conference
  5. 대규모 NLP 모델에서 병렬화 기법의 성능 분석
    Jaeyoung Lee, Jaehyun Nam
    ACK 2024 (한국정보처리학회 추계학술발표대회)·Domestic Conference

Awards

  • 우수발표논문상2026
    KCC 2026 · 한국정보과학회
  • Best Poster Award2025
    MobiSec 2025 · 한국정보보호학회(KIISC)
  • 후원기업상 (포티투마루)2024
    2024 SW중심대학 디지털 경진대회 SW부문 · 소프트웨어중심대학협의회
    본선 진출 · 팀 단컴한 인생 · 프로젝트 Ghost Band
  • 우수상2024
    2024 AI 아이디어 경진대회 · 학석사 연계 ICT 핵심인재 양성 사업 (단국대학교)
    팀 BAG · 프로젝트 보이스피싱 탐지 및 대응 가이드 (GAN 기반 딥보이스 탐지)

Projects

gShare

2026 – 현재
BoanLab
Kubernetes 위에서 노트북·터미널·IDE 같은 인터랙티브 워크로드가 GPU 한 장을 나눠 쓰게 해 주는 GPU 공유 플랫폼.
  • HAMi 기반 분할(fractional)·전용 GPU 세션과 VRAM 하드 리밋
  • 조직 → 그룹 → 사용자 계층의 크레딧 계정: 입장 시 홀드, 사용량 미터링, 월 리필
  • VRAM 초과 시 입장 큐잉, 세션 일시정지 시 GPU 반납, DCGM/HAMi 지표 기반 유휴 세션 자동 정리
  • FastAPI 백엔드 · Go(controller-runtime) 오퍼레이터 · React/TypeScript 프론트엔드 · Helm 배포, 멀티 클러스터 지원

GitHub·가이드 문서·소개 영상

#Kubernetes #GPU #HAMi #Go #Python #React

KloudChat

2026 – 현재
BoanLab
채팅·보고서·슬라이드·이미지·오디오/비디오를 한곳에서 만드는 셀프 호스팅 생성형 AI 워크스페이스. 시스템 설계와 배포·서버 운영 담당.
  • 워크스페이스(KloudChat)와 모델·도구 백엔드(KloudChat-LLM)를 게이트웨이 URL 하나로 분리하는 구조 설계: 백엔드 장애 시에도 로그인·기록·워크스페이스는 유지
  • 사용자별 LiteLLM 가상 키로 모델 호출 비용과 감사 로그를 개인 단위로 추적하고, 월 크레딧 한도를 매 턴 사전 검사
  • Docker Compose 기반 서비스 배포(웹 · API · PostgreSQL · PDF 렌더러) 및 서버 운영

GitHub·가이드 문서·소개 영상

#LLM #LiteLLM #Docker #PostgreSQL #FastAPI

gSonar

2025 – 2026
BoanLab
Time-Slicing / MPS 로 GPU 를 공유할 때 생기는 간섭을 정량화하고, 어떤 파드가 얼마나 원인인지 귀속하는 관측 시스템.
  • eBPF 로 파드 단위 GPU 사용을 커널 수준에서 관측
  • 공유 모드별 간섭 정량화 및 원인 귀속 모델

#GPU #eBPF #Time-Slicing #MPS #Kubernetes

Skills

Systems / Infra
Kubernetes · Docker · Linux · eBPF · Service Mesh / mTLS
GPU / ML
PyTorch · 분산 학습 (DDP, NCCL) · GPU Time-Slicing / MPS · LLM 서빙
Languages
Python · Go · C/C++ · Bash