AI 서비스 백엔드 개발자 · 아키텍트
- 개발 경력 16년(AI 서비스 개발 약 9년). 이커머스(SSG.COM)에서 이미지 검색·OCR·챗봇 등 AI 서비스 8건, 회계법인(삼정KPMG)에서 감사·규제 준수·M&A 업무용 AI 서비스 8건을 설계·개발
- 대규모 AI 서비스 운영: 상품 이미지 1억 개 인덱싱·일 100만 건 검색(SSG.Lens), 일 100만 건 상품 이미지 자동 검수, 전사 3,000명 이상 대상 사내 Private AI Chat
- LLM·RAG·AI Agent·Document AI 서비스 설계, AI 판정 결과를 담당자가 검토·확정하는 Human-in-the-Loop 구조와 정답 데이터 기반 품질 평가 체계 구축
- 아키텍처 설계부터 백엔드(Python · FastAPI · Django)·프론트엔드(Next.js)·배포(Docker Swarm/Compose)까지 1인 풀스택으로 서비스 4건 구축
- 금융보안 석사·모바일 보안 특허 출원 2건, 폐쇄망 배포·Private LLM 등 보안 요구가 높은 환경의 AI 서비스 구축
- 데이터 파이프라인(ETL·배치) 개발 및 운영, ML/DevOps 환경과 툴체인 구축
Skills
| Category | Item |
|---|---|
| Language | Python JavaScript TypeScript Java SQL |
| AI / LLM | Azure OpenAI vLLM Ollama Qwen GPT-OSS LangChain LangGraph MCP RAG Embedding · Vector Search Prompt Engineering Document AI(OCR · Layout Analysis) PaddleOCR-VL Azure Document Intelligence Azure Custom Vision Azure AI Search TensorFlow faiss |
| Backend | Django DRF Django Ninja Django Channels FastAPI Flask Celery Airflow Kafka Spring Netty |
| Frontend | Next.js React Svelte Tailwind CSS Ant Design TanStack Query · Table jQuery |
| Database | Oracle MySQL PostgreSQL pgvector Redis Elasticsearch(ELK) MongoDB Milvus ChromaDB Memgraph Neo4j |
| Infra / Toolchain | Docker Docker Swarm Docker Compose k8s Traefik Caddy MinIO Prometheus Grafana Elastic APM Tika SearXNG Playwright LibreOffice Power Automate GitHub Actions |
| Cloud | Azure App Service Azure Communication Services Azure AI Services |
Experiences
- Audit · Deal 본부와 고객사 대상 AI 서비스 8건 설계·개발 및 운영 (4건 1인 풀스택)
- 규제 준수 점검(RuleCompass), SOX 통제 테스트 자동화(AI SOX) 등 LLM·Document AI 플랫폼을 아키텍처 설계부터 배포(폐쇄망 포함)까지 담당
- 전사 3,000명 이상 대상 사내 Private AI Chat 구축 및 운영
- 고객사 AI 서비스 PoC 및 구축, 오픈 직전 정확도 이슈가 발생한 AI 검수 시스템에 투입되어 정식 오픈까지 안정화
- 온라인 사업부 법인 분리에 따른 관계사 전배
- 2017.09 ~ 2024.09 (7년) :
- 신세계페이먼츠 > SSG.COM > AI 팀 : 이미지 검색·상품 이미지 자동 검수·챗봇·OCR·RPA 등 AI 서비스 아키텍처 설계 및 백엔드 개발
- AI 서비스 파트 리더, 프로젝트 리딩 2건(상품 이미지 자동 검수, 챗봇)
- 2016.01 ~ 2017.08 (1년 7개월) :
- 이마트 > 신세계페이먼츠 > 물류개발팀 : 자동화 물류센터 배송지시/실적 데이터 연동
- 2013.04 ~ 2016.01 (2년 9개월) :
- 이마트(주) > 주문결제팀 : 주문/결제/장바구니/프로모션 개발
- 2011.05 ~ 2013.04 : 공공·유통 웹 서비스 개발(기상청, 근로복지공단, 롯데마트)
- 2010.06 ~ 2011.05 : 기술연구소 PKCS 암호화 모듈 개발, 모바일 보안 특허 출원 2건
Projects
법령·행정규칙·자율규제 등 외부 규범을 수집하고, 금융기관 내규가 외규의 요구사항을 반영하고 있는지 LLM으로 판정해 점검 보고서까지 생성하는 규제 준수 점검 시스템 개발
- 📊 성과 :
- 국가법령정보 OPEN API 기반으로 법령 5,600여 건·행정규칙 24,600여 건(조문 74만 건)을 조문 단위로 구조화하고 증분 동기화 체계 구축
- 조문 청크 39만 건을 임베딩해 형태소 분석과 벡터 검색을 결합한 하이브리드 조문 검색 구현(PostgreSQL + pgvector)
- 내규 문서(PDF/HWP)를 자동 변환·조문 분할하고 외규 인용·위임 관계를 자동 연결
- 점검 대상 선정 → 요구사항 도출 → 정합성 판정으로 이어지는 AI 점검 파이프라인을 화면에서 버튼 하나로 실행, 조문 13만 건·LLM 호출 15만 회 규모 배치를 체크포인트 기반 재개로 안정적으로 처리
- AI 판정은 후보로 제시하고 담당자가 검토·확정하는 Human-in-the-Loop 구조, 프롬프트 버전과 LLM 호출 로그를 보관해 판정 근거 추적
- 정합성 점검 결과 보고서(Word/PDF) 자동 생성, 요구사항·판정 결과 Excel 다운로드, ReAct 기반 조문 검색 AI Agent 제공
- 폐쇄망 환경 배포를 위한 오프라인 설치 번들(컨테이너 이미지·DB 덤프·소스) 생성/복원 절차 구축
- 👨🏻💻 Role : 풀스택 /1명
- 시스템·소프트웨어 아키텍처, 데이터 모델 및 4단계 점검 프로세스 설계
- 법제처 OPEN API 동기화, 문서 변환(LibreOffice·PDF→Markdown) 및 조문 분할 파이프라인 개발
- LLM 판정 파이프라인(규정 적용 판단, 요구사항 추출, 정합성 판정)과 프롬프트·모델 프로필 관리 기능 개발
- FastAPI 백엔드 API, Celery 기반 배치 실행, Next.js 업무 화면(목록 필터/정렬, 담당자 확정·수정, Excel) 개발
- 보고서 생성(python-docx, matplotlib) 및 조문 검색 AI Agent 개발
- Docker Compose 배포 구성 및 폐쇄망 오프라인 번들 구축
자금세탁방지(AML) 국가위험평가 업무를 위해 국가별 위험 데이터셋을 자동 수집·표준화하고, 위험 등급 산정·보정부터 대시보드, Excel 산출, 이메일 발송까지 자동화한 웹 서비스 개발
- 📊 성과 :
- FATF, EU, INCSR, FinCEN, OFAC, UN, OECD, World Bank 등 20개 국가위험 데이터셋 수집·통합 관리
- ISO 3166 국가 마스터/alias 기반 국가명 매칭, LLM 기반 미매핑 국가 ISO 코드 추천 및 보정 프로세스 구축
- FATF 상호평가(R.1~R.40) 점수 설정과 FinCEN finding 국가/기관 매핑 관리 기능 제공
- GRR Final Results 산정, N/A 국가 제외 관리, 국가위험 지도/대시보드 제공
- 전체 국가위험 데이터 Excel 생성 및 Azure Communication Services 기반 이메일 발송·예약 발송 자동화
- 👨🏻💻 Role : 풀스택 /1명
- 시스템 및 소프트웨어 아키텍처 설계
- Next.js App Router 기반 화면/API 개발, 수집 진행 상황 실시간 스트리밍(NDJSON) 구현
- Playwright/Cheerio/pdf-parse 기반 크롤러 개발
- ExcelJS 기반 개별/전체 Excel export 및 이메일 발송 기능 개발
- 가입 승인·프로필 관리, 계정/IP 기준 로그인 실패 제한 등 사용자 인증 기능 개발
생성형 AI와 Document AI로 증빙 문서를 구조화하고, SOX(내부회계관리제도) 통제 테스트의 설계평가부터 운영평가·미비점 관리·보고서 생성까지 자동화한 감사 업무 플랫폼
- 📊 성과 :
- RCM(위험·통제 매트릭스) 등록부터 증빙 검토, AI 통제 테스트, 미비점 평가 및 보고서 생성까지 SOX 테스트 전 과정을 하나의 플랫폼으로 통합
- OCR과 멀티모달 LLM을 결합해 PDF/이미지 증빙에서 텍스트, 표, Key-Value 및 위치 좌표를 구조화하고 근거 원문을 함께 추적할 수 있도록 구현
- 통제 절차와 증빙 분석 결과를 기반으로 테스트 규칙 생성, 설계평가, 통제 수행 결과 판정 및 개선 의견 생성을 자동화
- RCM 및 감사 기준 문서를 임베딩한 하이브리드 검색과 Tool Calling 기반 AI Agent를 구축해 답변 근거와 참조 문서를 제공
- 👨🏻💻 Role : 풀스택 /1명
- 시스템 및 소프트웨어 아키텍처 설계
- SOX 업무 프로세스와 데이터 모델 설계
- Document AI 파이프라인 및 AI 통제 테스트 엔진 개발
- LangGraph 기반 AI Agent와 RAG/RCM 검색 기능 개발
- FastAPI 백엔드 API 및 Next.js 업무 화면 개발
- 사용자/권한, 모델 연결, 지식베이스 및 운영 설정 관리 기능 개발
- Docker Swarm, Traefik 기반 컨테이너 배포 환경 구성
식품 패키징 제작 과정에서 표시사항 의뢰서(문서)와 디자인 도안(고해상도 이미지) 간 텍스트·표기 일치 여부를 멀티모달 AI로 검수하는 시스템. 오픈 직전 판별 정확도 이슈를 해결하기 위해 프로젝트 중간에 투입되어 정확도 개선과 안정화를 담당
- 📊 성과 :
- 서식 검수 → 의뢰서·도안 일치검사 → 시안 간 차이 식별로 이어지는 3단계 검수 파이프라인 정비
- 도안의 OCR 오인식·텍스트 파편화를 레이아웃 블록 그루핑과 도메인 정규화 사전(단위·특수기호·다국어 Unicode 표기·원재료명 오타 패턴) 전후처리로 보정하고, GPT-5 기반 문맥 매핑으로 판별 정확도 개선
- 정답 데이터 기반 Precision·Recall·F1 평가 체계와 정상/노이즈 테스트셋을 마련해 개선 효과를 정량적으로 검증하고, LLM 응답의 비결정성을 분석해 검수 기준에 반영
- 직접 추출한 텍스트와 OCR 영역의 판정 신뢰도를 구분하고, 신뢰도 점수 기반 Human-in-the-Loop 판정 구조 설계: 고신뢰 일치 항목은 자동 승인, 불일치·저신뢰 항목은 도안 위 좌표 하이라이팅과 함께 검수자에게 우선 전달
- 현장 통합 테스트를 거쳐 정확도 이슈를 해소하고 2026년 5월 정식 오픈·안정화 완료
- 👨🏻💻 Role : AI 아키텍트 (정확도 개선 담당)
- 멀티모달 추출 파이프라인 설계(Excel 파서, Document Intelligence 레이아웃 분석, PyMuPDF 텍스트·좌표 추출 + OCR 보완, Custom Vision 인증마크 탐지)
- 정규화 사전·전후처리 모듈 설계 및 GPT-5 프롬프트 기반 항목 매핑 로직 개선
- 신뢰도 기반 자동 승인/검수자 에스컬레이션 판정 로직과 백엔드 API 구조 정비
- 품질 평가 체계(정답 데이터·테스트셋·평가 지표) 수립 및 개선 전후 비교 검증
- 대용량 도안 전처리와 다중 AI 모델 호출 병목 해소를 위한 비동기 처리 구조 적용
딜(Deal) 본부의 M&A 업무를 위해 매물 소개 이메일을 AI로 분석하는 데이터 파이프라인과, 분석된 딜 정보를 검색·질의하는 AI Chat 개발
- 📊 성과 :
- M&A 관련 이메일 일 1,000건 이상 자동 분석(매수/매도 분류, 대상 기업·산업·희망가 등 핵심 정보 추출)
- RAG용 문서 60만 건 이상 인덱싱
- 👨🏻💻 Role : 백엔드 개발 /2명
- 시스템 구축 및 소프트웨어 아키텍처 설계
- M&A 이메일 분석 데이터 파이프라인 개발
- RAG 데이터 생성
- AI Chat 개발
전사 임직원이 사용하는 사내 Private AI Chat 서비스 개발
- 📊 성과 :
- 전사 3,000명 이상 동시 사용자 지원
- 일 1만 건 이상 문서 파싱 및 질의 처리
- 오픈 모델(GPT-OSS)과 자체 문서 파서를 적용해 내부 문서를 외부 유출 없이 지식 검색에 활용
- 👨🏻💻 Role : 백엔드 및 프론트 개발 /1명
- Open WebUI UI/UX 커스터마이징
- Tika, SearXNG, Playwright, Ollama, SSO 연동
- MCP 서버 개발
회계·감사 기준서와 사례를 검색해 근거와 함께 답변하는 AI 감사 업무 지원 서비스(RAG) 개발
- 📊 성과 :
- 검색 정확도 80% 이상
- 감사 기준서·사례 검색 시간 50% 이상 절감
- 👨🏻💻 Role : 백엔드 및 프론트 개발 /2명
- 데이터 파이프라인 개발
- RAG 및 LLM 프롬프트 개발
- 대시보드 개발
감사 대상 재무제표·주석의 숫자 검증(Footing: 합계 검증, 전기 금액 대사, 재무제표·주석 대사)을 자동화한 감사 지원 서비스 개발
- 📊 성과 :
- 푸팅 작업 시간 80% 이상 절감 및 교차 검증 지원
- 푸팅 정확도 80% 이상
- 👨🏻💻 Role : 백엔드 및 프론트 개발 /2명
- 화면 개발
- 전자공시 보고서(DSD) 파서 개발
- 자동 합계 검증, 전기 금액 대사, 재무제표(FS)·주석 대사
- 버전 비교, 결과 보고서 출력
이미지 검색 서비스(SSG.Lens)를 고도화해 멀티모달(이미지+텍스트) 검색, 클릭 기반 유사 상품 추천, 유사 브랜드 추천을 추가하고 상품 속성 정보를 LLM으로 고객 친화적인 문구로 가공
- 📊 성과 :
- 1억 개 이상 상품 이미지 인덱싱
- 일 100만 건 이상 검색 쿼리 처리
- 유사 이미지 검색 정확도 80% 이상
- 유사 브랜드 추천 정확도 80% 이상
- 🧩 주요 개선 :
- 디텍션/클래시피케이션 모델 개선
- 상품 속성 라벨 정보를 LLM으로 고객 친화적인 문구로 가공
- 멀티모달(이미지+텍스트) 검색 및 RAG 추가
- 클릭 기반 유사 이미지 상품 추천(AI Pick)
- 유사 브랜드 추천 추가(스타일 유사도 + 가격대 그래프 생성)
- 👨🏻💻 Role : 백엔드 개발 /2명
- AI 서비스 파트 리더
- 시스템/SW 아키텍처 설계
- Data/API Flow 설계
- 데이터 스키마 설계
- PostgreSQL, Elasticsearch, Redis, Milvus, Kafka Topic, Memgraph
- API 설계 및 개발
- Django Ninja API 개발
- Celery 추론 개발
- 배치 설계 및 개발
- Airflow DAG 개발
- 멀티모달 RAG, Milvus/Elasticsearch 구축
상품 설명 이미지 속 텍스트를 실시간으로 추출하고 LLM으로 가공해 시각장애인이 음성으로 들을 수 있도록 제공하고, 상품 크기를 생수병처럼 익숙한 물건과 비교할 수 있는 크기 비교 이미지를 생성하는 API 개발
- 📊 성과 :
- 일 10만 건 이상 이미지 처리
- API 평균 응답 시간 5초 이하
- 👨🏻💻 Role : 백엔드 개발 /1명
- 시스템/SW 아키텍처 설계
- API Process Flow 설계
- API 개발
- Django Ninja API 개발
- Celery 추론 개발
- 시스템/SW 아키텍처 설계
카메라 촬영만으로 신용/체크카드 번호와 유효기간을 인식해 결제 수단 등록 시 자동 입력
- 📊 성과 :
- 일 10만 건 이상 카드 OCR 처리
- OCR 정확도 85% 이상
- 평균 응답 시간 0.3초 이하
- 👨🏻💻 Role : 백엔드 개발 /1명
- 시스템/SW 아키텍처 설계
- API Process Flow 설계
- API 개발
- JavaScript 클라이언트 라이브러리 개발
- Django Channels WebSocket 이미지 전송 개발
- JavaScript ↔ Django Channels 간 E2E 암호화
- Celery 추론 개발
- 시스템/SW 아키텍처 설계
상품 이미지에서 영양성분과 축산물 가격/중량 정보를 추출하고 표시 위반 정보를 검출하는 배치 시스템 개발
- 📊 성과 :
- 10만 개 이상 상품 이미지 배치 처리
- OCR 정확도 85% 이상
- 👨🏻💻 Role : 백엔드 개발 /1명
- 시스템/SW 아키텍처 설계
- API Process Flow 설계
- ETL/API 개발
- 영양성분/축산물 추론 배치 개발
- 관리자 화면 개발
- 시스템/SW 아키텍처 설계
수입 상품 등록 시 업로드한 수입신고필증(PDF/이미지)을 관세청 국가관세종합정보시스템(UNI-PASS) 정보와 대조해 검증
- 📊 성과 :
- 일 1,000건 이상 수입신고필증 검증 처리
- 검증 정확도 90% 이상
- 검수 시간 90% 절감
- 👨🏻💻 Role : 백엔드 개발 /1명
- 시스템/SW 아키텍처 설계
- DRF API 개발
- 실시간 Celery 메시지 큐 기반 추론 개발
주문·배송·교환·반품 문의를 챗봇으로 해결하고, 카카오톡 채널과 삼성 RCS 메시지 등 외부 채널에서도 쇼핑 정보와 운세 콘텐츠를 제공
- 📊 성과 :
- 일 1만 건 이상 대화 처리
- 자동 응답률 90% 이상
- 👨🏻💻 Role : 백엔드 개발 /2명
- 프로젝트 리딩
- 시스템/SW 아키텍처 설계
- 빌더/API Flow 설계
- API 개발
- DRF API 개발
- 데이터 연동 및 생성
- Airflow DAG 개발
- Kafka 연동
- 챗봇 빌더 및 관리자 화면 개발
- Spring Framework
- jQuery
- 학습 데이터 생성/정제
상품 이미지의 품질과 이미지 내 텍스트의 위반 항목을 자동 검수 (상품 이미지 변경 → 이미지·정보 분석 → 위반 검수 → 위반 항목 처리 요청)
- 🧩 검수 항목 :
- 이미지 미존재/단색/품질/크기 비율 체크
- 금칙어 검색
- 원산지/제조국/안전인증번호 체크
- 유해 바코드 검색
- 유해·금지 이미지(금지 문양 등) 체크
- 불필요한 텍스트, 테두리 체크
- 📊 성과 :
- 일 100만 건 이상 상품 이미지 자동 검수
- 👨🏻💻 Role : 백엔드 개발 /2명
- 프로젝트 리딩
- 시스템/SW 아키텍처 설계
- Docker Swarm 기반 메시지 큐 방식 추론 구축
- DRF Data Interface/Inference API 개발
- Data ETL 개발(Python Celery)
- 학습 데이터 생성/정제, 학습 데이터 생성 툴 개발
언어로 정확히 표현하기 어려운 스타일(예: 하늘하늘한 블라우스)을 카메라 촬영 이미지나 상품 이미지로 검색해 유사 상품을 찾아주는 서비스
- 📊 성과 :
- 1억 개 이상 상품 이미지 인덱싱
- 일 10만 건 이상 검색 쿼리 처리
- 🧩 주요 기능 :
- 유사 이미지 검색, 상품 라벨링
- 👨🏻💻 Role : 백엔드 개발 /2명
- 시스템/SW 아키텍처 설계
- Docker Swarm / Elasticsearch / Redis 구축
- DRF API 개발
- 학습 데이터 생성/정제/검수
- 유사도 비교 API 개발
- 📊 성과 :
- 기존 이마트/신세계 이커머스 사이트 통합
- 장바구니/프로모션 기능 통합으로 사용자 편의성 향상
- 물류센터 주문/배송 데이터 연동 시간 50% 이상 단축
- 👨🏻💻 Role
- 2016.07 ~ 2017.08 (1년 2개월) :
- 주문/배송 정보를 자동화 물류센터에서 피킹/패킹/출하/배송할 수 있도록 배송지시 데이터 전송 및 자동화 설비 데이터 연동
- 2013.04 ~ 2016.06 (3년 3개월) :
- 장바구니/결제/프로모션 개발, 신세계 포인트 적립 연동 개발
- 이벤트/프로모션 등록 개발
- 2016.07 ~ 2017.08 (1년 2개월) :
- 👨🏻💻 Role :
- 2012.08 ~ 2013.01 (6개월) : 기상청 기상자료 민원 신청·결제·증명서 출력 화면 개발
- 2012.07 ~ 2012.09 (3개월) : 롯데마트 문화센터 강좌 등록 관리자(BO) 웹 서비스 개발
- 2011.12 ~ 2012.05 (6개월) : 근로복지공단 DC/DB/IRP 퇴직연금 등록 BO 화면 개발
- 2011.05 ~ 2011.12 (8개월) : 기상 관측 데이터 그리드 화면 및 위성 데이터 이미지 조회 화면 개발
- 일별/월별/연별 기상 데이터 조회·통계, 예보/특보 조회 웹 서비스 개발
- 👨🏻💻 Role :
- 2011.01 ~ 2011.03 (3개월) : 스마트 전자정부 서비스 앱 보안 취약성 검증 시스템 구축
- iOS(Objective-C), Android(Java) 앱의 전자서명·해시 기반 애플리케이션 위변조 검증
- 2010.06 ~ 2011.05 (1년) : KMA(Key Management Appliance)
- 국내 공인인증서 암·복호화를 위한 OpenSSL(C), Bouncy Castle(Java) 커스터마이징 개발
- 2011.01 ~ 2011.03 (3개월) : 스마트 전자정부 서비스 앱 보안 취약성 검증 시스템 구축
- 📄 관련 특허 출원 2건 : 모바일 애플리케이션 위변조 검증, 모바일 단말 비밀부호 입력