Data Engineer (AI Platform)

Location: Seoul

Department: 토스코어

합류하면 함께할 업무예요

토스 데이터 환경에 대해 숙지하는 온보딩 과정을 거친 이후, Data Warehouse Team 소속으로 아래 업무를 수행해요.

데이터 품질 플랫폼을 만들어요. 테이블 정합성을 개선하고, DQ Rule을 고도화하고, Health Check를 지표로 만들어요. 데이터를 쓰는 모든 사람이 "이 데이터, 믿어도 되나?"라는 불안 없이 일할 수 있도록 신뢰성 관리 플랫폼을 개발해요.
GraphRAG 파이프라인을 고도화해요. 온톨로지 YAML, SQL, 코드를 파싱해서 엔티티를 추출하고, 벡터 임베딩을 거쳐 Elasticsearch에 인덱싱하는 지식그래프 구축 파이프라인을 만들어요. 토스의 데이터 자산을 누구나 쉽게 탐색할 수 있는 구조로 바꾸는 일이에요.
MSA 아키텍처를 설계하고 운영해요. 온톨로지 플랫폼에 필요한 서비스를 마이크로서비스로 쪼개고, 각각을 안정적으로 설계·구현·운영해요.
AI 에이전트 인프라를 개발해요. CrewAI 같은 오픈소스 에이전트 프레임워크를 기반으로 멀티에이전트 워크플로우 실행 환경을 만들어요. MCP Tool Registry를 구축하고, 외부 MCP 서버와의 연동 인프라도 함께 개발해요.
조기경보 플랫폼을 구축해요. 데이터 이상 징후를 리니지·코드·트렌드 세 가지 관점에서 감지하고, 자동으로 알림과 분석까지 수행하는 모니터링 시스템을 만들어요. 문제가 커지기 전에 먼저 발견하는 구조예요.
리니지 추적 엔진을 개발해요. SQL을 파싱해서 컬럼 단위의 영향도 관계를 추출하고, 변경이 생겼을 때 어디까지 영향이 퍼지는지 자동으로 분석하는 시스템을 만들어요.

이런 분과 함께하고 싶어요

- Python 기반 백엔드 서비스를 설계하고 개발해 본 경험이 있는 분을 찾아요.
- 데이터 파이프라인이나 데이터 플랫폼을 직접 설계하고 구현해 본 경험이 있는 분이 필요해요.
- SQL을 깊이 이해하고 있고, 대규모 데이터 조회를 최적화해 본 경험이 있는 분을 찾아요.
- REST API 설계와 마이크로서비스 아키텍처에 대한 이해가 있는 분이면 좋아요.
- 반복되는 문제를 자동화된 시스템으로 풀어내는 데 관심이 있는 분이면 좋아요.
- FastAPI, Pydantic 기반으로 비동기 API를 개발해 본 경험이 있다면 좋아요.
- Kubernetes 환경에서 서비스를 배포하고 운영해 본 경험이 있다면 좋아요.
- Airflow 기반 데이터 파이프라인을 설계하고 운영해 본 경험이 있다면 좋아요.
- Elasticsearch를 활용하거나, 벡터 검색(KNN/HNSW)을 운영해 본 경험이 있다면 좋아요.
- StarRocks, Impala, ClickHouse 같은 OLAP 엔진을 써 본 경험이 있다면 좋아요.
- GraphRAG, Knowledge Graph, 온톨로지 등 시맨틱 데이터 모델링 경험이 있다면 좋아요.
- 데이터 품질 관리 플랫폼(DQ Rule 엔진, Health Check 시스템 등)을 개발해 본 경험이 있다면 좋아요.
- LLM API(OpenAI, Claude 등)를 연동하거나, AI 에이전트 프레임워크를 사용해 본 경험이 있다면 좋아요.
- MCP(Model Context Protocol)나 유사한 AI Tool 프로토콜을 다뤄 본 경험이 있다면 좋아요.