AI Platform Engineer (Inference Pipeline)

Location: Seoul

Department: 토스코어

# 합류하게 될 팀에 대해 알려드려요
- "모델이 실험에서 멈추지 않고 실제 트래픽 위에서 돌아가게 만든다"는 미션을 가지고, 학습부터 서빙, 운영까지의 기반을 만들고 있어요.
- 플랫폼과 인프라를 실제 비즈니스 문제에 연결하는 일을 맡아요. 사람이 눈으로 확인하고 손으로 처리하던 대량의 판단 업무를, 여러 모델을 엮은 AI 파이프라인으로 바꿔요.
- 수천만 건 규모의 추론을 단기간에 처리해야 하는 일도 있고, 수십만에서 수백만 건을 낮은 지연으로 응답해야 하는 일도 있어요. 어느 쪽인지에 따라 파이프라인의 구조가 완전히 달라져요.
- 모델을 서빙하는 것 뿐만 아니라, 비용, 처리량, 그리고 안정성까지 전체 흐름을 end-to-end로 책임지며 여러 팀을 연결하는 역할도 맡아요.
- 플랫폼화 시키는 것을 고려하며, 서비스에 적용하는 작업을 수행한다는 점이 이 역할의 특징이에요. 한 서비스에서 풀어낸 방식이 다른 서비스에서의 출발점이 돼요.

# 합류하면 함께 할 업무에요
- ML, LLM, Vision 모델을 조합해 사람이 하던 대량의 판단 업무를 대용량 AI 파이프라인으로 자동화해요.
- 토스의 AI 플랫폼과 인프라를 각 도메인이 필요로 하는 형태로 연결하고, 여러 도메인에서 반복되는 요소를 공통 기능으로 끌어올려 플랫폼을 고도화해요.
- 외부 모델 API를 사용할지, 자체 모델로 옮길지를 비용과 성능을 근거로 판단해요. 데이터가 쌓이면 자체 모델로 전환하는 흐름까지 만들어요.
- 쓴 만큼 내는 종량제와 처리량을 미리 확보하는 PTU(예약 처리량)를 섞어 비용 구조를 설계하고, 같은 결과를 더 적은 비용으로 낼 방법을 계속 찾는 일이에요.
- 동기 호출로 감당되지 않는 규모는 요청과 결과를 분리한 비동기 구조나 대량 배치 처리로 나누어 설계해요. 순간적으로 몰리는 부하에도 전체 처리량이 흔들리지 않게 만드는 일이에요.
- Rate Limit과 이중화, 장애 전환, Fallback/Retry 등을 설계해 운영 안정성을 확보해요.
- 여러 모델과 처리 단계가 이어진 파이프라인을 end-to-end로 보며, 구간마다 흩어져 있는 숫자를 직접 검증해요. 제품, ML, 인프라 팀 사이에서는 기술 판단 기준을 제시하고 의견을 조율해요.

# 이런 분과 함께하고 싶어요
- LLM이나 ML 모델을 활용한 수천만 건 규모의 대용량 데이터 처리 파이프라인을 라이브 서비스 수준으로 설계하고 운영해본 경험이 있는 분과 함께하고 싶어요.
- 요청과 결과를 분리한 비동기 구조나 대량 배치 처리로 대규모 트래픽을 다뤄본 경험이 있는 분이면 좋아요.
- LLM 생태계를 이해하고, Pay-as-you-go, PTU, Batch API의 트레이드오프를 비용과 처리량 관점에서 판단할 수 있는 분이면 좋아요.
- Rate Limit과 이중화, 장애 전환, Fallback/Retry를 직접 설계해 장애 상황에서도 파이프라인이 멈추지 않게 만들어본 분과 함께하고 싶어요.
- 처리량이 기대만큼 나오지 않을 때 어느 구간이 문제인지 숫자로 찾아내고, 무엇을 포기할지까지 정해본 분과 함께하고 싶어요.
- 여러 팀이 얽힌 상황에서 기술 판단 기준을 제시하고, 복잡한 내용을 이해하기 쉽게 설명하며 협업을 이끌어본 분과 함께하고 싶어요.

# 이런 분이면 더 좋아요
- 이미지와 텍스트가 함께 들어오는 멀티모달 파이프라인을 설계하고 운영해본 경험이 있다면 좋아요.
- ML, LLM, Vision 모델의 동작 방식을 이해하고, 문제가 생겼을 때 직접 디버깅해 모델 코드까지 고칠 수 있다면 좋아요.
- 사람이 하던 대량의 판단 업무를 LLM으로 자동화해본 경험이 있다면 특히 함께하고 싶어요.
- 외부 모델 API와 함께 자체 모델을 서빙하면서, 추론 성능을 최적화해본 경험이 있다면 환영해요.

# 이력서는 이렇게 작성하시는 걸 추천해요
- 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
- 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
- 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
- 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

# 토스로의 합류여정
- 서류 접수 > 프리 인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
- 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요.
- 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

# 함께할 동료를 위한 한마디
> "좋은 모델이 나와도 그것만으로 서비스가 되지는 않아요. 여러 모델이 한 요청 안에서 사용되면, 어디가 느리고 어디가 비싼지가 그 구간을 찾아 구조를 바꾸고, 한 번 찾아낸 답은 다음 파이프라인이 다시 찾지 않도록 플랫폼화 시켜요."
- 같은 문제라도 처리량 기준이 열 배 달라지면 구조가 완전히 달라져요. 정해진 답을 적용하는 게 아니라 매번 조건을 보고 가장 나은 쪽을 고르는 일이에요.
- 여러 도메인에서 반복되는 요구를 공통 기능으로 끌어올려, 다음 과제가 더 적은 비용으로 올라갈 수 있게 만들어요.
- 느낌으로 이야기하지 않아요. 어느 구간이 몇 ms 줄었고 월 비용이 얼마나 내려갔는지로 판단해요.