Token Engineer

Twelve Labs Inc.

Job Overview

Location

Seoul, South Korea

Job Type

Full-time

Full Job Description

📋 Description

• Token Engineer는 AI 사용을 단순히 줄이거나 비용을 사후 점검하는 역할이 아닙니다. 연구자와 엔지니어가 AI를 적극적으로 활용하면서도 비용, 성능, 보안, 안정성을 일관되게 관리할 수 있도록 토큰 관리 및 최적화 솔루션을 만드는 역할입니다.
• 여러 AI 코딩 도구와 모델 제공자가 각기 다른 사용량 및 비용 정보를 제공하는 환경에서, 이 역할은 요청 단위의 계측부터 중앙 정책과 자동 통제까지 이어지는 하나의 시스템을 설계하고 구현합니다.
• 초기 설계부터 프로덕션 운영까지 직접 책임지게 됩니다. Infrastructure, Security, Finance, IT, Research, Product, Engineering과 협업하면서, 사람의 수동적인 개입에 의존하지 않는 안전하고 투명한 AI 사용 환경을 구축합니다.
• 여러 AI 코딩 도구와 모델 API의 토큰 사용량, 비용, 모델, 지연 시간, 오류, 재시도, 사용자 및 팀 정보를 하나의 표준 데이터 모델로 수집하는 계측 파이프라인을 설계하고 구현합니다.
• 일별 사용량과 비용을 거의 실시간으로 파악할 수 있는 대시보드, 자동 알림, 이상 징후 탐지 시스템을 구축하고, 제공자 청구 내역과 내부 계측 결과가 일치하는지 지속적으로 검증합니다.
• 인증, 권한, 사용 한도, 예산 기준, 요청 속도 제한, 모델 및 제공자 라우팅, 캐시, 재시도, 감사 로그를 중앙에서 관리하는 AI 게이트웨이와 제어 계층을 설계하고 운영합니다.
• 과거 사용 데이터와 실제 업무 효과를 바탕으로 합리적인 기준선을 만들고, 생산성과 실험 속도를 해치지 않으면서 과도한 비용과 운영 위험을 막는 정책을 정의합니다.
• 원시 토큰 수나 청구 금액만 보지 않고, 성공한 작업당 비용, 지연 시간, 실패율, 재시도율처럼 실제 효율을 설명하는 지표를 설계합니다.
• AWS와 Kubernetes 환경에서 안전하고 확장 가능한 서비스를 구축하고, Infrastructure as Code, 비밀정보 관리, 역할 기반 접근 제어, 데이터 보존 정책을 적용합니다.
• 시스템의 서비스 수준 목표, 운영 절차, 장애 대응 체계를 정의하고, 비용 급증이나 제공자 장애가 발생했을 때 원인을 빠르게 좁히고 복구할 수 있는 도구를 만듭니다.
• 각 팀이 자신의 사용 현황과 개선 기회를 스스로 이해할 수 있는 셀프서비스 도구와 문서를 제공하고, 반복적인 수동 확인을 자동화합니다.
• 새로운 모델과 제공자의 품질, 비용, 지연 시간, 안정성을 비교하고, 업무 특성에 맞는 라우팅과 최적화 방안을 제안하고 구현합니다.
• 다양한 직군의 요구를 기술 설계로 바꾸고, 우선순위와 상충 관계를 명확히 설명하며, 모호한 문제를 실제 운영 가능한 시스템으로 끝까지 완성합니다.

🎯 Requirements

• 인프라, 플랫폼, 백엔드 또는 엔지니어링 분야에서 5년 이상 일했거나, 이에 준하는 깊이로 프러덕션 환경을 구축하고 운영한 경험이 있으신 분
• AWS와 Kubernetes를 활용해 실제 서비스를 구축하고 운영했으며, Terraform과 같은 Infrastructure as Code 도구로 반복 가능한 환경을 만든 경험이 있으신 분
• Python 또는 Go로 운영 도구가 아닌 장기적으로 유지되는 프로덕션 서비스를 개발할 수 있으신 분
• 로그, 메트릭, 분산 추적과 같은 관측성 데이터를 설계하고, 장애나 성능 저하의 근본 원인을 데이터로 찾아낸 경험이 있으신 분
• API 게이트웨이, 프록시, 네트워크, 인증 및 권한 관리 중 하나 이상의 영역을 깊이 다뤄본 경험이 있으신 분

🏖️ Benefits

• 글로벌 B2B 고객과 함께 성장하는 Global Team
• 자율성과 협업을 모두 갖춘 하이브리드 근무
• 최신 맥북 및 70만 원 상당 재택근무 장비 지원, 3년 주기로 최신 장비 교체
• Tokens never sleep - Tech 직군 LLM 토큰 무제한 지원
• 강의, 컨퍼런스, 멤버십 등에 사용 가능한 연 140만원 상당 자기개발비 지원
• 영어 교육 프로그램 및 글로벌 버디 프로그램 운영
• 야간 및 주말 출퇴근 택시비 지원

Skills & Technologies

Python

Kubernetes

Prometheus

Grafana

Onsite

Ready to Apply?

Apply Externally

You will be redirected to an external site to apply.

AI Job Fit Analysis

Pro

See exactly how your profile matches this role — strengths, skill gaps, and what to do about them.

Twelve Labs Inc.

Visit Website

About Twelve Labs Inc.

Twelve Labs builds multimodal video understanding AI. Its cloud platform transforms long-form video into vector embeddings that capture visual, audio, speech and contextual information, enabling semantic search, summarization, chaptering, moderation and analytics through a single API. Developers upload video, index it, then query in natural language or image to retrieve exact moments, generate highlights or detect unwanted content. Models are pretrained on large-scale web video, continually fine-tuned for accuracy and latency, and deployable on dedicated GPU clusters for enterprise security. Founded in 2021, the San Francisco company serves media, ed-tech, safety and e-commerce customers worldwide.

View Company Profile

Get more remote jobs like this

Subscribe to the weekly newsletter for similar remote roles and curated hiring updates.

Weekly remote jobs and featured talent.

No spam. Only curated remote roles and product updates. You can unsubscribe anytime.