ML Research Scientist (Multimodal Language Model)

Seoul, South Korea
Engineering – ML Modeling /
Full-time /
Hybrid
[회사 소개]
트웰브랩스(Twelve Labs)는 영상이해 인프라 기반의 B2B 영상검색, 분류, 요약 등의 영상이해 API 플랫폼을 제공하는 AI 기술 스타트업입니다. 현재 미국 내 여러 다양한 기업에 대규모 영상 DB 내에서 이용자가 원하는 장면을 빠르고 정교하게 찾아주는 영상검색 API 를 제공하고 있습니다. Index Ventures, Radical Ventures 등으로부터 1,700만 달러 규모의 시드 투자유치, 최근 엔비디아, 인텔 등으로부터 1,000만 달러 규모의 전략적 투자 유치까지 총 2,700만 달러(약 360억 원) 규모의 투자를 유치했습니다. 또한 오라클(Oracle Cloud Infrastructure)과 전략적 파트너십 체결을 통해 다년 간 활용 가능한 수 천 대의 A100 및 H100 GPU로 구성된 대규모 클러스터를 확보했습니다. 현재 트웰브랩스는 영상이해에 특화된 수십억 파라미터 규모의 초대형 파운데이션 모델의 상용화를 위한 학습 및 배포에 박차를 가하고 있습니다.

[주요 업무]
트웰브랩스의 영상 검색, QA, 캡셔닝 등의 제품 발전에 필요한 AI 연구 프로젝트 진행 혹은 영상 이해 분야를 Data-centric하게 풀기 위한 AI 연구 프로젝트 진행
팀 리드와 논의하여 진행할 AI 연구 프로젝트를 정한 후 해당 프로젝트를 책임감 있고 주도적으로 수행
프로젝트 수행에 필요한 데이터 수집 및 라벨링 방법 및 수행 방식에 대한 논의
팀 내에서 진행 중인 각 프로젝트에 대해 ML 팀원 간의 정기적인 소통 및 피드백 제공
진행 중인 프로젝트에 대해 팀 리드를 포함하여 팀원들과 함께 정기적으로 소통하며 피드백 제공
팀이 가장 효율적으로 일할 수 있는 문화 및 필요한 환경에 대한 논의

[관련 연구]
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning
LLaVA: Large Language and Vision Assistant (Visual Instruction Tuning)
PaLM-E: An Embodied Multimodal Language Model 
Flamingo: a Visual Language Model for Few-Shot Learning

[자격 요건]
NLP 백그라운드를 가지신 분 중에서 Video Understanding, Multimodal AI system에 관심이 있으신분.
Video Understanding, Language Modeling, Vision + X, Open-domain QA, Generative Model, Video Representation Learning, Action Recognition, Multimodal AI 혹은 유사한 분야에서의 연구 경험 및 관심사를 가지신 분
위 연구 분야에서 관련 박사 학위 이상으로 산업에서 1년 이상의 경험을 하신 분, 혹은 관련 석사 학위 이상으로 산업에서 3년 이상의 경험하신 분
주어진 연구 프로젝트를 주도적으로 운영할 수 있는 능력
열정을 갖추어 본인의 직무에 책임감 있게 업무를 수행하시는 분

[우대사항]
대규모 상용 ML 제품 개발 경험이 있으신분
대규모 모델 학습 및 가속화 경험이 있으신 분
탑티어 AI 컨퍼런스 (NeurIPS, ICML, ICLR, AAAI, NAACL, ACL, EMNLP, CVPR, ICCV, ECCV, KDD, SIGGRAPH 등)에서 비디오, Vision + NLP, 멀티모달 관련 연구 출판 기록이 있으신 분 
국제 컨퍼런스 챌린지, Kaggle 대회, 혹은 국내 AI 대회에서 상위권 기록이 있으신 분
우수한 영어 작문 및 커뮤니케이션 역량 보유하신 분


[ML Modeling 팀 ML Research Scientist (Multimodal Language Model) 채용 상세]
• 고용 형태: Full-time 정규직 (수습 3개월, 급여 변동 없음)
• 근무 장소: 서울시 용산구 이태원로27길 39-11, 2층
• 채용 절차: 서류 전형 > P&C casual chat > 1차 인터뷰 > 기술과제 > (On-site) 직무 역량 인터뷰 > 최종 Culture-fit 인터뷰 > Reference Checks > 최종 합격
 제출 서류: 자유 양식의 상세 경력 기반의 국문 또는 영문이력서, 아래 필수 사전질문 답변 (PDF파일 권장)
• 지원서 외에 추가로 제출하고자 하는 자료 (e.g. GitHub, 기술 블로그, 개발 관련 포트폴리오 등) 는 careers@twelvelabs.io 로 보내 주셔도 좋습니다.

[필수 사전질문] (각 질문에 대하여 2-3줄 정도로 간략하게 기재해 주시면 됩니다.)
• 트웰브랩스 합류에 있어서 지원자분께서 가장 기대하고 계신 부분과 우려되는 부분이 있다면 무엇인가요?
• 지원자분께서 갖고 계신 지식과 역량, 종전의 경험 등이 트웰브랩스에 어떤 기여를 할 수 있다고 생각하시나요?
• 현재 시점에서 생각하고 계신 향후 커리어 패스 또는 커리어 골(Goal)은 무엇인가요? 
• 지원자분의 회사 선택의 기준(우선순위대로 3가지)과 일에서의 동기부여는 무엇인가요? 


[개발 문화]
• 뛰어난 코드 퀄리티를 유지하기 위해 서로의 코드를 리뷰하고 건전하게 피드백을 공유합니다.
• Dev Talk(사내 개발자 간 지식 공유 세션), Reading Book Club 등을 통해 서로의 인사이트를 자유롭게 공유합니다.
• 개개인의 작업 영역에 대하여 주인의식을 가지고, 높은 자율과 책임을 부여하고 있습니다.

[혜택 및 복지]
• 자유로운 재택 근무, 자율 출퇴근
• 구성원 개인명의 법인카드 제공(점심 식사, 사무용품 구입 등 비용 지원, 월 60만원 한도)
• 신규 입사 시 자유로운 비품 구입이 가능한 100만원 한도 비용 지원 
• MacBook Pro 16 등 각 포지션에 적합한 IT장비 지급
• 구성원 프리미엄 건강검진 지원 및 가족 검진 할인
• 개인 휴가와 별도의 매년 12월 2주간의 겨울방학
• 경조사 지원


[회사 연혁]
(2021.03) Twelve Labs 미국 법인 설립
(2021.04) 글로벌 액셀러레이터 Techstars Seattle 선정 및 프리시드 투자 유치
(2021.10) Microsoft 주최, ICCV 주관 2021 VALUE Challenge 영상검색 부문(Video Retrieval Track) 우승
(2021.12) Index Ventures 외 16곳 기관·엔젤투자자로부터 500만 달러 규모의 시드1 투자 유치

(2022.04) Twelve Labs Search API 클로즈드 베타 서비스 시작
(2022.05) 글로벌 시장조사기관 CB 인사이트 세계 100대 AI 기업(CB Insight 2022 AI 100) 국내 유일 선정
(2022.07) 비개발자용 영상검색 API 테스팅용 웹 플랫폼 API Playground 공개
(2022.10) 한국경제신문, AI One Team 주최 2022년 Korea AI Startup 100 AI 솔루션 플랫폼 부문 선정
(2022.10) Radical Ventures 외 11곳 기관·엔젤투자자로부터 1,200만 달러 규모의시드2 투자 유치
(2022.11) 오라클(Oracle Cloud Infrastructure)과 다년 간의 클라우드 파트너십 체결
(2022.12) 2022년도 하반기 전문연구요원 병역지정업체 선정

(2023.03) Fast Company’s Most Innovative Companies of 2023
(2023.04) 영상언어 기반모델 Marengo 2.5 기반 영상이해 API 플랫폼 오픈 베타
(2023.06) CB 인사이트 세계 100대 AI 기업(CB Insight 2023 AI 100) Search 부문 2년 연속 선정
(2023.07) 미국 비즈니스 인사이더 ‘최고 유망 AI 스타트업 34’ 선정
(2023.10) 엔비디아, 인텔 등으로부터 1,000만 달러 규모의 전락적 투자 유치
(2023.10) 80B 파라미터 규모 초거대 영상언어 생성모델 Pegasus-1 공개

트웰브랩스의 주요 VC, 투자자 및 자문위원으로 Notion, Discord 등 90개 이상의 유니콘 기업에 투자한 실리콘밸리 VC Index Ventures, 캐나다 AI 전문 VC Radical Ventures, ImageNet 창시자인 Stanford University의 Fei-Fei Li 교수, Scale AI의 Alex Wang 대표, Transformers 모델의 창시자 Aidan Gomez, Allen Institute of AI의 Oren Etzioni 대표, Weights and Biases의 Lukas Biewald 대표, Algolia의 Nicolas Dessaigne 대표, 새한창업투자의 Yoon Kim 파트너(전 SKT CTO, 전 Apple Siri Team 매니저) 등이 있습니다.


[참고 링크]
https://www.intelcapital.com/investing-in-twelve-labs-building-the-most-powerful-video-understanding-infrastructure/
https://techcrunch.com/2023/10/24/twelve-labs-is-building-models-that-can-understand-videos-at-a-deep-level/?guccounter=1
https://app.twelvelabs.io/blog/introducing-pegasus-1
https://www.cbinsights.com/research/generative-ai-top-startups-2023/
https://n.news.naver.com/mnews/article/001/0014040002?sid=101
https://maily.so/joinery/posts/9c139ab2
https://www.cbinsights.com/research/artificial-intelligence-top-startups-2023/
https://techcrunch.com/2023/05/11/making-foundation-models-accessible-the-battle-between-closed-source-and-open-source-ai/
https://www.nfx.com/post/generative-ai-hot-75-list
https://www.fastcompany.com/90849183/most-innovative-companies-video-2023
https://techcrunch.com/2022/12/05/twelve-labs-lands-12m-for-ai-that-understands-the-context-of-videos/
https://zdnet.co.kr/view/?no=20221207140123
https://www.cbinsights.com/research/report/artificial-intelligence-top-startups-2022/
https://www.prweb.com/releases/2022/9/prweb18925036.htm
https://www.prweb.com/releases/twelve_labs_launches_transformative_ai_powered_video_search_platform/prweb18556666.htm


[유의 사항]
• 이력서 또는 경력기술서에 해당 포지션의 경력 사항을 최대한 구체적으로 상세히 기재해 주시기 바랍니다.
• 필수 사전질문 답변은 이력서의 경력사항 다음에 기재하여 하나의 PDF 파일로 제출해주시기 바랍니다.
• 그 외 추가로 제출하시고자 하는 자료(e.g. 연구개발 포트폴리오 등)는 careers@twelvelabs.io 로 보내 주셔도 좋습니다.
• 채용 과정에서 기술과제 등은 트웰브랩스의 영업상 비밀에 해당하며, 외부로 유출하실 경우 법적 책임을 부담하실 수 있습니다.
• 제출하신 지원서 내용이 차후 허위로 판명될 경우 입사가 취소될 수 있습니다.

 블로그: https://app.twelvelabs.io/blog
▶ 데모 동영상: https://youtu.be/ACmA1DLgY10?feature=shared
▶ 홈페이지: https://twelvelabs.io/
 공식 링크드인 채널: https://www.linkedin.com/company/twelvelabs/
▶ 공식 트위터 채널: https://twitter.com/twelve_labs
▶ 커리어 노션 페이지: https://www.notion.so/twelvelabs/Twelve-Labs-Careers-b2765828438e4884a9c0e1171dede4f0

본 채용 관련 문의는 careers@twelvelabs.io 로 연락 주시기 바랍니다.