KubeFlow 쿠버네티스 기반 ML 워크플로우를 구축, 실행, 관리하기 위한 오픈소스 플랫폼 모델 개발과 배포를 위한 E2E 솔루션 제공 확장성과 유연성을 가지고, 다양한 머신러닝 프레임워크 통합 가능 기능적 특징 Distributed Training Pipeline Model Serving Model Management Jupyter Notebook Integration Metadata Store 활용 예시 분산모델 트레이닝 대규모 데이터셋을 다루는 복잡한 머신러닝 모델을 분산환경에서 트레이닝 모델 서빙 및 배포 학습된 모델을 쿠버네티스 클러스터에 배포 효율적 리소스 관리 스케일링 통해 모델 서빙 최적화 1....
MLOps 시스템에서 Feature Store는 빠지지 않는 구성 요소 중 하나이다. 하지만 여타 다른 구성요소들과는 달리 한번에 이해가 잘 되지 않아, 이번 기회에 개념을 정리해본다. Feature Store는 무엇인가? Feature Store는 머신러닝 모델 또는 데이터사이언스 프로젝트에 사용되는 Feature를 저장, 관리, 제공하는 중앙저장소 역할을 수행하기 위해 등장한 개념이다. Feature Store가 있음으로서 여러가지 모델에 사용되는 반복적인 Feature Engineering 작업을 줄이고, Feature들을 관리하고 추적할 수 있다. Feature Store는 왜 필요한가? 개인적으로 처음에는 잘 와닿지 않았다. 아마도 실무를 하던 각각의 ML엔지니어, 데이터사이언티스트들이 각자 담당하던 모델의 실험과 서비스의 PoC 단계의 업무만 해와서 그럴 수도 있었다....
사내에서 데이터 버전 관리에 대한 내용을 소개하면서 정리한 내용을 포스팅으로 재정리 해보았습니다. 1. 버전관리 1.1. 소프트웨어 엔지니어링에서 관점에서의 버전 관리 이제는 Git으로 익숙하게 접하는 버전 관리(version control)이 하는 역할을 소프트웨어 엔지니어링 관점에서 다시 한번 정리해보자면 다음과 같다. 소프트웨어를 이루는 코드와 패키지, 라이브러리 등에 생긴 변화를 추적하고 관리하기 위한 용도 여러 구성원이 소프트웨어를 개발할 때 발생하는 혼란을 줄이고, 효율적으로 협업할 수 있게 하는 용도 소프트웨어에 큰 문제가 발생했을 때, 빠르게 이전 버전으로 돌아가는 등, 에러나 실수로 인해 발생하는 손해를 최소화 하기 위한 용도 1....
Udacity의 MLOps 프로그램 Udacity의 MLOps 관련 강의인 Machine Learning DevOps Engineer Nanodegree를 최근에 수료했다. 수강료 할인과 좋은 기회가 있어 수강하기 시작했는데, 중간에 사정이 있어 잠시 수강을 멈췄다가 최근에야 프로젝트를 완료하면서 수료할 수 있게 되었다. MLOps에 관심이 많은 분들은 해당 강의에 대해 궁금하실 것 같아, 강의 컨텐츠와 후기를 정리해보고자 한다. 강의 컨텐츠 이 강의는 MLOps에 대한 기초를 다루고 있는 만큼, 파이썬은 물론이고 데이터사이언스와 머신러닝 프로젝트에서 자주 사용하는 라이브러리인 Pandas, Numpy, Scikit-Learn 등이 익숙한 사람들을 대상으로 한다....