어떠한 일련의 작업들을 순서대로 묶어 위험요소나 외부의 개입을 최소화하고 자동으로 실행하고자 할 때 파이프라인을 구축한다. 파이프라인의 개념이 적용되지 않은 머신러닝 프로젝트는 결과물을 얻기 위한 과정의 자동화와 재사용성이 확보되지 않기 때문에 일회성 PoC에 그칠 가능성이 높다. 머신러닝 파이프라인이라는 개념은 머신러닝 모델을 학습하고, 재사용하며, 필요한 자원들을 관리하고 배포하는 일련의 과정을 표준화하고 자동으로 동작할 수 있도록 하기 위해 논의 되기 시작했다. DAG 파이프라인은 대개 DAG(Directed acyclic graph: 방향성 비순환 그래프)의 형태를 띄고 있다. 이름에서 알 수 있듯이, DAG는 방향을 가지되, 루프는 존재하지 않아, 그래프의 시작과 종료가 이루어지는 시점이 명확하기에 파이프라인을 구성하는데 적절한 구조이다....

MLOps 도입 가이드 (저자: 데이터이쿠) 추천하는 대상: MLOps를 도입하기 위한 고민을 하는 분 한줄평: 머신러닝 모델을 배포하는 것은, 잘 돌아가는 걸 확인하는 하나의 단계일 뿐, 그 외 해야할 일은 많다. 더 이상 선택요소가 아니게 된 MLOps 머신러닝이라는 기술에 대한 고도화가 이루어져 다양한 분야에서 활용되고 있는 현 시점에서, MLOps 라는 방법론 한번 슬쩍 접하는 것이 아닌 필수 사항이 되어가고 있다. MLOps는 현재 명확하게 정립되지 않아 논문이 아닌 수많은 블로그 포스트들로 다루어지고 있고, 또 수많은 도구들이 나타나 서로가 편리하다고 주장을 하고 있는 상황이다....

오래간만에 다시 글또 활동을 시작하며 몇 개월 만에 새로운 글또 기수가 시작이 되었다. 이번 기수에도 크게 고민하지 않고 신청을 했는데, 지난 3번의 글또 활동을 시작할 때와 달리, 이번에는 시작을 앞둔 각오가 조금은 다른 것을 느끼고 있다. 이번에는 너무 잘 하려고 하지 않으려고 한다. 과거에는 회사에서의 일, 퇴근 후 개인 공부, 글또 등등 성장과 관련된 부분들은 전부 다 잡고 싶고 잘 하려고 했던 것 같다. 의욕만 과다했던 탓일까, 때로는 번아웃이 오기도 했고, 스스로 생각해도 퀄리티가 높지 않았지만 데드라인에 맞춰서 그냥 낸 적도 있다....

머신 러닝 파워드 애플리케이션 (저자: 파노스 알렉소풀로스) 추천하는 대상: 데이터 모델을 개발하거나 체계를 구축하는 업무를 하시는 분 한줄평: 데이터는 금가루가 박혀있는 원석. 시맨틱 데이터 모델링은 원석을 정제해서 금가루를 모아 금괴로 만드는 기술. 시맨틱 데이터 모델링이란 데이터는 그냥 쌓아둔다고 좋은 것이 아니다. 데이터는 사용이 가능하도록 분류하는 과정을 거쳐 저장되어야 적절히 사용할 수 있다. 지극히 당연한 이야기지만, 데이터를 분류할 때 어떠한 의미를 부여할 것인지에 대해 생각해보자면, 막막할 때가 많다....