Airflow를 처음 알게 된 후, 이것 저것 찾아보는 중, 아래와 이미지를 접한 기억이 납니다. Source Airflow: a workflow management platform 수많은 태스크들이 모여 복잡한 DAG를 이루는 파이프라인이 구축되어 있는데요, 처음에 언뜻 봤을 때는, 정말 그럴 듯하고 멋있어 간지나 보였습니다. 하지만, Airflow를 적극 도입하려고 하는 현재 시점에서 다시 생각해보니, 막상 저런 파이프라인을 전부 다 파악하고 관리할 상상을 하니까 결코 쉽지 않을 것 같다는 인상도 피할 수 없었습니다. 하지만 이런 고민은 Airflow2에서부터 도입된 Task Group의 도움을 받아 개선할 수 있을 것으로 보입니다....

작년 Airflow를 처음으로 실전에 적용하는 과정에서, 다양한 환경설정과 그에 따라 달라지는 데이터베이스 등 신경써야 할 부분이 많았고, 이러한 점 때문에 지식 전달은 물론 다른 동료들이 직접 사용하는데 진입장벽이 좀 생긴다는 점을 느낄 수 있었습니다. 마침 새로운 프로젝트부터는 Airflow 2.x 을 도입하기로 했고, 적용해야 되는 김에 Docker를 활용했습니다. 그리하여 이번 글에서는 Docker를 활용한 Airflow 2.x을 설치하는 과정와 방법을 정리합니다. 기존에 많이 알려진 Airflow와 Docker와 관련된 예제에는 puckel의 Airflow Docker Image가 많이 사용되었는데요, 이 이미지는 Airflow 1....

한 권으로 읽는 컴퓨터 구조와 프로그래밍 (Jonathan E. Steinhart 저, 책만 사) 를 읽고 정리하는 요약 글입니다. 2장 - 전자 회로의 조합 논리 2.0. 전자 회로의 조합 논리 컴퓨터는 2진법을 적용한 비트를 내부 언어로 사용함. 컴퓨터는 비트를 기반으로 새로운 비트를 표현하고 연산하는 불리언대수 또는 조합논리(combinatorial logic)을 통해 구현한 기능을 통해 동작함. 2.1. 논리 게이트 1960년대 개발된 논리 연산을 수행하는 회로. 간단하게 게이트라고도 함. 앞서 1장에서 다루었던 기본적인 부울대수의 연산을 수행하며, 이들의 결합으로 더욱 복합적인 기능을 구현할 수 있음....

다시 돌아온 글또 6기 지난 5월 글또 5기를 마친 시점에서 여러가지로 굉장히 지쳤었던 생각이 납니다. 잠시 그때로 기억을 거슬로 올라가보면, 코로나 시국으로 인해 심적 피로가 쌓여가는 것을 느끼고 있었고, 회사 일과 병행하고 있는 방송통신대 3번째 학기 과제와 기말고사가 겹쳐있었던 시점이었던 것 같습니다. 글또 활동을 통해서 쓴 포스팅의 퀄리티도 곤두박칠 치지 않았나 생각이 들었습니다. 그래서 다음 기수에는 참여할 수 있을지 스스로 의문이 들기도 했습니다. 그런데 다시 신청했네요. 또 속냐 글또를 참여하는 이유 글또를 참여하는 분들마다 참여 동기와, 각자가 느끼는 글또의 매력은 다 다를 것입니다....