전체 글362 dbt ; data build tool - SQL master 이것만 기억하자 || || || dbt 도입을 고려하지 않아도 될 때 사내에 SQL을 다루는 인원이 많지 않을때 하둡 기반 데이터 웨어하우스, Spark 기반 데이터 프로세싱이 더 익숙하고 잘 유지가 되고 있을 때 체계적인 메타 정보와 테이블의 관리보다, adhoc 요청을 처리하는 속도가 더 중요할 때 dbt로 ELT 파이프라인 효율적으로 관리하기 배경 www.humphreyahn.dev https://www.humphreyahn.dev/blog/efficient-elt-pipelines-with-dbt dbt를 활용하여 데이터 파이프라인을 구축한 사례 참고 https://medium.com/@henokdes1/data-engineering-data-warehouse-tech-stack-with-post.. 2022. 11. 17. 데이터 메쉬 vs 데이터 거버넌스 새로운 용어가 계속 등장한다. 이번엔 데이터 메쉬와 데이터 거버넌스에 대해 이해하자. TLDR - 데이터 메쉬 : 도메인(업무) 별로 시스템과 팀을 분리하는 구조를 Data 아키텍처. 즉, 마케팅, 영업, CS등 각 업무별로 데이터를 수집하고 분석하는 시스템과 인력을 독립적으로 운영하는 조직 구조와 분석 시스템 구조를 통칭함. - 데이터 거버넌스 : 메쉬가 MSA처럼 마이크로서비스 처럼 쪼개져서 관리한다면, 이것은 중앙집권화된 조직/분석시스템 구조다. Data Mesh는 기동성을 높인다는 의미에서는 장점이 있으나 반대로 단점도 있다. - 타 부서 데이터를 접근하는 것이 어려울 수 있다. (대안1) Tableau, Data studio 등 분석용 UI (시각화나 쿼리 인터페이스)를 통합하여, 같은 인터페이.. 2022. 11. 16. Github - branch 활용하는 법 어떻게 협업할까? branch 는 협업의 모든 것이다. # git구조 - 원본 원격저장소 - 복제한 원격저장소(없을 수 있음) - 복제한 로컬저장소 [참고자료] https://inpa.tistory.com/m/entry/GIT-%E2%9A%A1%EF%B8%8F-%EA%B9%83%ED%97%99-PRPull-Request-%EB%B3%B4%EB%82%B4%EB%8A%94-%EB%B0%A9%EB%B2%95-folk-issue # 기존 branch의 코드를 clone하는 방법 $ git branch -r #원격저장소의 branch리스트 가져오기 > remotes/origin/main remotes/origin/dev remotes/origin/sk-wip-12-sorting_features remotes/or.. 2022. 10. 18. 딥러닝- 얼굴 인식 분야 summary 2013,2018,2020 자료 읽어보았다. 2022. 10. 16. 이전 1 2 3 4 5 6 7 ··· 91 다음
