Data Mart, Data Warehouse, Data Lake
Data Lake 대규모의 데이터를 원시 그대로 저장하여 데이터의 다양성을 유지시키는 유형이다. 즉, 어떤 데이터를 수집하고 분석해야할지 정해져 있지 않은 경우에는 이 Data Lake를 구성한다. 구조화된(관계형 데이터), 반구조화된(CSV 또는 JSON 파일), 원시적인(기계 및 센서 데이터) 형태로 저장된 비정형(기계 및 센서 데이터) 데이터들이 저장된다. 개인적인 생각으로는 머신러닝이 발전되면서 정제된 데이터뿐만 아니라 모든 데이터에서 상관관계를 따져볼 수 있도록 학습 시키기 위해서 Data Lake가 발전되었다고 생각한다. Data Warehouse Data Warehouse 는 데이터 도매점과 같은 곳이다. 전사 또는 프로덕트에서 발생하는 데이터들이 모두 흩어져 있으나, 흩어져 있는 데이터들을..
Product Manager
2023. 2. 5. 12:31