บทที่ 3: Designing Good Data Architecture

Data Architecture คืออะไร? #

การออกแบบระบบเพื่อรองรับความต้องการข้อมูลที่เปลี่ยนแปลงไป โดยใช้ flexible and reversible decisions ผ่านการประเมิน trade-offs แบ่งเป็น Operational Architecture (what ต้องทำ) และ Technical Architecture (how จะทำ)

9 Principles of Good Data Architecture #

1. Choose Common Components Wisely — เลือกเครื่องมือที่ใช้ร่วมกันทั้งองค์กร ลด silo
2. Plan for Failure — ทุกอย่างล้มเหลวได้ ต้องรู้ Availability (ความพร้อมใช้งาน), Reliability (ความน่าเชื่อถือ), RTO (Recovery Time Objective — เวลาที่ยอมรับให้กู้คืนได้), RPO (Recovery Point Objective — ระยะเวลาข้อมูลสูญเสียที่ยอมรับได้)
3. Architect for Scalability — scale up (รับ load สูง) และ scale down (ลดต้นทุน), elastic system, scale to zero
4. Architecture Is Leadership — data architect ต้อง mentor ทีม ไม่ใช่ command-and-control bottleneck
5. Always Be Architecting — มี baseline, target, และ sequencing plan
6. Build Loosely Coupled Systems — สื่อสารผ่าน API เท่านั้น (Bezos API Mandate)
7. Make Reversible Decisions — เลือก two-way doors เท่าที่ทำได้
8. Prioritize Security — zero-trust (ไม่เชื่อใจใครในระบบโดยค่าเริ่มต้น) + shared responsibility model (cloud รับผิดชอบ security of cloud, ผู้ใช้รับผิดชอบ in cloud)
9. Embrace FinOps — cost-aware engineering, ระวัง cost attacks

Major Architecture Concepts #

Batch Architectures #

• Data Warehouse (Inmon): Top-down — enterprise data warehouse ก่อน → data marts
• Kimball: Bottom-up — star schema (facts + dimensions), data marts ก่อน
• Cloud Data Warehouse: Redshift → BigQuery/Snowflake — separate compute from storage, pay-as-you-go
• Data Lake: HDFS (Hadoop Distributed File System)/cloud object storage → มักกลายเป็น data swamp (ที่ทิ้งข้อมูลเละ) ขาด schema management
• Data Lakehouse: Databricks — รวมข้อดี data warehouse (ACID — Atomicity, Consistency, Isolation, Durability) + data lake (object storage, multiple engines)
• Modern Data Stack: cloud-based, plug-and-play, off-the-shelf components

Streaming Architectures #

• Lambda Architecture: speed layer (streaming) + batch layer — แต่ manage 2 systems → error-prone
• Kappa Architecture: stream-processing platform เป็น backbone เดียว — ยังไม่ widely adopted
• Dataflow Model (Beam): ทุกอย่างคือ events — unbounded = stream, bounded = batch (stream ที่มี window)

Data Mesh (Zhamak Dehghani) #

Decentralization ของ monolithic data platform — 4 เสาหลัก:

1. Domain-oriented decentralized ownership
2. Data as a product
3. Self-serve data infrastructure as a platform
4. Federated computational governance

---