Data Warehouse คืออะไร? ธุรกิจจำเป็นต้องมีเมื่อไร

ต่างจาก Database และ Data Lake อย่างไร

ฐานข้อมูลระบบงานหรือ Operational database เน้นอ่านและเขียนธุรกรรมอย่างถูกต้องรวดเร็ว เช่น สร้างคำสั่งซื้อ อัปเดตสต็อก หรือบันทึกการชำระเงิน โครงสร้างมักเหมาะกับกระบวนการของ Application นั้น ไม่ควรถูกใช้ทำรายงานหนักจำนวนมากหากกระทบผู้ใช้งานจริง

Data Warehouse เน้นการรวม จัดโครงสร้าง เก็บประวัติ และ Query เพื่อวิเคราะห์ ส่วน Data Lake มักเก็บข้อมูลดิบหรือกึ่งโครงสร้างได้หลากหลายกว่าและรองรับงานสำรวจหรือ Data science แต่ต้องมีกฎ Metadata, Quality และ Governance ไม่เช่นนั้นผู้ใช้จะหาและเชื่อถือข้อมูลยาก สถาปัตยกรรมสมัยใหม่อาจผสมความสามารถของ Warehouse และ Lake จึงควรเลือกจาก Use case ไม่ใช่ชื่อผลิตภัณฑ์

ข้อมูลและบทบาทที่ต้องเตรียม

กำหนด Business owner ของ Metric, Data owner ของแหล่งข้อมูล และทีมที่รับผิดชอบ Pipeline กับ Platform สร้าง Data dictionary สำหรับฟิลด์สำคัญ ระบุ Source of Truth, วิธีจับคู่รหัส, Time zone, รอบปิดงวด และกฎจัดการข้อมูลย้อนหลัง

ออกแบบสิทธิ์ตามหน้าที่ แยกข้อมูลส่วนบุคคลหรือข้อมูลอ่อนไหว จำกัดการ Export และบันทึกการเข้าถึงตามความเสี่ยง วางแผนเมื่อ Source เปลี่ยน Schema, API ล้มเหลว ข้อมูลมาช้า หรือผลรวมไม่ตรงกับระบบต้นทาง

วิธีเริ่มจากขอบเขตเล็ก

1. เลือกคำถามธุรกิจหนึ่งชุดและผู้ใช้ที่ตัดสินใจจากคำตอบนั้น
2. ระบุ Metric, Dimension, ช่วงเวลา และระดับรายละเอียดที่ต้องใช้
3. ทำแผนผังแหล่งข้อมูลและตรวจสิทธิ์ คุณภาพ กับความพร้อมของรหัสเชื่อม
4. สร้าง Pipeline และ Data model เฉพาะขอบเขตแรก พร้อมการทดสอบยอดรวม
5. เปิดรายงานให้ผู้ใช้กลุ่มเล็กและเทียบกับกระบวนการเดิม
6. บันทึกปัญหา คำถามใหม่ ต้นทุน Query และเวลาการดูแลก่อนขยาย

ตัวชี้วัดความสำเร็จ

วัดเวลาตั้งแต่ข้อมูลเกิดจนพร้อมใช้ ความครบถ้วนและความตรงเวลา อัตรา Pipeline สำเร็จ จำนวนเหตุที่ต้องแก้ Manual ความต่างจาก Source of Truth เวลาที่ใช้สร้างรายงาน และจำนวน Metric ที่มีเจ้าของกับนิยามชัด ดูการใช้งานจริงและการตัดสินใจที่เร็วขึ้นร่วมด้วย เพราะ Warehouse ที่ Query ได้แต่ไม่มีใครใช้ยังไม่ถือว่าสร้างคุณค่า

ข้อผิดพลาดที่พบบ่อย

• เริ่มจากเลือก Platform ก่อนรู้คำถามและผู้ใช้
• นำข้อมูลทุกอย่างเข้าไว้ก่อนโดยไม่มี Priority และ Retention
• เปลี่ยนนิยาม Metric ใน Dashboard โดยไม่แก้ชั้นข้อมูลกลาง
• ไม่เก็บประวัติการเปลี่ยนสถานะ ทำให้วิเคราะห์ย้อนหลังไม่ได้
• ไม่มี Monitoring และเจ้าของเมื่อ Pipeline ล้มเหลว
• ให้สิทธิ์กว้างเพื่อความสะดวกโดยไม่แยกข้อมูลอ่อนไหว