data maturity ระดับความเชี่ยวชาญในการใช้ข้อมูล
เรียน data engineer bootcamp จบไปแล้ว แต่ชีวิตจริงเพิ่งจะเริ่ม
ได้หนังสือ Fundamentals of Data engineering มาอ่านจนวางไม่ลง
สำหรับวันนี้ อ่านมาเจอกับคำว่า data maturity มันถูกนิยามว่า
“Data maturity is the progression toward higher data utilization, capabilities, and integration across the organization, but data maturity does not simply depend on the age or revenue of a company”
โดยส่วนตัวแล้วนั้นจะขอแปลอย่างสั้นๆว่า “ระดับความเชี่ยวชาญในนำข้อมูลไปใช้ประโยชน์”
จริงๆแล้ว Data maturity Model มีอยู่หลาย version ครับ แต่จะขอยกจากหนังสือ fundamental เล่มนี้ ผู้เขียน แบ่งเอาไว้ 3 ระดับ คือ
- Starting with Data Level
- Scaling with Data Level
- Leading with Data Level
ทั้ง 3 ระดับนี้ สามารถไต่ขึ้นไปตามลำดับได้ ตามความเชี่ยวชาญที่ “องค์กรมี”
สำหรับ โพสท์นี้ อยากจะสรุปให้ลองอ่านกันครับว่า แต่ละระดับ องค์กรของแต่ละคนนั้นอยู่ที่ระดับอะไรกัน
Starting with Data Level - เพิ่งจะเริ่ม
เขาบอกว่าส่วนใหญ่แล้ว ถ้าองค์กรเพิ่งจะเริ่มใช้ Data หรือว่า เพิ่งจะเริ่มเก็บ Data
Data team มักจะเป็นทีมเล็กๆ ซึ่งแน่นอนว่า data engineer ก็คือ เป็ด หรือเรียกว่า generalist และมักจะเล่นทุกตำแหน่ง ไม่ว่าจะเป็น data scientist หรือ software engineer
แล้วถ้ายิ่งทีมไหนที่ยังไม่เข้าใจในศาสตร์ของการทำ data engineer แล้วละก็มักจะกระโดดไปทำ Machine Learning Stage กันเลย ซึ่งจริงๆแล้วไม่แนะนำให้ ทำ ML ใน Level นี้
แต่ไม่ได้บอกว่าทำ ML ไม่ได้ใน Level นี้นะ ทำได้แต่อาจจะไม่รอด เพราะจะไม่มีพื้นฐานของการทำ Data Foundation
โดยปกติการ Train Model ของ Machine Learning มักจะถูก stream เข้ามาในท่าต่างๆ ไม่ว่าจะ batch หรือ event-base (Stream) และจะมีการทำ Automate Deployment อยู่ตลอดเวลา และยังต้องคำนึงไปถึงเรื่องการ scaling ในอนาคตอีกด้วย
ให้ Data Engineer ที่เพิ่งจะอยู่ใน Level เริ่มต้นนี้ ควรจะโฟกัสในแต่ละข้อดังนี้
- รับ Requirement จาก Key Stakeholder ต่างๆ ซึ่งรวม ทุกระดับ บุคคลที่เกี่ยวข้องทั้งหมด ไม่ว่าจะบุคคลในทีม หรือ แม้กระทั่งระดับผู้บริหาร
- กำหนด Data Architecture ให้ถูกต้อง พิจารณาถึงเป้าหมายของธุรกิจ (Business Golds) และ ข้อได้เปรียบทางการแข่งขัน รวมถึงผลสำเร็จในอนาคต
- ระบุวิธีการตรวจสอบข้อมูล (Audit Data) เพื่อ Support การ Operate Data Architecture ที่ถูกออกแบบเอาไว้
- สร้าง Data Foundation ที่แข็งแกร่งก่อน เพื่อสร้าง Report และ Model เพื่อค้นหา Business Value
ทิปวิธีการสำหรับ Level นี้
- เริ่มอย่างรวดเร็ว กับการให้ความสำคัญข้อมูลในองค์กร แต่จงจำเอาไว้ว่า การเริ่มเร็วจะก่อให้เกิด Technical Dept อย่าลืมวางแผนเพื่อลดต้นทุนนี้ด้วย
- ออกไปคุยกับคนอื่นๆในองค์กรซะ หลีกเลี่ยง การทำงานแบบ Silos (โดยปกติแล้ว Data Team มักจะมีนิสัย ที่ไม่ค่อยสื่อสารกับนอกแผนก สักเท่าไร) เพื่อรับ feedback จาก business stakeholders ซึ่งก็มีข้อควรระวัง คุณจะต้องแบ่งเวลาจำนวนมากที่จะต้องทำงานออกไปใช้
- ควรใช้ Solution ที่ปรับแต่งได้ เพื่อสร้างข้อได้เปรียบทางการแข่งขัน
Scaling with Data - เติบโต
เมื่อองค์กรมาถึงจุดข้อมูลเริ่มเยอะขึ้น และพร้อมที่จะขยับออกไปอีกระดับ ความท้าทาย คือ การวางระบบให้สามารถ scale ให้กับ data architectures และ การออกแบบเพื่อรองรับในอนาคต เพื่อขับเคลื่อนองค์กรด้วย ข้อมูล (data-driven)
Data engineer ก็เริ่มขยับจากเบ้ (Generalists) ไปเป็น ชำนาญการ (Specialists)
Data maturity ใน Level ที่ 2 นี้ เป้าหมายคือ
- สร้างมาตรฐาน
- วางระบบให้สามารถ scale ได้และกำหนด data architecture ที่แข็งแกร่ง
- ใช้ความชำนาญในด้าน DevOps และ DataOps
- สร้างระบบที่สามารถ Support Machine Learning
ทิปวิธีการสำหรับ Level นี้
- เลือกเทคโนโลยีเพื่อช่วยประหยัดเวลาและพลังงาน เพื่อส่งคุณค่าโปรดักด์ให้กับลูกค้า
- โฟกัส Solution ที่ง่ายสามารถ Deploy และ ขยายทีมได้
- เริ่มสื่อสารกับทีมอื่นๆเกี่ยวกับการนำข้อมูลไปใช้ประโยชน์
Leading with Data Level
เมื่อเข้าสู่ความเป็นผู้นำ กับ Company is Data-Driven
Data engineer จะเริ่มมีบทบาทมากขึ้นในการสร้าง Automate Data Pipeline และ กำหนดการเข้าถึงข้อมูลโดยให้เหล่า User จัดการด้วยตัวเอง ไม่ว่าจะเป็นการทำ Analytics หรือแม้กระทั่งการทำ Machine Learning
Data engineer ก็เริ่มขยับจาก ชำนาญการ (Specialists) ไปสู่ เชิงลึก (deeply)
Data maturity ใน Level ที่ 3 นี้ เป้าหมายคือ
- สร้างระบบอัตโนมัติในการเก็บข้อมูล
- โฟกัสในการสร้าง Tools และ ระบบเพื่อใช้ประโยชน์จาก Data
- โฟกัสให้กับ Enterprisey ที่ประกอบไปด้วย Data Management, Data Governance และ Quanlity
- Deploy Tools ต่างๆ ที่ช่วยให้ชีวิตง่ายขึ้น กับงานหลังบ้าน พวก Data Catalog, Data Lineage และ Metadata management System
- ทำงานร่วมกับ Software Engineer Team, Machine Learning Team, Analyst Team และ ทีมอื่นๆ
- สร้าง Community ให้สามารถทำงานร่วมกันได้ง่ายและ Open Speak ที่ไม่มีเรื่องของตำแหน่งและอาวุโส
ใครอ่านจบแล้ว มาแชร์กันหน่อยครับว่า องค์กร ทีมงาน ของคุณ อยู่ใน Level ไหนกัน ????
