Data Engineer ทำงานกับใครบ้าง

แวะมาทักทายกันได้

ในโพสนี้ มาชวนอ่าน “Data Engineer ทำงานกับใครบ้าง” โดยสรุปจากหนังสือ Fundamental of Data Engineer ซึ่งจะนำทักษะต่างๆ ที่สรุปเอาไว้ในโพสที่แล้ว มาใช้ในการทำงานร่วมกับ stake holder อื่นๆ ที่เกี่ยวข้องในธุรกิจ

จากโพสที่แล้ว ได้สรุปเอาไว้ว่า

ทักษะและความรับผิดชอบต่างๆของ data engineer มีอะไรบ้างกันไปแล้ว recap สั้นๆ อีกครั้ง data engineer มีบทบาทหน้าที่ ที่ต้องรับผิดชอบหลักๆ อยู่ 2 อย่าง คือ ความผิดชอบทางด้าน business และ ความรับผิดชอบทางด้าน Technical ทั้ง 2 หน้าที่จะต้องใช้ทักษะทางด้าน 2 ด้าน

Hard Skill

เช่น พัฒนาซอฟต์แวร์, การใช้เครื่องมือ , การดูแลระบบ, ความเข้าใจในการทำ data pipeline การวิเคราะห์ข้อมูลและจัดทำ Dashboard เป็นต้น

Soft Skill

เช่น เรื่องการสื่อสาร, การจัดการโครงการ, การเก็บความต้องการจากลูกค้า เป็นต้น

เมื่อดูจาก Skill แล้วน่าจะนิยามได้ว่า ส่วนใหญ่ Data Engineer จะต้องพบปะพูดคุยกับผู้คน โดยที่จะต้องเอาความรู้ความเข้าใจ ในด้านของ Hard Skill มาใช้ในการสื่อสารให้กับ User ต่างๆ ที่จะต้องทำงานร่วมกันเข้าใจร่วมกัน ถ้าจะพูดติดตลกสักหน่อย ก็คงไม่ต่างจาก Google Translate

การพบปะผู้คนของ data engineer ยังถูกแบ่งออกเป็น 2 ด้านหลักๆ อีก คือ Internal ภายในองค์กร และ External ภายนอกองค์กร ซึ่งคำว่าองค์กร ก็แล้วแต่ขนาด เช่น ทีมที่แบ่งเป็น business unit ภายในบริษัท หรือ แม้กระทั่ง บริษัทเองถ้าองค์กรไม่ได้ใหญ่มาก

ผู้คนภายนอกองค์กร (External) ของ data engineer ส่วนใหญ่จะเป็น กลุ่มคนที่ใช้ Social Application อย่าง facebook กลุ่มคนที่ใช้งาน sensor เพื่อส่งข้อมูลทำ IOT ต่างๆ หรือแม้แต่ กลุ่มคนที่ใช้ E-Commerce Application ซึ่งรวมถึงงานอื่นๆ เช่น การจัดทำการเชื่อมโยงข้อมูล ที่คุยกันในเรื่องของ Data privacy, Data Governance และ Security วิธีการติดต่อสื่อสารกัน โดย data engineer จะต้องออกแบบ data architecture ให้รองรับ รวมถึงการสร้างและจัดการระบบ ให้สามารถ รวบรวม จัดเก็บ ให้เหมาะสม

ส่วน ผู้คนภายในองค์กร (Internal) จะ Focus ในด้านของกิจกรรมที่จะเกิดขึ้นภายใน องค์กร ที่จำเป็นต่อธุรกิจและผู้มีส่วนได้ส่วนเสียต่างๆภายในองค์กร

แล้วผู้มีส่วนได้ส่วนเสียทั้งหลายนั้น หรือ คนที่ Data Engineer จะต้องทำงานด้วย เป็นใครกันบ้าง เรามาอ่านกันครับ

ผู้มีส่วนได้ส่วนเสียภายในองค์กร ก็ล้วนแต่เป็นผู้ที่ทำงานแต่ละหน้าที่ให้บรรลุเป้าหมายของธุรกิจแทบทั้งสิ้น ทั้งมุมของทาง Technical และ Business ซึ่งแบ่งได้อีกที่เรียกว่า Upstream stakeholder และ Downstream stakeholder

Upstream stakeholder

กลุ่มบุคคลนี้ จะเป็นผู้ที่ส่งข้อมูลขึ้นไปบนระบบ

Data architects

คนๆนี้ หรือ role นี้จะทำหน้าที่ออกแบบ โครงสร้างของระบบ และ blueprint ในการจัดการข้อมูลขององค์กร รวมถึงการเชื่อมโยงข้อมูลระหว่างองค์กร ที่มีทีมเทคนิคและไม่ใช่เทคนิค

data architect จะเป็นผู้กำหนด policy อย่าง data management และ data governance ในการจัดการข้อมูลระหว่างทีม เพื่อที่จะแชร์ข้อมูลกันได้อย่างไม่เกิดปัญหา และ กำหนดอย่างสร้างสรรค์ บ่อยครั้งที่ role นี้มักจะเป็นศูนย์กลางในการจัดการ เรื่องการ migrate ต่างๆ รวมถึงการออกแบบ cloud และ จะทำงานร่วมกันกับ data engineer ในการพิจารณา ภาพใหญ่ของระบบเพื่อสร้างกลยุทธ์และโครงสร้างระบบข้อมูลที่ดี

ทั้งนี้ role จะขึ้นอยู่กับขนาดขององค์กร โดย Data engineer จะ Overlap หน้าที่กันอยู่ ดังนั้น Data engineer ควรจะมีความเข้าใจในเรื่องของ architects ที่ดีเอาไว้ด้วย

Software engineer

โดยทั่วไปแล้วระบบจะเกิดขึ้นไม่ได้ถ้าขาด Role นี้ไป ในมุมของการสร้างระบบ เมื่อระบบเกิดขึ้น ก็จะมีเรื่องของ event data และ logging เกิดขึ้น ซึ่ง Data engineer มักจะทำงานกับ Software engineer อย่างใกล้ชิดเพื่อที่จะเข้าใจถึง กระบวนการ generate ข้อมูลขึ้นมา รวมถึง การกลั่นกรองข้อมูลและทำข้อมูลให้ security ด้วย

Downstream stakeholder

กลุ่มบุคคลนี้ จะเป็นผู้ที่ดึงข้อมูลมาใช้

Data scientists

ผู้ที่สร้าง Model ในการพยากรณ์ข้อมูลหรือ ระบบ Recommendation (ระบบแนะนำ) ขึ้นมา อย่างเช่น การคำนวนคะแนนของสินค้าที่มีผู้ให้คะแนนมากที่สุด 5 อันดับ มาแนะนำให้กับ user คนอื่นๆต่อ ซึ่งระบบเหล่านี้มักจะต้องพิจารณาการทำระบบให้เป็นอัตโนมัติ แบบ realtime เพื่อที่จะแนะนำสินค้าให้กับลูกค้าบนฐานของการค้นหาข้อมูลในอดีต

Data scientists โดยส่วนใหญ่แล้วเวลาการทำงานของคนๆนี้ จะเสียไปกับ การรวบรวมข้อมูล การ cleaning และ การจัดเตรียมข้อมูล มากขึ้น 70% ถึง 80% ของเวลาการทำงานทั้งหมด

ซึ่ง Best Pratice ที่ดี Data scientists ไม่ควรจะมาเสียเวลาให้กับสิ่งเหล่านี้ ควรจะนำเวลาไปใช้กับ การพัฒนา Model ต่างๆ

ดังนั้น Data Engineer จะมาช่วยจัดการข้อมูล เพื่อสร้างระบบให้เป็นอัตโนมัติ และ สามารถ scale ระบบ ให้กับ Data scientists ทำงานได้อย่างมีประสิทธิภาพมากขึ้น

Data analysts

เมื่อพูดถึง data scientists จะเป็นลักษณะของการวิเคราะห์ข้อมูลที่มองข้อมูลเพื่อหา pattern ที่จะเกิดขึ้นในอนาคต แต่ส่วน data analyst จะเป็นผู้ที่ มองข้อมูลในอดีตและปัจจุบันว่าเกิดอะไรขึ้นอยู่ โดยมักจะทำงานกับฐานข้อมูล และ Data warehouse ที่ใช้ SQL เป็นหลัก หรือ อาจจะเป็น spreadsheet อย่าง Excel หรือ Google sheet อีกทั้งยังสร้าง Dashboard และ Report อย่าง Power BI, Looker, Tableau เพื่อกำหนดและตรวจสอบคุณภาพ

Data engineer จะทำงานกับ data analyst ในการสร้าง data pipeline เพื่อสร้าง data ใหม่เพื่อปรับปรุงคุณภาพ และ การทำงานร่วมกันทั้งองค์กร

Machine learning Engineer

Machine learning engineer จะมีงานหรือหน้าที่ Overlap กับ data engineer และ data scientists อยู่ ซึ่ง Machine Learning engineer จะ Focus ในเรื่องของ การทำ ML แบบ advance ทั้งการ train model การออกแบบ ตลอดจนต้องดูแล โครงสร้างของระบบในการทำ Machine learning ด้วย

โดยปกติ data scientists จะทำงานกับ Machine learning อย่างใกล้ชิด ในเรื่องของการออกแบบ Machine learning process

และในยุคนี้ เน้นเรื่องสร้างประสิทธิภาพในการทำ machine learning มากขึ้นด้วยการทำ MLOps ซึ่งจะเหมือนกับการทำ Devops โดยใช้ git ทำ Development Pipeline เช่นเดียวกัน

โดยสรุปแล้ว

แทบจะบอกได้ว่า Data engineer จะต้องทำงานกับทุกฝ่าย ทุกตำแหน่งในองค์กร

นอกจากนี้ Data engineer จะต้องทำงานร่วมกับ ทีม C-suite หรือ ทีมบริหาร อย่าง

CEO - Chief executive officers เป็นผู้บริหารที่มีหน้าที่รับผิดชอบ เป็นผู้ที่กำหนด vision ขององค์กร และจะทำงานกับทีม technical ของ c-suite ในแต่ละข้อด้านล่างนี้

CIO - Chief Information officers  เป็นผู้บริหารที่มีหน้าที่รับผิดชอบในเรื่อง information technology ที่จะทำงานกับทีมที่เป็นบุคคลภายในองค์กร Internal role อย่างการใช้ระบบ ERP หรือ CRM

CTO - Chief technology officers จะคล้ายกับ CIO แต่จะทำงานกับบุคคลภายนอกองค์กร External role

CDO - Chief data officers เป็นผู้บริหารที่มีหน้าที่รับผิดชอบ วางกลยุทธ์และจัดการ asset ขององค์กรหรือ ข้อมูลในองค์กร และสร้างเป็น data product รวมถึงกำหนด data management และ data governance

CAO - Chief analytic officers และ CAO2 - Chief algorithm officers เป็นผู้บริหารที่มีหน้าที่รับผิดชอบ การวิเคราะห์ข้อมูล รวมถึงกลยุทธ์ การตัดสินใจธุรกิจ ที่ทำงานบนมุมมองของ data science และ machine learning ซึ่ง CAO2 จะใช้เทคนิคที่ Advance กว่า

ในที่สุดก็สรุปบทที่ 1 ของหนังสือเล่มนี้จบแล้ว ในหนังสือบอกว่า บทแรก ก็แค่น้ำจิ้ม

เป็นอย่างไรกันบ้างครับ ตอนนี้คิดว่าตัวเองอยู่ Role ไหนกันบ้าง แล้วได้ทำงานร่วมกับ Data engineer กันบ้างหรือยัง Comment บอกกันหน่อย

ใครอ่านจนจบแล้วเข้ามากด like ใน page ให้ด้วยนะครับ

ส่วนในโพสถัดไป จะเป็น บทที่ 2 Data engineer Life cycle ใครอยากอ่านบทถัดไปแล้ว กด Ads ให้ด้วย เพื่อเป็นรายได้และกำลังใจ ทำงานเขียนต่อไป

แวะมาทักทายกันได้