Data pipeline แท้จริงแล้วมันคืออะไร
จากที่ได้เกริ่นเรื่องการดึงข้อมูลจากแหล่งข้อมูล (Data Collection) ไปในบท สรุปหน้าที่ของนักวิทยาศาสตร์ข้อมูลและกระบวนการทางวิทยาการข้อมูล นั้น จะมาลงรายละเอียดในเรื่องนี้กันให้ลึกขึ้นอีกสักนิด ว่าในขั้นตอนนี้ มีกระบวนการอะไรบ้างที่เกี่ยวข้อง ลองเข้ามาทำความเข้าใจกัน
อ่านต่อ
พื้นฐาน 5 ข้อที่ควรรู้ ในการทำ Web Scraping
ปัจจุบันมีเว็บไซต์มากมายให้สามารถเข้าถึงข้อมูล โดยเป้าหมายและเหตุผล ก็แตกต่างกันไปตามลักษณะการนำไปใช้งาน อย่างเช่น การทำข้อมูลเสริมเพื่อการตัดสินใจ โดยการสร้าง Model Machine Learning เพื่อช่วยในการตัดสินใจ มาดูกันว่าทั้ง 5 ข้อมีอะไรบ้าง
อ่านต่อ
ทักษะและความรับผิดชอบต่างๆของ data engineer
มีคำถามมากมาย เกี่ยวกับการจะมาเป็น data engineer หลายๆคนอาจจะจะทำงานสายงานอื่นๆ มาแล้วเกิดสนใจที่จะมาเป็น data engineer อาจจะคิดว่าเป็น สายงานที่น่าสนใจ หรือ อาจจะเป็นเพราะตามสถาบันการศึกษาไม่ได้เน้นงานด้านนี้มากนัก ไม่มี learning path ที่ชัดเจน
อ่านต่อ
Data Engineer ทำงานกับใครบ้าง
ในโพสนี้ มาชวนอ่าน “Data Engineer ทำงานกับใครบ้าง” โดยสรุปจากหนังสือ Fundamental of Data Engineer ซึ่งจะนำทักษะต่างๆ ที่สรุปเอาไว้ในโพสที่แล้ว มาใช้ในการทำงานร่วมกับ stake holder อื่นๆ ที่เกี่ยวข้องในธุรกิจ
อ่านต่อ
การสร้างศักยภาพใน Dataops: การทำระบบให้เป็นอัตโนมัติเพื่อเพิ่มประสิทธิภาพในการจัดการข้อมูล
ในโพสที่แล้ว เขียนถึงเรื่อง Dataops ที่เป็น culture และมีกระบวนการในการจัดการข้อมูล หรือ data pipeline มีเรื่อง technical หลักๆอยู่ 3 อย่าง ได้แก่ Automation, Observability and Monitor และ Incident response
อ่านต่อ