Data pipeline แท้จริงแล้วมันคืออะไร
จากที่ได้เกริ่นเรื่องการดึงข้อมูลจากแหล่งข้อมูล (Data Collection) ไปในบท สรุปหน้าที่ของนักวิทยาศาสตร์ข้อมูลและกระบวนการทางวิทยาการข้อมูล นั้น จะมาลงรายละเอียดในเรื่องนี้กันให้ลึกขึ้นอีกสักนิด ว่าในขั้นตอนนี้ มีกระบวนการอะไรบ้างที่เกี่ยวข้อง ลองเข้ามาทำความเข้าใจกัน
อ่านต่อ
พื้นฐาน 5 ข้อที่ควรรู้ ในการทำ Web Scraping
ปัจจุบันมีเว็บไซต์มากมายให้สามารถเข้าถึงข้อมูล โดยเป้าหมายและเหตุผล ก็แตกต่างกันไปตามลักษณะการนำไปใช้งาน อย่างเช่น การทำข้อมูลเสริมเพื่อการตัดสินใจ โดยการสร้าง Model Machine Learning เพื่อช่วยในการตัดสินใจ มาดูกันว่าทั้ง 5 ข้อมีอะไรบ้าง
อ่านต่อ
8 ทักษะที่จำเป็นงานด้าน AI Engineer
ในช่วงเวลานี้คงไม่มีใครที่ไม่รู้จัก midjourney ที่เรียกเสียงหือหาภาพวาดจากจินตนาการของ AI ที่นำภาพต่างที่ได้จาก Keyword ที่ป้อนให้มาสร้างเป็นภาพวาด ทั้งยังมีคนหัวใสนำเอาภาพที่ได้จาก AI นี้ไปประกวดจนชนะรางวัลที่ 1 มาแล้ว เนื่องจาก Artificial Intelligence หรือ AI ได้มีการเติบโตอย่างต่อเนื่องในหลายปีที่ผ่านมา และยังคงจะแตกแขนงไปอีกโดยสังเกตได้จาก Tech Giant หรือ Tech Startup ที่พยายามพัฒนา AI Application ที่มีความสามารถใหม่ออกมา 8 ทักษะมีอะไรบ้างมาดูกันเลย
อ่านต่อ
เราทำ dashboard ไปเพื่ออะไร และ หลักการทำ dashboard ที่ดีทำอย่างไร
Dashboard หรือ BI Tool เป็นเครื่องมือที่จะช่วยให้ User เห็นสิ่งที่จะช่วย Business Value เราดีขึ้น หรือ สามารถตัดสินใจเพื่อวัตถุประสงค์บางอย่างที่ Dashboard ต้องการจะบอกเรา
อ่านต่อ
data maturity ระดับความเชี่ยวชาญในการใช้ข้อมูล
ได้หนังสือ Fundamentals of Data engineering มาอ่านจนวางไม่ลง สำหรับวันนี้ อ่านมาเจอกับคำว่า data maturity โดยส่วนตัวแล้วนั้นจะขอแปลอย่างสั้นๆว่า “ระดับความเชี่ยวชาญในนำข้อมูลไปใช้ประโยชน์”
อ่านต่อ
ทักษะและความรับผิดชอบต่างๆของ data engineer
มีคำถามมากมาย เกี่ยวกับการจะมาเป็น data engineer หลายๆคนอาจจะจะทำงานสายงานอื่นๆ มาแล้วเกิดสนใจที่จะมาเป็น data engineer อาจจะคิดว่าเป็น สายงานที่น่าสนใจ หรือ อาจจะเป็นเพราะตามสถาบันการศึกษาไม่ได้เน้นงานด้านนี้มากนัก ไม่มี learning path ที่ชัดเจน
อ่านต่อ
Data Engineer ทำงานกับใครบ้าง
ในโพสนี้ มาชวนอ่าน “Data Engineer ทำงานกับใครบ้าง” โดยสรุปจากหนังสือ Fundamental of Data Engineer ซึ่งจะนำทักษะต่างๆ ที่สรุปเอาไว้ในโพสที่แล้ว มาใช้ในการทำงานร่วมกับ stake holder อื่นๆ ที่เกี่ยวข้องในธุรกิจ
อ่านต่อ
การสร้างศักยภาพใน Dataops: การทำระบบให้เป็นอัตโนมัติเพื่อเพิ่มประสิทธิภาพในการจัดการข้อมูล
ในโพสที่แล้ว เขียนถึงเรื่อง Dataops ที่เป็น culture และมีกระบวนการในการจัดการข้อมูล หรือ data pipeline มีเรื่อง technical หลักๆอยู่ 3 อย่าง ได้แก่ Automation, Observability and Monitor และ Incident response
อ่านต่อ