Data pipeline แท้จริงแล้วมันคืออะไร
จากที่ได้เกริ่นเรื่องการดึงข้อมูลจากแหล่งข้อมูล (Data Collection) ไปในบท สรุปหน้าที่ของนักวิทยาศาสตร์ข้อมูลและกระบวนการทางวิทยาการข้อมูล นั้น จะมาลงรายละเอียดในเรื่องนี้กันให้ลึกขึ้นอีกสักนิด ว่าในขั้นตอนนี้ มีกระบวนการอะไรบ้างที่เกี่ยวข้อง ลองเข้ามาทำความเข้าใจกัน
อ่านต่อ
พื้นฐาน 5 ข้อที่ควรรู้ ในการทำ Web Scraping
ปัจจุบันมีเว็บไซต์มากมายให้สามารถเข้าถึงข้อมูล โดยเป้าหมายและเหตุผล ก็แตกต่างกันไปตามลักษณะการนำไปใช้งาน อย่างเช่น การทำข้อมูลเสริมเพื่อการตัดสินใจ โดยการสร้าง Model Machine Learning เพื่อช่วยในการตัดสินใจ มาดูกันว่าทั้ง 5 ข้อมีอะไรบ้าง
อ่านต่อ
8 ทักษะที่จำเป็นงานด้าน AI Engineer
ในช่วงเวลานี้คงไม่มีใครที่ไม่รู้จัก midjourney ที่เรียกเสียงหือหาภาพวาดจากจินตนาการของ AI ที่นำภาพต่างที่ได้จาก Keyword ที่ป้อนให้มาสร้างเป็นภาพวาด ทั้งยังมีคนหัวใสนำเอาภาพที่ได้จาก AI นี้ไปประกวดจนชนะรางวัลที่ 1 มาแล้ว เนื่องจาก Artificial Intelligence หรือ AI ได้มีการเติบโตอย่างต่อเนื่องในหลายปีที่ผ่านมา และยังคงจะแตกแขนงไปอีกโดยสังเกตได้จาก Tech Giant หรือ Tech Startup ที่พยายามพัฒนา AI Application ที่มีความสามารถใหม่ออกมา 8 ทักษะมีอะไรบ้างมาดูกันเลย
อ่านต่อ
เราทำ dashboard ไปเพื่ออะไร และ หลักการทำ dashboard ที่ดีทำอย่างไร
Dashboard หรือ BI Tool เป็นเครื่องมือที่จะช่วยให้ User เห็นสิ่งที่จะช่วย Business Value เราดีขึ้น หรือ สามารถตัดสินใจเพื่อวัตถุประสงค์บางอย่างที่ Dashboard ต้องการจะบอกเรา
อ่านต่อ
data maturity ระดับความเชี่ยวชาญในการใช้ข้อมูล
ได้หนังสือ Fundamentals of Data engineering มาอ่านจนวางไม่ลง สำหรับวันนี้ อ่านมาเจอกับคำว่า data maturity โดยส่วนตัวแล้วนั้นจะขอแปลอย่างสั้นๆว่า “ระดับความเชี่ยวชาญในนำข้อมูลไปใช้ประโยชน์”
อ่านต่อ
ทักษะและความรับผิดชอบต่างๆของ data engineer
มีคำถามมากมาย เกี่ยวกับการจะมาเป็น data engineer หลายๆคนอาจจะจะทำงานสายงานอื่นๆ มาแล้วเกิดสนใจที่จะมาเป็น data engineer อาจจะคิดว่าเป็น สายงานที่น่าสนใจ หรือ อาจจะเป็นเพราะตามสถาบันการศึกษาไม่ได้เน้นงานด้านนี้มากนัก ไม่มี learning path ที่ชัดเจน
อ่านต่อ
Data Engineer ทำงานกับใครบ้าง
ในโพสนี้ มาชวนอ่าน “Data Engineer ทำงานกับใครบ้าง” โดยสรุปจากหนังสือ Fundamental of Data Engineer ซึ่งจะนำทักษะต่างๆ ที่สรุปเอาไว้ในโพสที่แล้ว มาใช้ในการทำงานร่วมกับ stake holder อื่นๆ ที่เกี่ยวข้องในธุรกิจ
อ่านต่อ
การใช้ DevOps และ DataOps ในการปรับปรุงประสิทธิภาพของการพัฒนาซอฟต์แวร์และธุรกิจ
Devops มีเป้าหมายที่จะปรับปรุงและควบคุมคุณภาพเพื่อการส่งมอบโปรดักท์ที่มีคุณค่าได้อย่างรวดเร็ว ที่มุ่งเน้นในงาน software products เท่านั้น ส่วน Dataops จะมีกระบวนการทำงานที่คล้ายกันกับ Devops แต่มีเป้าหมาย มุ่งเน้นในงานด้าน Data products เท่านั้น
อ่านต่อ
การสร้างศักยภาพใน Dataops: การทำระบบให้เป็นอัตโนมัติเพื่อเพิ่มประสิทธิภาพในการจัดการข้อมูล
ในโพสที่แล้ว เขียนถึงเรื่อง Dataops ที่เป็น culture และมีกระบวนการในการจัดการข้อมูล หรือ data pipeline มีเรื่อง technical หลักๆอยู่ 3 อย่าง ได้แก่ Automation, Observability and Monitor และ Incident response
อ่านต่อ
สรุปความเข้าใจการใช้ข้อมูลด้วยภาพ understanding-data-visualization
ในโพสต์ที่ผ่านๆ มาเป็นการนำชุดข้อมูลตัวอย่างมาทำความเข้าใจด้วยวิธีทางสถิติในการคำนวนค่าเพื่อสรุปออกมา โดยใช้วิธีการสำรวจข้อมูล สรุปข้อมูล และ นำไปตัดสินใจในบางเรื่องเพื่อใช้ประโยชน์ ประเด็นที่จะเขียนถึงในบทความต่อไปนี้ เป็นประเด็นการนำข้อมูลที่เราสรุปมาทำให้เป็นภาพ
อ่านต่อ
สรุปหลักการของ Data Architecture ที่ดี principle good data architecture
คำว่า Architecture เป็นเหมือนตัวแทน หรือ ตัวอย่าง ของการออกแบบที่จะเอาไว้ตัดสินใจเลือกว่าจะมีโครงสร้างของระบบแบบใด โดยมีเป้าหมายที่จะ สร้างความมั่นใจในการวางโครงสร้างตั้งแต่ยังไม่เริ่มวางระบบ นิยามความหมายของคำว่า good data architecture คือการสร้างความ ยืดหยุ่นของระบบและง่ายต่อการบำรุงรักษาเพื่อสนับสนุนงานทางธุรกิจและเทคโนโลยีใหม่ๆ และ ในทางตรงกันข้าม Bad data architecture จะมักจะเป็นระบบที่ไม่สามารถเปลี่ยนแปลงได้ง่าย
อ่านต่อ
สรุปประเภทการจัดเก็บของข้อมูลในภาษา python data-types-for-data-science-in-python
นการจัดการข้อมูลต่างๆ เราใช้การเขียนโปรแกรมเข้ามาช่วยให้เกิดความสะดวกสบายมากขึ้น โดยเฉพาะการทำงานซ้ำๆ พิมพ์ข้อความซ้ำๆ การตัดคำซ้ำๆ การต่อคำซ้ำๆ การทำอะไรซ้ำๆ โดยที่มนุษย์ขี้เกียจอย่างเราก็ต้องหาเครื่องมือมาช่วยให้ชีวิตของเราไม่มาวุ่นวาย ก็การเขียนโปรแกรมนี้แหละ โดยเฉพาะเรื่องของการจำ บางอย่างสมองของมนุษย์ ไม่สามารถจำอะไรได้ทั้งหมด ต้องใช้การจดบันทึกมาช่วยในการจำ คอมพิวเตอร์ก็มีส่วนที่ต้องใช้ ความจำ เช่นเดียวกัน
อ่านต่อ
สรุปการเขียน code ให้มีประสิทธิภาพเหมือนชาว pythonic writing-efficient-python-code
สำหรับโลกของการพัฒนาซอฟต์แวร์นั้นมีหลายภาษามากมาย และ ในแต่ละภาษาก็ล้วนมีเอกลักษณ์เฉพาะตัว มีการใช้งานที่แตกต่างกัน ซึ่ง Mobile Application ก็ภาษาหนึ่ง การเขียน Website ก็ภาษาหนึ่ง หรือแม้แต่การทำ Server Computer ก็อีกภาษาหนึ่ง แต่อย่างไรก็ตาม มีสิ่งหนึ่งที่ไม่ได้ต่างกันนั้นคือ “กระบวนการคิด”
อ่านต่อ
สรุปการเขียน Code จัดการวันที่และเวลาครบจบใน Python working-with-dates-and-times-in-python
ข้อมูลประเภทวันที่และเวลา (Datetime) เป็นข้อมูลที่สามารถกำหนดให้เกิดขึ้น เปลี่ยนแปลง หรือ การลบออกไป ของ สิ่งต่างๆที่ต้องการกำหนด พูดง่ายๆก็คือ มีข้อมูลประเภทวันที่และเวลามีอยู่รอบตัวเรา
อ่านต่อ
สรุปการเขียน Code เทคนิคจัดการ string ด้วย Python regular-expressions-in-python
เรื่องการจัดการกับ string หรือ ข้อมูลต่างๆ ไม่ว่าจะเป็น การปรับแต่ง การแบ่งข้อความยาวๆ ให้สั้นลง การรวมข้อความให้ยาวขึ้น การประยุกต์ ตัดข้อความที่ต้องการแล้วเอามารวมกัน รวมถึงการตัดทิ้งด้วยเงื่อนไขต่างๆ และ ยิ่งไปกว่านั้นสามารถค้นหาคำในข้อความ แทนที่ นับคำต่างๆ จากที่ได้เกริ่น การจัดการข้อความนั้นสำคัญ สำหรับภาษา python แล้วมีเทคนิควิธีหลายอย่าง เพื่อความสะดวกในการจัดการ และ ใช้เทคนิคที่เหมาะสมกับปัญหา ไม่ว่าจะเป็น การใช้ String Template การ Regular Expression
อ่านต่อ