Summary of the steps for exploratory data analysis to understand hidden data
EDA helps to understand data better. EDA is an initial data exploration process to get to know the existing data by considering the data from different perspectives, such as descriptive data, statistical data, and relational data. EDA helps to see the big picture of the data and understand the relationships between variables.
อ่านต่อ
สรุปการเขียน Code เทคนิคจัดการ string ด้วย Python regular-expressions-in-python
เรื่องการจัดการกับ string หรือ ข้อมูลต่างๆ ไม่ว่าจะเป็น การปรับแต่ง การแบ่งข้อความยาวๆ ให้สั้นลง การรวมข้อความให้ยาวขึ้น การประยุกต์ ตัดข้อความที่ต้องการแล้วเอามารวมกัน รวมถึงการตัดทิ้งด้วยเงื่อนไขต่างๆ และ ยิ่งไปกว่านั้นสามารถค้นหาคำในข้อความ แทนที่ นับคำต่างๆ จากที่ได้เกริ่น การจัดการข้อความนั้นสำคัญ สำหรับภาษา python แล้วมีเทคนิควิธีหลายอย่าง เพื่อความสะดวกในการจัดการ และ ใช้เทคนิคที่เหมาะสมกับปัญหา ไม่ว่าจะเป็น การใช้ String Template การ Regular Expression
อ่านต่อ
สรุปการเขียน Code จัดการวันที่และเวลาครบจบใน Python working-with-dates-and-times-in-python
ข้อมูลประเภทวันที่และเวลา (Datetime) เป็นข้อมูลที่สามารถกำหนดให้เกิดขึ้น เปลี่ยนแปลง หรือ การลบออกไป ของ สิ่งต่างๆที่ต้องการกำหนด พูดง่ายๆก็คือ มีข้อมูลประเภทวันที่และเวลามีอยู่รอบตัวเรา
อ่านต่อ
สรุปการเขียน code ให้มีประสิทธิภาพเหมือนชาว pythonic writing-efficient-python-code
สำหรับโลกของการพัฒนาซอฟต์แวร์นั้นมีหลายภาษามากมาย และ ในแต่ละภาษาก็ล้วนมีเอกลักษณ์เฉพาะตัว มีการใช้งานที่แตกต่างกัน ซึ่ง Mobile Application ก็ภาษาหนึ่ง การเขียน Website ก็ภาษาหนึ่ง หรือแม้แต่การทำ Server Computer ก็อีกภาษาหนึ่ง แต่อย่างไรก็ตาม มีสิ่งหนึ่งที่ไม่ได้ต่างกันนั้นคือ “กระบวนการคิด”
อ่านต่อ
สรุปประเภทการจัดเก็บของข้อมูลในภาษา python data-types-for-data-science-in-python
นการจัดการข้อมูลต่างๆ เราใช้การเขียนโปรแกรมเข้ามาช่วยให้เกิดความสะดวกสบายมากขึ้น โดยเฉพาะการทำงานซ้ำๆ พิมพ์ข้อความซ้ำๆ การตัดคำซ้ำๆ การต่อคำซ้ำๆ การทำอะไรซ้ำๆ โดยที่มนุษย์ขี้เกียจอย่างเราก็ต้องหาเครื่องมือมาช่วยให้ชีวิตของเราไม่มาวุ่นวาย ก็การเขียนโปรแกรมนี้แหละ โดยเฉพาะเรื่องของการจำ บางอย่างสมองของมนุษย์ ไม่สามารถจำอะไรได้ทั้งหมด ต้องใช้การจดบันทึกมาช่วยในการจำ คอมพิวเตอร์ก็มีส่วนที่ต้องใช้ ความจำ เช่นเดียวกัน
อ่านต่อ
สรุปขั้นตอนเล่าเรื่องด้วยข้อมูลยากๆอย่างไรให้ง่าย data-communication-concepts
การสื่อสาร หรือ การเล่าเรื่อง ไม่ได้จำกัดอยู่แค่เพียงบางอาชีพ เป็นทักษาที่ทุกคนต้องมี ไม่ว่าจะเป็น นักธุรกิจ นักขาย นักเจรจาต่อรอง ครู อาจารย์ นักเรียน นักศึกษา PM PO ผู้บริหารทั้งหลาย ผู้ใช้ข้อมูลทั้งหลาย หรือ นักเทคนิคต่างๆ เช่น programmer ทุกคนล้วนมีความรู้และมีข้อมูลของตัวเอง แต่วิธีจะสื่อสารให้อีกฝ่ายเข้าใจนั้น จะทำอย่างไร
อ่านต่อ
สรุปหลักการของ Data Architecture ที่ดี principle good data architecture
คำว่า Architecture เป็นเหมือนตัวแทน หรือ ตัวอย่าง ของการออกแบบที่จะเอาไว้ตัดสินใจเลือกว่าจะมีโครงสร้างของระบบแบบใด โดยมีเป้าหมายที่จะ สร้างความมั่นใจในการวางโครงสร้างตั้งแต่ยังไม่เริ่มวางระบบ นิยามความหมายของคำว่า good data architecture คือการสร้างความ ยืดหยุ่นของระบบและง่ายต่อการบำรุงรักษาเพื่อสนับสนุนงานทางธุรกิจและเทคโนโลยีใหม่ๆ และ ในทางตรงกันข้าม Bad data architecture จะมักจะเป็นระบบที่ไม่สามารถเปลี่ยนแปลงได้ง่าย
อ่านต่อ
สรุปความเข้าใจการใช้ข้อมูลด้วยภาพ understanding-data-visualization
ในโพสต์ที่ผ่านๆ มาเป็นการนำชุดข้อมูลตัวอย่างมาทำความเข้าใจด้วยวิธีทางสถิติในการคำนวนค่าเพื่อสรุปออกมา โดยใช้วิธีการสำรวจข้อมูล สรุปข้อมูล และ นำไปตัดสินใจในบางเรื่องเพื่อใช้ประโยชน์ ประเด็นที่จะเขียนถึงในบทความต่อไปนี้ เป็นประเด็นการนำข้อมูลที่เราสรุปมาทำให้เป็นภาพ
อ่านต่อ
สรุปขั้นตอนการตัดสินใจในการใช้ข้อมูล (data driven decision making) ด้วย SQL
สำหรับโพสต์นี้เป็นการ recap หรือ ทวนซ้ำอีกครั้งในการใช้ SQL เพื่อการตัดสินใจในการใช้ข้อมูล เป็น บทความต่อเนื่องจาก การสำรวจข้อมูลด้วย SQL ซึ่งจะมีการใช้คำสั่งพื้นฐานที่ช่วยให้เราเข้าใจความหมายที่อยู่ในข้อมูล เพื่อนำไปสู่การหาคำตอบบางอย่างที่ต้องการรู้
อ่านต่อ
สรุปขั้นตอนการสำรวจข้อมูลเพื่อความเข้าใจในข้อมูล ตัวเลข ข้อความ และ วันเวลา exploratory-data-analysis-in-sql
Exploration Data Analysis เป็นกระบวนการสำรวจข้อมูลเบื้องต้น เพื่อทำความรู้จักกับข้อมูลที่มีอยู่ โดยพิจารณาข้อมูลในมุมมองต่างๆ ช่วยให้สามารถระบุปัญหาและข้อผิดพลาดในข้อมูล ช่วยให้สามารถค้นพบข้อมูลเชิงลึกใหม่ๆ ที่ซ่อนอยู่ในข้อมูล
อ่านต่อ
การสร้างศักยภาพใน Dataops: การทำระบบให้เป็นอัตโนมัติเพื่อเพิ่มประสิทธิภาพในการจัดการข้อมูล
ในโพสที่แล้ว เขียนถึงเรื่อง Dataops ที่เป็น culture และมีกระบวนการในการจัดการข้อมูล หรือ data pipeline มีเรื่อง technical หลักๆอยู่ 3 อย่าง ได้แก่ Automation, Observability and Monitor และ Incident response
อ่านต่อ
สิ่งสำคัญของการสร้าง model ML คือการปรับข้อมูลให้ Normalization และ Scaling
จากโพสที่แล้ว เมื่อเราทำการ cleansing data จนได้ระดับที่น่าพอใจแล้ว สิ่งถัดไปที่จะต้องพิจารณาเพิ่มเติม จะขอเขียนในโพสนี้อยู่ 2 เรื่อง คือ 1. การกระจายตัวของข้อมูล (Data Distribution) 2. สเกลของข้อมูล และ การปรับเปลี่ยนข้อมูลให้มีสเกลเดียวกัน ซึ่งทั้งสองเรื่องนี้ เป็นสิ่งสำคัญที่จะต้องทำก่อนที่จะนำข้อมูลไปสร้างเป็น Model Machine learning
อ่านต่อ