Data Cleaning ด้วย Pandas: จัดการข้อมูลแหว่ง ลบแถวซ้ำ แปลงวันที่ในไม่กี่วินาที
นักวิทยาศาสตร์ข้อมูล (Data Scientist) ทั่วโลกต่างยอมรับความจริงข้อเดียวกันว่า: “80% ของเวลาทำงาน ไม่ได้หมดไปกับการสร้างโมเดล AI ล้ำๆ แต่หมดไปกับการนั่งเช็ดล้างข้อมูลสกปรก (Data Cleaning)!”
ข้อมูลที่ได้จากลูกค้ามักจะเละเทะเสมอ: บางคนกรอกเบอร์โทรมีขีด บางคนไม่มีขีด, วันที่มีทั้งแบบ พ.ศ. และ ค.ศ. ปนกัน, มีแถวว่างแหว่ง (NaN), และมีรายการซ้ำกันเป็นร้อยแถว วันนี้เราจะมาใช้ ไม้กวาดวิเศษ Pandas เก็บกวาดข้อมูล 100,000 แถวให้สะอาดกริบในพริบตาครับ!
4 ท่าไม้ตายทำความสะอาดข้อมูลด้วย Pandas
# 1. ลบแถวที่ซ้ำกันทิ้งทันที (Drop Duplicates)
df = df.drop_duplicates()
# 2. จัดการข้อมูลแหว่ง (Missing Values / NaN)
# ทางเลือก A: ลบทิ้งทั้งแถว
df = df.dropna(subset=[“customer_id”])
# ทางเลือก B: เติมค่าว่างด้วย 0 หรือคำว่า ‘Unknown’
df[“discount”] = df[“discount”].fillna(0)
# 3. แปลงฟอร์แมตวันที่ให้เป็นมาตรฐานเดียวกันทั้งหมด
df[“order_date”] = pd.to_datetime(df[“order_date”])
# 4. ลบช่องว่างส่วนเกินหน้า-หลังตัวอักษร (Strip Whitespace)
df[“product_name”] = df[“product_name”].str.strip()
df = df.drop_duplicates()
# 2. จัดการข้อมูลแหว่ง (Missing Values / NaN)
# ทางเลือก A: ลบทิ้งทั้งแถว
df = df.dropna(subset=[“customer_id”])
# ทางเลือก B: เติมค่าว่างด้วย 0 หรือคำว่า ‘Unknown’
df[“discount”] = df[“discount”].fillna(0)
# 3. แปลงฟอร์แมตวันที่ให้เป็นมาตรฐานเดียวกันทั้งหมด
df[“order_date”] = pd.to_datetime(df[“order_date”])
# 4. ลบช่องว่างส่วนเกินหน้า-หลังตัวอักษร (Strip Whitespace)
df[“product_name”] = df[“product_name”].str.strip()
ผลลัพธ์คือ ข้อมูลที่เคยเละเทะและนำไปคิดเลขผิดพลาด จะถูกจัดระเบียบให้เรียบร้อย สวยงาม และพร้อมส่งต่อให้ระบบ Power BI หรือโปรแกรมวิเคราะห์ข้อมูลประมวลผลได้อย่างราบรื่นและถูกต้อง 100% ครับ!
