สวัสดีค่ะทุกท่าน (^∀^●)ノシ เมื่อสัปดาห์ที่แล้ว นิกได้มีโอกาสไปเล่าเรื่องเกี่ยวกับการใช้ Machine Learning (ML) Model ให้วิศวกร และ Domain Expert ด้านอื่นๆ ฟัง เพื่อหาแนวทางร่วมกันในการทำ CRM ให้ตอบโจทย์ความต้องการของลูกค้า,,,,ผลปรากกฏว่า มีหัวข้อหนึ่งที่สร้างความมึนงงมากๆ ให้กับผู้ฟัง นั่นคือเรื่องของหลักการประเมินประสิทธิภาพของ ML Model ด้วย Confusion Matrix,,,,ซึ่งก็ตามชื่อค่ะ Confuse จริงๆ
นิกเลยคิดว่าน่าจะเป็นประโยชน์กับเพื่อนๆ นักการตลาดในยุคปัจจุบัน ซึ่งถือเป็น Domain Expert ด้าน Marketing ที่มีการใช้ ML Model ในการวิเคราะห์ และสนับสนุนการตลาด Digital Marketing หลากหลายรูปแบบ เช่น ใช้ในการประเมินลูกค้า, จัดกลุ่มลูกค้า, หาความสัมพันธ์ของพฤติกรรมการบริโภคกับปัจจัยอื่นๆ หรือการออกแบบแคมเปญ เป็นต้น ซึ่งแน่นอนว่า นอกจากเราจะต้องมีความเข้าใจเบื้องต้นในเรื่องของการเลือก ML Model ให้เหมาะสมกับชุดข้อมูลแล้ว สิ่งสำคัญอีกประการหนึ่งก็คือหลักการประเมินประสิทธิภาพของ ML Model ที่เราเลือกใช้งาน ซึ่งเพื่อนๆ จะได้อ่านกันในบทความนี้นั่นเองค่ะ 🧐🔎
Confusion Matrix คืออะไร?
นิยามของคำว่า Matrix
ก่อนจะพูดถึง Confusion Matrix นิกขอพาเพื่อนๆ ย้อนกลับไปในตอนที่เราเรียนคณิตศาสตร์ ม.ปลาย ในเรื่องของ Matrix กันค่ะ (づ ̄ 3 ̄)づ โดยเมทริกซ์เป็นอาร์เรย์หลายมิติ ที่สามารถมีได้ตั้งแต่ 2 มิติหรือมากกว่านั้น ซึ่งปกติจะถูกเรียงในรูปแบบของตาราง 2 มิติที่มีแถว (row) และหลัก (column) และแต่ละองค์ประกอบในเมทริกซ์จะต้องเป็นจำนวนจริง (จำนวนจริงหรือ Real number สามารถเป็นได้ทั้งจำนวนเต็ม และทศนิยม) หรืออาจเป็นตัวเลขใด ๆ ที่สามารถใช้ในการดำเนินการทางคณิตศาสตร์ได้ ซึ่งเมทริกซ์ A ที่มีขนาด m x n จะถูกแสดงด้วยสัญลักษณ์ A = [ ]m x n ตามภาพค่ะ
โดยสิ่งที่เราชาวนักการตลาดต้องเข้าใจเพิ่มเติม เพื่อการสื่อสารที่ถูกต้องกับคนที่ทำ ML Model ให้เราหรือทีม Data Analyst ก็คือเรื่องชนิดของ Error ที่แบ่งเป็น 2 ประเภทคือ Type1 Error (False Positive – FP) และ Type2 Error (False Negative – FN) ซึ่งมีรายละเอียดดังต่อไปนี้ค่ะ
Type 1 Error (False Positive – FP):
Type 1 Error จะเกิดขึ้นก็ต่อเมื่อ ML Model ทำการ Predict ว่าลูกค้า หรือกลุ่มเป้าหมายของการตลาดนั้นเป็นกลุ่มเป้าหมายที่เราต้องการ (Positive) แต่ในความจริงแล้วลูกค้ากลุ่มนี้กลับไม่ได้เป็นกลุ่มเป้าหมาย ซึ่งหมายความว่าจะเกิดความผิดพลาด เมื่อเราตัดสินใจว่าลูกค้ากลุ่มนั้นมีความสนใจ หรือจะตอบสนองต่อแคมเปญ แต่ลูกค้ากลับไม่สนใจ เพราะเราส่งแคมเปญไม่ถูกกลุ่ม
ยกตัวอย่างเช่น การส่งอีเมลโปรโมชันหรือแคมเปญไปยังลูกค้า ที่ ML Model ทำการ Predict ไว้ว่าลูกค้าจะตอบสนอง แต่กลับไม่ได้รับความสนใจจากลูกค้าดังกล่าว ซึ่งผลลัพธ์ในลักษณะนี้จะถือเป็น Type1 Error ที่ทำให้เราเสียเวลา และทรัพยากรในการติดต่อเพื่อส่งแคมเปญอย่างสูญเปล่าค่ะ
Type 2 Error (False Negative – FN):
Type 2 Error จะเกิดขึ้นก็ต่อเมื่อ ML Model ทำการ Predict ว่าลูกค้า หรือกลุ่มเป้าหมายของการตลาดนั้นไม่ใช่กลุ่มเป้าหมายที่เราต้องการ (Negative) แต่ในความจริงแล้วลูกค้ากลุ่มนี้เป็นกลุ่มเป้าหมายที่เรากำลังสนใจอยู่
ยกตัวอย่างเช่น การที่ Model บอกว่าลูกค้ากลุ่มนี้ไม่ใช่กลุ่มเป้าหมายนะ แต่แท้จริงแล้วพวกเขากลับมีแนวโน้มที่จะตอบรับกับแคมเปญ หรือซื้อสินค้าเพิ่มเติม ซึ่งสิ่งนี้เองที่ส่งผลให้เราไม่ได้ทำการตลาดที่เหมาะสม หรือเสนอแคมเปญที่ดีเพียงพอให้กับกลุ่มนี้ ทำให้เสียโอกาสในการเพิ่มยอดขาย และการตลาด
ตัวอย่างการใช้ Confusion Matrix กับการประเมินประสิทธิภาพ ML Model ทางการตลาด
ซึ่งเมื่อเพื่อนๆ มีความเข้าใจในเรื่องของการคำนวณค่าที่ใช้ประเมินความแม่นยำของ ML โมเดลด้วย Confusion Matrix แล้ว พาร์ทสุดท้ายนี้นิกขออนุญาตยกตัวอย่างงานด้านการตลาดที่มีการใช้ ML Model ในการวิเคราะห์ลูกค้าที่มีแนวโน้มจะยกเลิกการใช้บริการ (Churn) ซึ่งเป็นกลุ่ม Critical เพื่อมาทดลองใช้หลักการประเมินประสิทธิภาพดังกล่าวกันค่ะ^^
Hi, I am Nick,,,,Panaya Sudta (●'◡'●)
Engineer during the daytime. Researcher at night. Reader in spare time. (❁´◡`❁) วิศวกร/นักวิจัย/ Market research ค่ะ หวังเป็นอย่างยิ่งว่าจะได้แชร์มุมมองกันนะคะ