หนึ่งในหลุมพลางของการใช้ดาต้า คือการรีบเชื่อดาต้าเร็วเกินไปโดยไม่ได้ตรวจสอบแน่ชัดว่าผลลัพธ์นั้นสะท้อนถึงอะไร หรือแค่เห็นดาต้าก็ดีใจรีบหยิบมาใช้โดยลืมเป้าหมายของธุรกิจ บทความนี้เลยจะพามาอธิบายเรื่อง Design Experiment Driven Data การออกแบบเพื่อเก็บดาต้าเพื่อลด Bias และ Error การกำหนดเป้าหมายให้ชัดว่าควรเลือกดู Metric ตัวชี้วัดใดบ้าง เพื่อทำให้การตัดสินใจไม่ผิดพลาด หรืออย่างน้อยก็ลดโอกาสผิดพลาดไปได้ตั้งแต่เนิ่นๆ ครับ
เลือก Data ที่สอดคล้องกับ Strategy อย่าเลือกเพราะตัวเลขดูดีเท่านั้น
หลายครั้งการทดลองไอเดียเพื่อเก็บดาต้ามาใช้ตัดสินใจ Experiment Driven Data นั้น นักการตลาดทั่วไปอาจเลือกจากแค่ผลลัพธ์ที่ดีที่สุด แต่นักวิทยาศาสตร์การตลาดจะเลือกดูว่า Data Point ไหน หรือ Metric ใดที่สอดคล้องกับกลยุทธ์ธุรกิจระยะยาว หรือเป้าหมายที่แท้จริงที่เริ่มต้นทำการทดสอบนั้นบ้าง
เช่น ที่ Microsoft Bing ค้นพบว่าถ้าปรับผลลัพธ์การค้นหาให้มีจำนวนน้อยลง จะส่งผลให้ผู้ใช้งานทำการค้นหามากขึ้น และนั่นก็ทำให้อัตราการกดโฆษณาเพิ่มขึ้น ส่งผลให้บริษัทมีกำไรเพิ่มขึ้นในท้ายที่สุด
ถ้าทีมวิทยาศาสตร์การตลาด Marketing Science เลือกใช้ผลลัพธ์นั้นในการตัดสินใจว่า “ต่อไปนี้เราจะส่งผลลัพธ์การค้นหาให้ผู้ใช้ทุกคนได้รับน้อยลง เพราะนั่นทำให้บริษัทเรามีกำไรเพิ่มขึ้น” แต่ในระยะยาวหละ การทำสิ่งนั้นจะส่งผลดีต่อกลยุทธ์ธุรกิจหรือเปล่า ? ยากจะหาคำตอบได้
ดังนั้นใครที่คิดจะใช้ Data-Driven เอาข้อมูลมาช่วยตัดสินใจต้องดูภาพรวมไปจนถึงภาพกว้าง ต้องเลือกใช้การชี้วัดที่เรียกว่า OEC ที่มาจาก Overall Evaluation Criterion การประเมินผลโดยรวมแทนที่จะดูแค่ตัวดาต้าตัวชี้วัดตัวใดตัวหนึ่งที่ดูดีจนอาจหลอกล่อให้เราตัดสินใจแบบนั้น
ถ้าย้อนกลับมาที่ Bing อีกครั้งก็ต้องตามดูอีกสักระยะว่า แล้วผู้ใช้งานที่ได้เห็นผลลัพธ์น้อยดังกล่าวนั้นมีอัตราการกลับมาใช้งานที่ลดลง เท่าเดิม หรือเพิ่มขึ้น เมื่อเทียบกับกลุ่มผู้ใช้งานที่ได้รับผลลัพธ์การค้นหาเยอะๆ เป็นปกติกันแน่หละ
แน่นอนว่าอาจไม่มีคำตอบที่ให้ได้ ก็ต้องใช้การติดตาม วัดผลที่ยาวกว่าปกติไปอีกระดับ จนกระทั่งได้ผลลัพธ์ที่ค่อนข้างตอบกับเป้าหมายธุรกิจระยะยาว คือให้ผู้ใช้ติดใจกลับมาใช้ซ้ำเรื่อยๆ อาจจะเป็นแบบที่แสดงผลลัพธ์น้อยลง หรืออาจจะเป็นแบบที่แสดงผลลัพธ์มากขึ้นกว่าเดิมก็เป็นได้
ในแง่หนึ่งนี่คือการวัดผลจาก Customer Lifetime Value มูลค่าของลูกค้าในระยะยาวเพื่อจะได้ประเมินว่าเราควรตัดสิใจแบบไหน
แต่การจะประเมินผลแบบ OEC Overall Evaluation Criterion ได้ก็ต้องอาศัยความร่วมมือจากหลายฝ่าย ต้องมีการทำ Data Pipeline ที่ดีเพื่อให้ข้อมูลเกิดการแชร์กันระหว่างทีมต่างๆ ต้องมี Technology ที่เอื้อต่อการทำสิ่งนั้น และต้องมีการสั่งในระดับนโยบายจากทีมบริหาร ไม่ใช่เริ่มต้นจากทีมใดทีมหนึ่ง
ทีนี้สมมติว่าผมจะทำการทดลองว่า โพสแบบไหนทำให้คนสมัครเรียนคลาส Social Listening AI มากที่สุด ถ้าผมทำ Creative ไป 4 ชิ้น แล้วผมดูแค่ว่างานชิ้นไหนคนเข้ามา Engage เยอะ ก็อาจไม่ตอบโจทย์ธุรกิจที่ว่าเน้นเรื่องคนสมัครเรียนแทน
ถ้าผมดูแค่ว่า Creative ชิ้นไหนคนทักแชทเข้ามาสอบถามเยอะอย่างเดียว ก็อาจพลาดว่างานบางชิ้นอาจทำให้คนทักแต่คนไม่ตัดสินใจซื้อ ดังนั้นที่ดีที่สุดคือต้องดูว่า Creative ไหนทำให้คนเกิดการตัดสินใจมากที่สุด หรืออย่างน้อยก็อาจดูย้อนกลับไปว่าถ้าชิ้นที่คนทักมาเยอะแต่ไม่ตัดสินใจ มาจากปัญหาของการตอบแชทที่ให้ข้อมูลช้า หรือไม่เคลียร์ของทีมแอดมินผมหรือเปล่า
สมมติเราเป็นธุรกิจธนาคารที่มีเป้าหมายเพื่อช่วยพัฒนาสังคม ก็อาจทำการทดสอบว่า โปรโมชั่นเงินกู้ดอกเบี้ยต่ำเพื่อธุรกิจชาวบ้าน รถเข็น ร้านค้า ที่มีวงเงินไม่เกิน 50,000 บาท นั้นต้องใช้ภาพ Key Visual แบบไหนถึงจะได้กลุ่มเป้าหมายจริงๆ มาสมัคร
จะเห็นได้ว่าการเก็บดาต้าเพื่อมาวัดผลโจทย์นี้จะไม่ใช่แค่ภาพไหนดึงดูดให้คนสมัครมากที่สุด แต่ภาพไหนดึงดูดกลุ่มเป้าหมายจริงๆ มาสมัครมากที่สุด แสดงว่าต้องมีการเชื่อมโยงดาต้าสองส่วนเป็นอย่างน้อย ระหว่างการกดเข้ามาสมัคร จำวนผู้สมัคร และผู้สมัครที่ตรวจสอบแล้วว่าตรงกับวัตถุประสงค์ของโครงการนั้น
สมมติว่ามี Key Visual หนึ่งดึงดูดให้คนมาสมัครเยอะมาก แต่คนที่มาสมัครนั้นกลับเป็นกลุ่มนักเรียน นักศึกษา หรือคนทำงานออฟฟิศทั่วไป การจะเอาดาต้านั้นไปใช้ขยายผลต่อก็จะทำให้ผิดเพี้ยนจากวัตถุประสงค์ไป
Data Attribute ดูองค์ประกอบให้ครบ ว่ามีตัวแปรไหนบ้างที่ส่งผลต่อการตัดสินใจ
อีกแง่มุมหนึ่งคือ Data Attribute หรือดาต้าองค์ประกอบต่างๆ ก็เป็นสิ่งที่นักวิทยาศาสตร์การตลาด Marketing Scientist ต้องใช้ความละเอียดละออ ใส่ใจ มองข้ามไม่ได้ เพราะถ้าเราไม่ดูรายละเอียดของดาต้าที่ได้มาเราอาจไม่เข้าใจ Insight สำคัญที่อาจเผลอมองข้ามไป
เช่น ถ้ามีคนเสิร์จคำว่า “Harry Potter” เราก็อาจต้องทำการดูในรายละเอียดของดาต้าว่า คอนเทนต์แบบไหน หรือลิงก์แบบใดที่คนชอบกดเข้าไปดูมากกว่ากัน
คอนเทนต์ประเภทหนังสือที่เกี่ยวกับ Harry Potter
คอนเทนต์ประเภทภาพยนต์ตัวอย่าง Harry Potter
คอนเทนต์ประเภทนักแสดงหลักใน Harry Potter
คอนเทนต์ประเภทเกม ที่มาจากภาพยนต์ Harry Potter
เพลงต่างๆ ที่มาจากภาพยนต์ Harry Potter
นี่เป็นตัวอย่างของ Data Attribute ว่าคนที่ค้นหา “คำนี้” มักไปดูเนื้อหาแบบไหนต่อ จากนั้นก็ค่อยเอาเนื้อหาประเภทนี้ผลักดันให้ผู้ใช้ที่ค้นหาคำนี้เห็นเยอะขึ้น
แต่ทีนี้ถ้าเราดูแค่ดาต้าจำนวนคลิ๊กก็อาจทำให้ตัดสินใจผิดพลาดไป เพราะถ้าเป้าหมายหลักเราคือ “นำคำตอบที่ใช่ให้ผู้ใช้ให้ได้มากที่สุด” ก็อาจต้องไปดูในรายละเอียดอีกว่า “กดเข้าไปแล้วอ่านจริงไหม ?”
ซึ่งการจะประเมินข้อนี้ก็อาจยังไม่สามารถใช้วิธีการ Tracking ติดตามสายตาของคนอ่านบทความได้จริงๆ ก็ต้องหา Proxy Metric ตัวชี้วัดที่พอจะสะท้อนถึงเรื่องนี้ได้ อย่าง Mouse Scrolling กับ Time Spending ดูว่ามีการเลื่อนอ่านเนื้อหาในเว็บนั้นจริงไหม เกินกี่เปอร์เซนต์ที่จะสะท้อนถึงการอ่านจริง และระยะเวลาที่ใช้กับหน้านั้นสัมพันธ์กับจำนวนเนื้อหาหรือเปล่า
เช่น ถ้าหน้านั้นมีเนื้อหาไม่เยอะ คนใช้เวลาแค่ 30 วินาทีก็อ่านจบ กับอีกหน้านึงที่อาจมีเนื้อหาเยอะมาก ต้องใช้เวลาราวๆ 3 นาทีถึงอ่านจบ แต่คนเข้ามากลับใช้เวลาแค่ 45 วินาที นั่นหมายความว่าแม้ตัวเลข 45 วินาทีจะดูมากกว่า 30 วินาทีถึง 50% แต่ในการสะท้อนถึงความน่าจะเป็นว่าอ่านจบไหมดูเป็นคนละเรื่องกันเลยจริงๆ ครับ
ทีนี้จะมาตัวชี้วัดแค่แบบเดียวก็ไม่ได้ เพราะลองคิดภาพว่าถ้าคนค้นหาแบบเว็บ กับคนค้นหาแบบรูปแบบ และกับคนที่ค้นหาแบบวิดีโอ การจะเอาตัวชี้วัดเรื่องการ Scrolling มาประเมินสองแบบหลังก็คงไม่ถูกต้อง เพราะในเมื่อเป็นภาพและวิดีโอจะเลื่อนหน้าจอไปไหน อาจต้องวัดอัตราการกดเซฟรูปภาพแทน หรือวัดระยะเวลาที่ใช้ดูวิดีโอแทน อะไรแบบนี้เป็นต้น
นี่เป็นแค่ไม่กี่ตัวแปรของดาต้าที่เอามาใช้ในการวิเคราะห์ เพราะในความเป็นจริงแล้ว Bing เองก็ใช้ตัวชี้วัดมากกว่า 6,000 metrics ในการทำ Experiment-Driven Data เรียกว่าดูละเอียดรอบด้านทุกแง่มุมแทบไม่มีอะไรหลุดหูหลุดตาเลยจริงๆ
Audit ก่อน Analyze อย่างหลงเชื่อดาต้าใดโดยยังไม่ได้ตรวจสอบที่มาของดาต้านั้น
ก่อนจะเชื่อดาต้าใด จงทำความเข้าใจที่มาของดาต้านั้นก่อน หลายครั้งเรามักมองหา “ผล” มากกว่า “เหตุ” เช่น เรามองหาว่ารถติดทีไร ฝนตกทุกที จนเข้าใจผิดคิดไปว่าทุกครั้งที่ฝนตกรถต้องติด แต่ถ้าเรามองออกไปให้กว้างขึ้นอาจพบว่าในประเทศที่เจริญแล้ว ถนนหนทางไม่มีน้ำท่วมขังเวลาฝนตก รถกลับไม่ได้ติดเพิ่มขึ้นอย่างมีนัยสำคัญ ดังนั้นการจะบอกว่า “รถติด” ทุกครั้งที่ “ฝนตก” คงเป็นการด่วนสรุปเกินไป พอเห็นตัวอย่างง่ายๆ ของการตั้งคำถามกับดาต้าบ้างแล้วใช่ไหมครับ
เช่น ถ้าเราเจอว่าเมื่อเปลี่ยนสีข้อความเป็นน้ำเงินที่เข้มขึ้น กลับส่งผลให้คนกดคลิ๊กมากขึ้น แล้วจะมาอนุมานว่าคนชอบสีน้ำเงินเข้มไม่น่าเป็นเหตุผลที่ถูกต้อง ซึ่งถ้าเรารีบตัดสินใจทำอะไรออกไปโดยอ้างอิงจากดาต้าแค่นั้น ก็อาจพาธุรกิจไปสู่ความล่มจมอย่างน่าเสียดาย
ถ้าเราเป็นบริษัทเทคโนโลยี เราทำการทดสอบฟีเจอร์ใหม่ที่แอดวานซ์มากๆ โดยที่ไม่ได้ทำการออกแบบ Experiment ให้รัดกุมมากพอ อย่างทำการทดสอบฟีเจอร์ใหม่แค่กับกลุ่มผู้ใช้ที่เป็น Advance User โดยขาดการทดสอบกับ Ordinary User แล้วเราเจอว่ากลุ่มผู้ใช้ Advance User ชอบมากเมื่อดูจากจำนวนครั้งที่กด และระยะเวลาการใช้งาน ก็อาจเผลอทึกทักคิดไปเองว่าฟีเจอร์ใหม่ที่แอดวานซ์มากๆ น่าจะดีกับผู้ใช้งานทั้งหมด
เพราะถ้าดูจากบริบทแล้วกลุ่มผู้ใช้ที่ Advance มากๆ น่าจะชอบฟีเจอร์ที่ทำให้ตัวเองทำงานยากๆ ได้มากขึ้น แต่กับผู้ใช้ทั่วไปที่อ่านใช้งานแค่ฟีเจอร์พื้นฐาน ฟีเจอร์ใหม่ที่ออกแบบมาให้แอดวานซ์อาจไม่ส่งผลต่อการใช้งานพวกเขาเลย หรืออาจทำให้พวกเขารู้สึกว่าแอปนี้ใช้งานยากไปจนถอดใจเลิกใช้มากขึ้นแทน
ดังนั้นถ้าจะทำการทดสอบไอเดีย Experiment-Driven Data ต้องออกแบบการทดลองให้แน่ใจว่าดาต้าผลลัพธ์ที่ได้มานั้นมีความแม่นยำมากที่สุดเท่าที่จะเป็นไปได้
Yahoo กับการทำ Experiment-Driven Data
อีกหนึ่งเคสตัวอย่างของ Yahoo ที่น่าสนใจคือพวกเขาตั้งสมมติฐานว่า ถ้าผู้ใช้งานเว็บเห็นภาพแบรนด์หนึ่งชัดๆ จะส่งผลต่อการพิมพ์ค้นหาคำที่เกี่ยวกับแบรนด์นั้นหรือไม่ เช่น ถ้ามีภาพมือถือ iPhone รุ่นใหม่ จะทำให้คนที่เห็นอยากพิมพ์ค้นหาคำที่เกี่ยวกับ “Apple”, “iPhone” หรือ “โทรศัพท์มือถือ” หรือชื่อแบรนด์มือถืออื่นๆ หรือเปล่า
จากการทำ Experiment-Driven Data พบว่ามีการค้นหาเพิ่มขึ้นกว่า 871-1,198% แต่เมื่อทำการทดสอบซ้ำอีกครั้งแบบมีการควบคุมตัวแปร และกลุ่มทดลอง กลับพบว่าจำนวนการค้นหาเพิ่มขึ้นแค่ 5.4% จะเห็นว่าถ้าออกแบบการทดสอบเพื่อเก็บดาต้าไม่ดีแต่แรก เราก็จะได้ดาต้าที่มีความผิดเพี้ยนไปมากจนส่งผลต่อการตัดสินใจสำคัญทางธุรกิจมหาศาล
ดังนั้นทุกครั้งที่ได้ผลลัพธ์ใดมา ต้องลองเอาไอเดียนั้นไปเทสซ้ำกับกลุ่มเป้าหมายที่คล้ายกันอีกรอบ เพื่อให้แน่ใจว่าผลลัพธ์ที่ได้ครั้งแรกไม่ใช่แค่ความบังเอิญ
การทำ Marketing Science ก็เหมือนกับการทำ Clinical Test การทดสอบยารักษาโรคในมนุษย์เรา ที่ก่อนจะปล่อยยาตัวใดออกมาขายให้คนซื้อกินได้ หรือให้หมอจ่ายยานั้นให้คนไข้ได้ พวกเขาต้องทำการเทสซ้ำแล้วซ้ำอีก ตั้งแต่ทดสอบว่ายาได้ผลจริงไหม ได้ผลกับคนที่เป็นโรคเทียบกับคนที่ไม่ได้เป็นโรคอย่างไร เทสว่าระหว่างการให้ยาจริงกับยาหลอกนั้นส่งผลต่างกันอย่างมีนัยสำคัญหรือไม่
เทสแล้ว เทสอีกจนแน่ใจว่าผลลัพธ์ที่ได้จะไม่ผิดเพี้ยนไปกว่านี้อีกแล้ว กับการตลาดก็เหมือนกันควรต้องทำการทดลองแบบวิทยาศาสตร์ซ้ำจนแน่ใจว่าผลลัพธ์ที่ได้จะยังคงดีไม่เปลี่ยนแปลง เราอาจไม่ต้องทำการทดสอบซ้ำเท่ากับยารักษาโรคในมนุษย์ แต่เราควรทำการทดลองซ้ำจนแน่ใจว่าดาต้าที่ได้มาไม่ใช่แค่ความบังเอิญหรือ Error ที่หาสาเหตุไม่ได้
อย่างเรื่องราวการทดลองเพื่อหาวิธีการรักษาโรคลักปิดลักเปิดแล้วเชื่อผลลัพธ์ที่ผิดพลาดมานานกว่า 50 ปี จนส่งผลให้มีผู้เสียชีวิตมากมายอย่างที่ไม่ควรจำเป็น
แค่ Experiment แล้วเก็บ Data อีกนิดก็จะช่วยชีวิตคนได้นับล้าน
ในช่วงปี ค.ศ. 1500-1800 บรรดาลูกเรือที่เสียชีวิตด้วยโรคลักปิดลักเปิดหลายล้านคน เพราะไม่รู้วิธีการรักษา และไม่รู้สาเหตุที่มาที่ไปของโรค (โรคนี้แทบไม่มีคนเสียชีวิตด้วยโรคนี้แล้วในวันนี้) ซึ่งกว่าจะค้นพบก็หลายสิบปีให้หลังว่าสาเหตุของโรคนี้มาจากการขาดวิตามินซี ซึ่งปกติคนอยู่บนบกจะไม่ค่อยขาด เพราะได้กินพวกผัก ผลไม้สด ที่มีวิตามินซีอยู่เต็มไปหมด แต่พอต้องขึ้นเรือไปบรรดาของสดก็กลายเป็นของแห้ง กลายเป็นของเสีย วิตามินซีที่เคยมีอยู่ในอาหารก็สูญสลายไปตามเวลาและสภาพอากาศ
ในปี 1747 Dr.James Lind นายแพทย์ประจำกองทัพเรืออังกฤษได้ทำการทดลองการรักษาทั้งหมด 6 วิธี เพื่อค้นหาว่าวิธีการรักษาไอเดียไหนที่คิดไว้จะช่วยปกป้องชีวิตลูกเรือจากโรคนี้ได้บ้าง
กลุ่มที่ 1 ได้กินส้ม
กลุ่มที่ 2 ได้กินมะนาว
กลุ่มที่ 3 ได้กินน้ำส้มสายชู
ส่วนกลุ่มที่เหลือก็ได้กินของอื่นๆ ไป เวลาผ่านไปไม่นานนายแพทย์เจมส์คนนี้ก็ได้ค้นพบว่าบรรดากลุ่มลูกเรือที่ได้กินผลไม้รสชาติเปรี้ยวอย่างส้ม และมะนาว แทบไม่มีอัตราการป่วยเป็นโรคดังกล่าวเลย แต่อีกกับ 4 กลุ่มที่เหลือมีอัตราการป่วยและเสียชีวิตด้วยโรคลักปิดลักเปิดตามปกติ นายแพทย์เจมส์เลยสรุปว่า ความเป็นกรดจากผลไม้รสเปรี้ยวนี่แหละที่ช่วยป้องกันโรคนี้และรักษาชีวิตลูกเรือเอาไว้ได้ ก็เลยพยายามคิดค้นวิธีการรักษาความเป็นกรด หรือความเปรี้ยวในผลไม้ให้อยู่ได้นานขึ้น นั่นก็คือเอาน้ำมะนาวและน้ำส้มไปต้มจนกลายเป็นน้ำมะนาวกับน้ำส้มเข้มข้นที่มีความเป็นกรดสูงจนรสชาติเปรี้ยวจัดมาก
แต่กลายเป็นว่าความร้อนจากการต้มทำให้วิตามินซีในผลไม้ละเหยหายไปหมด แต่ก็ไม่มีใครทราบเรื่องในเวลานั้น ผู้คนต่างก็เชื่อผลลัพธ์จากการทดลองครั้งแรกว่า เปรี้ยว = ไม่ตายด้วยโรคลักปิดลักเปิด
แต่จำนวนลูกเรือที่เสียชีวิตด้วยโรคดังกล่าวก็ไม่ได้ลดน้อยลงจากน้ำส้มหรือน้ำมะนาวเข้มข้นแต่อย่างไร จนกระทั่ง 50 ปีผ่านไปถึงมีคนค้นพบว่าบรรดาลูกเรือที่ได้รับน้ำมะนาวี่ไม่ผ่านการต้มต่างหากที่รอดชีวิตเป็นส่วนใหญ่ จนเมื่อกลับมาทดสอบย้อนหลังเพิ่มเติมถึงได้รู้ว่าไม่ใช่ความเปรี้ยวหรอกที่ป้องกันโรคดังกล่าว แต่เป็นเพราะวิตามินซี หรือน้ำมะนาวที่ไม่ต้องต้มต่างหากที่ช่วยพวกเขาได้
ลองคิดดูว่าถ้าวันนั้น ดร.เจมส์ ได้ทำการทดลองซ้ำอีกหน่อยว่าระหว่างน้ำมะนาวที่ผ่านการต้ม กับไม่ผ่านการต้ม แบบไหนช่วยรักษาชีวิตคนได้มากกว่ากันตั้งแต่แรก ก็คงสามารถค้นพบวิธีการรักษาที่ดีขึ้นจนคนหลายล้านคนไม่ต้องตายไปด้วยความไม่รู้ครับ
บทสรุปสุดท้าย แต่ก็มีบางเคสในยุค Data ที่เราไม่ต้องรู้ Why ก็เพียงพอแล้ว
แม้จะมีบางคนกล่าวไว้ว่า Correlation is not Causality หรือการที่สองสิ่งเชื่อมโยงกันไม่ได้หมายความว่ามันต้องเกี่ยวพันกันจริงๆ ในยุคก่อนหน้าย Big Data คำพูดนี้ดูจะเหมาะสมมาก แต่ดูเหมือนในยุค Data Everywhere and in Everything คำพูดนี้อาจใช้ไม่ได้ในทุกกรณี
เพราะบรรดาบริษัท Gian Technology พวกเขาทำ Experiment ทดลองกับกลุ่มเป้าหมายจำนวนมหาศาลหลายล้านๆ คนแล้วเห็นผลลัพธ์ที่ชัดเจนว่าดีขึ้นกว่าเดิมโดยไม่รู้ว่าทำไม ก็สามารถนำไปใช้ตัดสินใจเชิงกลยุทธ์ธุรกิจได้แล้ว
อย่างที่ Microsoft Bing ทีมงานกลุ่มหนึ่งสงสัยว่าถ้าเราทำให้พื้นที่โฆษณาหน้าแรกใหญ่ขึ้น จะทำให้ผู้ใช้งานอยากกดคลิ๊กที่โฆษณามากขึ้นหรือเปล่า เพราะรายได้หลักของทีม Bing มาจากการขายโฆษณาเป็นหลัก สิ่งที่พวกเขาทำไม่ใช่แค่ทำให้พื้นที่โฆษณาที่อยากทดสอบใหญ่ขึ้นเพียงอย่างเดียว แต่พวกเขายังทำการลดพื้นที่โฆษณาส่วนอื่นลดเพื่อให้อัตราการเห็นโฆษณาสัมพันธ์กัน
เช่น เดิมอาจมีโฆษณาขึ้นโชว์สี่จุด ตรงกลาง ซ้าย ขวา และด้านล่าง พวกเขาก็อาจทำการออกแบบใหม่เอาโฆษณาด้านซ้าย และขวา มารวมกับโฆษณาตรงกลางให้มีพื้นที่ใหญ่ขึ้น แต่พื้นที่โฆษณาโดยรวมเท่าเดิมเมื่อเทียบกับก่อนหน้า ทั้งนี้ก็เพื่อให้ไม่กระทบ User Experince มากเกินไป ลดปัญหาการโหลดที่นานขึ้นจากเดิม เพราะจากที่เคยบอกไว้ก่อนหน้าว่าแค่เว็บช้าลง 0.1 วินาทีก็ส่งผลให้อัตราการกดลดลงอย่างมีนัยสำคัญ
จากการทดลองกับกลุ่มเป้าหมายจำนวนหนึ่ง แต่หลักหลายล้านคนในระยะเวลาสั้นๆ ดาต้าผลลัพธ์ออกมาชัดเจนว่ามีคนกดโฆษณาเพิ่มขึ้นอย่างเห็นได้ชัด และนั่นก็ส่งผลให้รายได้ของทีม Bing เพิ่มขึ้นทันที พวกเขาเลยเอาไอเดียการรวมพื้นที่โฆษณาเดิมที่กระจัดกระจายให้มีขนาดใหญ่ขึ้นไปทดสอบกับผู้ใช้งาน Bing ทั่วโลก และผลลัพธ์ก็ยังดีดังเดิมจนคาดการณ์ว่าจากการเปลี่ยนแปลงแค่นี้ทำให้รายได้เพิ่มขึ้นประมาณ 50 ล้านดอลลาร์โดยไม่ต้องทำอะไรยากๆ
โดยที่ Bing ก็ไม่รู้ว่าทำไมคนถึงกดโฆษณามากขึ้น แต่นั่นก็ไม่สำคัญเพราะผลลัพธ์ที่ได้มันกระจ่างชัดพอจะตัดสินใจในแบบนี้ครับ
