การทดลองถูกออกแบบให้สำเร็จ ไม่ใช่ให้ขยายผล
การทดลองมักใช้ข้อมูลที่สะอาด ขอบเขตแคบ และกลุ่มผู้ใช้ที่กระตือรือร้น ในโลกจริง — ที่มีข้อมูลยุ่งเหยิง ระบบเก่า และกรณีพิเศษนับพัน — ทุกอย่างเปลี่ยนไป
ห้าสาเหตุที่พบบ่อย
- ไม่มีตัวชี้วัดทางธุรกิจที่ชัดเจนตั้งแต่ต้น
- ไม่ได้วางแผนการเชื่อมต่อกับระบบหลัก
- ไม่มีการประเมินคุณภาพอย่างต่อเนื่อง
- ฝ่ายความเสี่ยงและการปฏิบัติตามกฎเข้ามาช้าเกินไป
- ไม่มีใครรับผิดชอบการดำเนินงานหลังการทดลองจบ
ออกแบบเพื่อการใช้งานจริงตั้งแต่วันแรก
เลือกกรณีการใช้งานจริงที่มีข้อมูลจริงและตัวชี้วัดจริง ให้ฝ่ายความเสี่ยงมีส่วนร่วมตั้งแต่สัปดาห์แรก สร้างการทดสอบอัตโนมัติก่อนสร้างเอเจนต์ และวางแผนเปิดใช้ตามกลุ่มทราฟฟิก
การทดลองที่ไม่มีแผนขยายผลเป็นแค่เดโมราคาแพง
