راهنمای تخصصی
ربات انفجار | چگونه ادعای پیش‌بینی را آزمایش کنیم
چارچوب آماری بررسی نرم‌افزارهای پیش‌بینی ضریب
یک ادعای پیش‌بینی باید قبل از مشاهده نتیجه ثبت شود. نمایش چند نمونه موفق یا اسکرین‌شات از بردها، دقت آماری را ثابت نمی‌کند.
آزمایش قابل تکرار
- تعریف کنید «پیش‌بینی موفق» دقیقاً چیست.
- دنباله‌ای از پیش‌بینی‌های دارای زمان ثبت و غیرقابل تغییر ذخیره کنید.
- تمام نمونه‌ها، نه فقط موارد موفق، وارد محاسبه شوند.
- نتیجه را با خط مبنای ساده و فاصله اطمینان مقایسه کنید.
چرا نتایج انتخاب‌شده گمراه‌کننده‌اند؟
پدیده Selection Bias زمانی رخ می‌دهد که فقط موفقیت‌ها گزارش شوند. در آزمون‌های تکراری، حتی روش فاقد قدرت پیش‌بینی نیز ممکن است چند موفقیت پشت سر هم داشته باشد.
هیچ رباتی صرفاً با دیدن چند دور گذشته، توانایی پیش‌بینی نتایج مستقل آینده را اثبات نمی‌کند.