موضوع اندازهگیری همیشه برایم مهم بود چه در زندگی شخصی و چه کاری. در نظریهی لیندی که شبیه یک قاعدهی سرانگشتی یا خودیافتگی (هیوریستک) است گفته شده: برخی چیزهایی که ذاتاً عمر مشخصی ندارند مثل کتاب، اثر، ایده، پروتکل و فرهنگ، دین و... دوام آوردن در گذشته میتواند نشانهای از احتمال دوام در آینده باشد. این همان چیزی بود که نیکلاس طالب در کتاب پادشکننده دستش گرفت و ولش نمیکرد :) اما مشکل این نظریه این است از اینکه چیزی ۱۰۰ سال دوام آورده، نمیتوان نتیجه گرفت که قطعاً ۱۰۰ سال دیگر هم دوام میآورد؛ هرچند میتوان نمونههای انتزاعی قابل اثباتی را امروز لااقل دید: مثل ادیان، یا اشعار شکسپیر و فردوسی.
بااینحال نمیتوان با قطعیت گفت اینان در آینده نیز همچنان دوام خواهند آورد؛ چراکه دوام آوردنش یک احتمال است نه قطعیت.
×××
اما نظریهی قانون گودهارت باحالترست. میگوید وقتی معیار تبدیل به هدف شود خود معیار خراب میشود. یعنی در این حالت وقتی معیار را اندازه بگیری دیگر معیار خوبی نیست. مثلاً یک مدیر ممکن است پاداش کارمندانش را بر اساس تعداد تیکتها یا (درخواستهای) بسته شده بخواهد بدهد؛ در این صورت چه میشود؟
کارمندان برای بالا بردن نرخ رقم تعداد درخواست، درخواستهای ساده انتخاب میکنند. کارها را ناقص اما سریع میبندند و یک موضوع ساده را به چندین درخواست تقسیم میکنند در نتیجه تعداد بالاست اما کیفیت بیشتر افت میکند.
پس تعداد درخواست بستهشده بجای اینکه به معیار سنجش عملکرد تبدیل شود میشود هدف و اینجا آدمها شروع میکنند به بازی دادن معیار. چون میخواهند هم خودشان و هم مدیرشان به هدف برسند.
یا مثلاً در مدرسه اگر موفقیت یعنی نمرهی بالای دانشآموز، پس مدرسه برای برتر شدن توی مدارس کشور، شاید فقط تکنیک تستزنی بیاموزد در نتیجه نمرات بالا رفته اما یادگیری عمیق نه!
این داستان در شبکههای اجتماعی هم صادق است.وقتی تعداد فالوور، لایک و ویو بعنوان معیارسنجی تبدیل شوند به هدف، نتیجه این میشود که دیگر محتوای ارزشمند تولید نمیشود. همه میخواهند از الگوریتم جا نمانند. همین.
نکته این نیست که معیار سنجش نداشته باشیم بلکه این است که معیار نباید تبدیل به هدف شود که گند میزند توی هدف.
×××
در فیزیک، این مفهوم بیشتر با اثر مشاهدهگر و در مکانیک کوانتومی با مسئلهی اندازهگیری مرتبط است. یعنی ابزار اندازهگیری ممکن است با سیستم برهمکنش کند و وضعیتش را تغییر دهد.
جالبتر اینکه در فناوری اطلاعات تقریباً معادل مستقیمش را داریم بنام: Probe Effect. یعنی برای اینکه بفهمی یک سیستم چقدر سریع است؟ روی آن سیستم، ابزارهای مانیتورینگ و Logging و Tracing و Profiler میگذاری؛ ولی همین ابزارها CPU، I/O، حافظه و Latency مصرف میکنند. یعنی: برای فهمیدن رفتار سیستم، چیزی به سیستم اضافه میکنی که رفتار سیستم را تغییر میدهد!
حتی اصطلاح بامزهای هم در نرمافزار وجود دارد بنام: Heisenbug؛ باگی که وقتی سعی میکنی آن را دیباگ کنی، رفتار آن عوض میشود یا کلاً ناپدید میشود.
×××
عددها قرار بود واقعیت را توصیف کنند؛ ولیکن دردسر از جایی شروع میشود که واقعیت مجبور میشود خودش را با عددها تطبیق دهد. چراکه اندازهگیری فقط گزارش واقعیت نیست؛ گاهی خودِ واقعیت را هم تغییر میدهد.
در کل بنظرم خودِ اندازهگیری یک مشکل است! یعنی خودِ اندازهگیری ذاتاً نوعی تقلیلدادن واقعیت است. به تعبیری دیگر، هر اندازهگیری یک مداخله است؛ گاهی فیزیکی، گاهی رفتاری و تقریباً همیشه مفهومی. اما پارادوکس جالبش این است که بدون اندازهگیری تقریباً هم نمیتوانیم مدیریت کنیم، اما هرچه بیشتر مدیریت را به عددها بسپاریم، احتمال بیشتری دارد چیزی را که میخواستیم بفهمیم از دست بدهیم.
×××
تکلیف این نیست که اندازهگیری را کنار بگذاریم؛ باید جایگاه ارزشگذاریاش را پایینتر بیاوریم. عدد باید ابزار اندیشه باشد، نه ابزار تصمیم و نه خودِ حقیقت.
بااینحال برای خلاصی از این پارادوکس من برایش پنج قاعده میگذارم:
• هیچوقت با یک معیار تصمیم نگیر؛ چند نشانهی مستقل را کنار هم ببین.
• معیار را مستقیم به پاداش و تنبیه وصل نکن، چون خیلی زود بازی داده میشود.
• همیشه یک بخش کیفی کنار عدد نگه دار؛ مشاهده، نمونهخوانی، گفتوگو، بررسی موردی.
• مرتب بپرس این سنجه چه رفتاری ایجاد کرده؟ نه فقط عددش چند شده؟
• هرجا هزینه و اثر خودِ اندازهگیری از منفعتش بیشتر شد، اندازهگیری را حذف کن.
بهنظرم اصل کلی شاید این باشد بهترست که: اندازه بگیر، اما به چیزی که اندازه گرفتهای ایمان نیاور.
چراکه عدد برای دیدن است، نه برای واقعیت و نه برای پرستیدن.
Soroushane.ir
بااینحال نمیتوان با قطعیت گفت اینان در آینده نیز همچنان دوام خواهند آورد؛ چراکه دوام آوردنش یک احتمال است نه قطعیت.
×××
اما نظریهی قانون گودهارت باحالترست. میگوید وقتی معیار تبدیل به هدف شود خود معیار خراب میشود. یعنی در این حالت وقتی معیار را اندازه بگیری دیگر معیار خوبی نیست. مثلاً یک مدیر ممکن است پاداش کارمندانش را بر اساس تعداد تیکتها یا (درخواستهای) بسته شده بخواهد بدهد؛ در این صورت چه میشود؟
کارمندان برای بالا بردن نرخ رقم تعداد درخواست، درخواستهای ساده انتخاب میکنند. کارها را ناقص اما سریع میبندند و یک موضوع ساده را به چندین درخواست تقسیم میکنند در نتیجه تعداد بالاست اما کیفیت بیشتر افت میکند.
پس تعداد درخواست بستهشده بجای اینکه به معیار سنجش عملکرد تبدیل شود میشود هدف و اینجا آدمها شروع میکنند به بازی دادن معیار. چون میخواهند هم خودشان و هم مدیرشان به هدف برسند.
یا مثلاً در مدرسه اگر موفقیت یعنی نمرهی بالای دانشآموز، پس مدرسه برای برتر شدن توی مدارس کشور، شاید فقط تکنیک تستزنی بیاموزد در نتیجه نمرات بالا رفته اما یادگیری عمیق نه!
این داستان در شبکههای اجتماعی هم صادق است.وقتی تعداد فالوور، لایک و ویو بعنوان معیارسنجی تبدیل شوند به هدف، نتیجه این میشود که دیگر محتوای ارزشمند تولید نمیشود. همه میخواهند از الگوریتم جا نمانند. همین.
نکته این نیست که معیار سنجش نداشته باشیم بلکه این است که معیار نباید تبدیل به هدف شود که گند میزند توی هدف.
×××
در فیزیک، این مفهوم بیشتر با اثر مشاهدهگر و در مکانیک کوانتومی با مسئلهی اندازهگیری مرتبط است. یعنی ابزار اندازهگیری ممکن است با سیستم برهمکنش کند و وضعیتش را تغییر دهد.
جالبتر اینکه در فناوری اطلاعات تقریباً معادل مستقیمش را داریم بنام: Probe Effect. یعنی برای اینکه بفهمی یک سیستم چقدر سریع است؟ روی آن سیستم، ابزارهای مانیتورینگ و Logging و Tracing و Profiler میگذاری؛ ولی همین ابزارها CPU، I/O، حافظه و Latency مصرف میکنند. یعنی: برای فهمیدن رفتار سیستم، چیزی به سیستم اضافه میکنی که رفتار سیستم را تغییر میدهد!
حتی اصطلاح بامزهای هم در نرمافزار وجود دارد بنام: Heisenbug؛ باگی که وقتی سعی میکنی آن را دیباگ کنی، رفتار آن عوض میشود یا کلاً ناپدید میشود.
×××
عددها قرار بود واقعیت را توصیف کنند؛ ولیکن دردسر از جایی شروع میشود که واقعیت مجبور میشود خودش را با عددها تطبیق دهد. چراکه اندازهگیری فقط گزارش واقعیت نیست؛ گاهی خودِ واقعیت را هم تغییر میدهد.
در کل بنظرم خودِ اندازهگیری یک مشکل است! یعنی خودِ اندازهگیری ذاتاً نوعی تقلیلدادن واقعیت است. به تعبیری دیگر، هر اندازهگیری یک مداخله است؛ گاهی فیزیکی، گاهی رفتاری و تقریباً همیشه مفهومی. اما پارادوکس جالبش این است که بدون اندازهگیری تقریباً هم نمیتوانیم مدیریت کنیم، اما هرچه بیشتر مدیریت را به عددها بسپاریم، احتمال بیشتری دارد چیزی را که میخواستیم بفهمیم از دست بدهیم.
×××
تکلیف این نیست که اندازهگیری را کنار بگذاریم؛ باید جایگاه ارزشگذاریاش را پایینتر بیاوریم. عدد باید ابزار اندیشه باشد، نه ابزار تصمیم و نه خودِ حقیقت.
بااینحال برای خلاصی از این پارادوکس من برایش پنج قاعده میگذارم:
• هیچوقت با یک معیار تصمیم نگیر؛ چند نشانهی مستقل را کنار هم ببین.
• معیار را مستقیم به پاداش و تنبیه وصل نکن، چون خیلی زود بازی داده میشود.
• همیشه یک بخش کیفی کنار عدد نگه دار؛ مشاهده، نمونهخوانی، گفتوگو، بررسی موردی.
• مرتب بپرس این سنجه چه رفتاری ایجاد کرده؟ نه فقط عددش چند شده؟
• هرجا هزینه و اثر خودِ اندازهگیری از منفعتش بیشتر شد، اندازهگیری را حذف کن.
بهنظرم اصل کلی شاید این باشد بهترست که: اندازه بگیر، اما به چیزی که اندازه گرفتهای ایمان نیاور.
چراکه عدد برای دیدن است، نه برای واقعیت و نه برای پرستیدن.
Soroushane.ir