Думай повільно... Вирішуй швидко (Д. Канеман)
Сторінка: Перша < 19 20 21 22 23 > Остання цілком
Ваш розум в останні кілька секунд був дуже активний, причому працювала переважно Система 2. Ви планомірно шукали в пам'яті інформацію і формулювали гіпотези. Вам знадобилися деякі зусилля: у вас розширилися зіниці, вимірне почастішало серцебиття. Але і Система 1 не байдикувала: робота Системи 2 покладалася на факти і пропозиції, витягнуті з асоціативної пам'яті. Ви, ймовірно, відкинули думку про те, що республіканські політичні погляди захищають від раку нирки. Швидше за все, в результаті ви зосередилися на тому факті, що округи з низьким рівнем захворюваності в основному сільські. Дотепні статистики Говард Вейнер і Харріс Цверлинг, приводячи в приклад це дослідження, прокоментували: «Дуже легко і спокусливо зробити висновок, що низький рівень захворюваності - прямий наслідок здорової сільського життя: повітря чисте, вода теж, їжа свіжа і без добавок». Дуже розумно.
Розглянемо тепер округу з найвищим рівнем захворюваності на рак нирки. Ці нездорові округу в основному сільські, малонаселені і розташовані у традиційно республіканських штатах на Середньому Заході, Півдні та Заході. Вейнер і Цверлинг жартома коментують: «Легко припустити, що високий рівень захворюваності - прямий наслідок бідності сільського життя: гарна медицина далеко, жирна їжа, зловживання алкоголем і тютюном». Звичайно ж, щось не так. Сільське життя не може служити одночасним поясненням і для високого, та для низького рівня захворюваності на рак нирки.
Основний фактор тут - не те, що сільські округи або в основному республіканські. Вся справа в тому, що населення сільських округів нечисленне. Головний урок, який потрібно засвоїти, стосується не епідеміології, а складних відносин між нашим розумом і статистикою. Система 1 відмінно пристосована до однієї форми мислення - вона автоматично і без зусиль пізнає каузальные зв'язку між подіями, іноді навіть у тих випадках, коли не існує. Почувши про округах з високим рівнем захворюваності, ви негайно уклали, що вони чимось відрізняються, що у цієї різниці є пояснення. Однак, як ми побачимо, Система 1 не дуже здатна управлятися з «чисто статистичними» фактами, які змінюють вірогідність результатів, але не змушують їх траплятися.
Випадкова подія - за визначенням - не підлягає поясненню, але серії випадкових подій ведуть себе надзвичайно регулярним чином. Уявіть собі посудину, наповнений невеликими кульками. Половина з них - червоні, половина - білі. Потім уявіть дуже терплячу людину (або робот), який наосліп дістає по чотири кульки, записує число червоних, кинув їх назад і повторює так багато-багато разів. Якщо узагальнити результати, то виявиться, що поєднання «два білих, два червоних» з'являється майже у шість разів частіше, ніж «чотири білих» або «чотири червоних». Це співвідношення - математичний факт. Результат багатократного отримання кульок з урни можна передбачити з тією ж точністю, як результат удару молотком по яйцю. Передбачити, як саме розлетяться осколки шкаралупи, ви не зможете, але в цілому ви впевнені в результаті. Втім, є одна відмінність: вдоволене відчуття причинного зв'язку, яке ви відчуваєте, думаючи про молоток і яйці, у випадку з кульками геть відсутня.
З цим пов'язаний і інший статистичний факт, що відноситься до прикладу про рак. З одного і того ж судини два дуже терплячих експериментатора по черзі дістають кульки. Джек в кожній спробі витягує по 4 штуки, а Джилл - по 7. Вони обидва роблять відмітку кожен раз, коли їм дістаються кульки одного кольору, всі білі або всі червоні. Якщо досить довго цим займатися, то Джек буде спостерігати такі результати приблизно в 8 разів частіше Джилл (очікуваний відсоток становить 12,5 та 1,56 % відповідно). І знову ні молотка, ні причини, просто математичний факт: набори з 4 кульок частіше дають однорідні результати, ніж набори з 7.
А тепер уявіть населення США кульками у величезному посудині, причому деякі кульки позначені літерами «РП», що говорить про рак нирки. Ви витягаєте набори кульок і по черзі населяете кожен округ. Вибірки в сільських місцевостях менше за інших. Як і в грі Джека і Джилл, екстремуми - то є дуже високі і/або дуже низькі рівні захворюваності на рак - з більшою вірогідністю опиняться в малонаселених округах. Ось і вся історія.
Ми почали з факту, який потребує пояснення: рівень захворюваності на рак нирки сильно змінюється в залежності від округу, і в цих змінах є закономірність. Я запропонував статистичне пояснення: екстремуми (високі та низькі показники) імовірніше з'являться в малих вибірках, ніж у великих. Це - не причина. Маленьке населення округу не породжує рак і не рятує від нього. Воно просто дозволяє рівнем захворюваності бути набагато вище (або набагато нижче, ніж у більш численної популяції. Істина полягає в тому, що тут нічого пояснювати. Насправді рівень захворюваності на рак не вище і не нижче норми; якщо в окрузі маленьке населення, вона лише здається такою в окремо взятому році через випадковості вибірки. Якщо повторити аналіз на наступний рік, ми помітимо, що в цілому ситуація з екстремумами в малих вибірках та ж, але округу, де в попередньому році було багато випадків раку, необов'язково і на цей раз покажуть високий рівень захворюваності. Якщо так, то різниця між щільно населеними та сільськими округами не рахується, це просто артефакти, тобто явища, породжені виключно якимось аспектом методу дослідження, в даному випадку - відмінностями у розмірі вибірки.
Ви, може, і здивувалися моєї розповіді, але не сприйняв його як одкровення. Вам давно відомо, що результати досліджень надійніше на великих вибірках, і про закон великих чисел чули навіть ті, хто статистики зовсім не знає. Але просто «знати» недостатньо, і, можливо, ви виявите, що ви справедливі наступні твердження:
- Ви не надали значення ознакою «малонаселений», коли читали історію про дослідження частоти захворювань на рак.
- Ви сильно здивувалися, дізнавшись про різницю між вибірками в 4 і 7 кульок.
- Навіть зараз вам потрібні певні розумові зусилля, щоб зрозуміти, що наступні два твердження означають абсолютно одне і те ж:
- Великі вибірки дають більш точний результат, ніж маленькі.
- Маленькі вибірки частіше великих дають екстремуми.
Перше твердження здається істинним, але не можна вважати, що ви його зрозуміли, поки інтуїція не прийняла друге.
Отже, ви знали, що результати на великих вибірках точніше, але зараз ви, напевно, розумієте, що це знали не дуже добре. Ви не самотні. Наше з Амосом перше спільне дослідження показало, що навіть у досвідчених дослідників погана інтуїція і непевне уявлення про значення обсягу вибірки.
Закон малих чисел
Моя співпраця з Амосом в 1970-ті роки почалося з дискусії про затвердження, що люди володіють інтуїтивним статистичними чуттям, навіть якщо їх статистиці не навчали. На семінарі Амос розповів нам про дослідників з Мічиганського університету, які в цілому оптимістично ставилися до інтуїтивної статистикою. Мене ця тема дуже хвилювала з особистих причин: незадовго до того я виявив, що я - поганий інтуїтивний статистик, та мені не вірилося, що я гірше інших.
Для психолога-дослідника мінливість вибірки - не просто дивина, це незручність і перешкода, яка дорого обходиться, перетворюючи будь-яке дослідження в гру випадку. Припустимо, ви хочете підтвердити гіпотезу, що словниковий запас шестирічних дівчаток в середньому більше, ніж словниковий запас хлопчиків того ж віку. В обсязі всього населення гіпотеза вірна, у дівчаток в шість років словниковий запас в середньому більше. Проте дівчатка і хлопчики бувають дуже різними, і можна випадково вибрати групу, де помітної різниці немає, а то й таку, де хлопчики набирають більше балів. Якщо ви - дослідник, такий результат вам дорого обійдеться, оскільки, витративши час і зусилля, ви не підтвердіть правильність гіпотези. Ризик знижується тільки використанням досить великий вибірки, а ті, хто працює з малими вибірками, віддають себе на волю випадку.
Ризик помилки в кожному експерименті оцінюється за допомогою досить простої операції, однак психологи не користуються обчисленнями для визначення розміру вибірки, а приймають рішення у відповідності з власними, часто збитковим, розумінням. Незадовго до дискусії з Амосом я прочитав статтю, прекрасно ілюструє типові помилки дослідників. Автор зазначав, що психологи часто-густо використовують настільки малі вибірки, що ризикують не підтвердити гіпотези вірні з імовірністю 50 %! Жоден розумний дослідник не прийме такий ризик. Правдоподібним поясненням здавалося те, що рішення психологів щодо розміру вибірок відображали панівні інтуїтивні омани про діапазоні мінливості.
Мене вразили містяться в статті пояснення, що проливають світло на проблеми з моїми власними дослідженнями. Як і більшість психологів, я постійно використовував занадто маленькі вибірки і часто отримував безглузді, дивні результати, опинялися артефактами, які породжував сам метод моїх досліджень. Мої помилки були тим постыднее, що я викладав статистику та вмів обчислювати розмір вибірки, необхідний для зниження ризику невдачі до прийнятного рівня. Але я ніколи цим не займався при плануванні експериментів і, подібно іншим дослідникам, вірив традиції і власної інтуїції, не замислюючись про проблему всерйоз. До моменту, коли Амос відвідав мій семінар, я вже усвідомив, що моя інтуїція не працює, а під час самого семінару ми швидко прийшли до висновку, що помиляються і оптимісти з Мічиганського університету.
Ми з Амосом вирішили з'ясувати, чи є серед дослідників такі ж наївні дурні, як я, і роблять ті ж помилки вчені, що володіють математичними знаннями. Ми розробили опитувальник з описом реалістичних досліджень і успішних експериментів. Опитувані повинні були визначити розміри вибірок, оцінити пов'язані з цими рішеннями ризики та дати поради гіпотетичним аспірантам, які планують науково-дослідну роботу. На конференції Товариства математичної психології Амос провів опитування присутніх (включаючи двох авторів підручників за статистикою). Результати виявилися очевидні: я був не самотній. Майже всі респонденти повторили мої помилки. З'ясувалося, що навіть експерти недостатньо уважні до розміру вибірки.
Перша стаття, написана мною у співавторстві з Амосом, називалася «Віра в закон малих чисел». В ній жартівливо пояснювалося, що «...інтуїтивна оцінка розміру випадкових вибірок, схоже, задовольняє закону малих чисел, в якому сказано, що закон великих чисел з тим же успіхом застосовують і до малим». Також ми включили в статтю наполегливу рекомендацію для дослідників ставитися до своїх «статистичним передчуттям з недовірою і при будь-якій можливості замінювати враження обчисленнями».