Валидность психологического эксперимента

b>1.5 Валидность эксперимента и валидность выводов

В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, направленного на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Если проконтролированы все возможные или наиболее явные угрозы внутренней и внешней валидности, хорошо решены проблемы операционализации переменных и проблемы соответствия, то такой эксперимент оценивается как валидный, или «правильный». Из правильно построенного эксперимента можно сделать достоверные - валидные, или «правильные», выводы, подразумевая отсутствие в них ошибок обобщения или ошибок умозаключений, но в выводах можно ошибиться.

Ошибки выводов, или недостоверные выводы, возможны в результате как неверных обобщений, так и проведения невалидных экспериментов. При понимании экспериментирования как чувственно-предметной деятельности ученого не следует, таким образом, ограничиваться описанием и оценкой того, как операционализируются переменные или как осуществляется их регистрация. Формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как нормативы, или нормативные регуляторы, этой деятельности.

Выбор конкретной формы эксперимента связан с разработкой того или иного экспериментального плана (как схемы сбора данных при разных условиях НП) и с другими типами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительного варьирования» переменных, введение расширенной переменной и т.д.). Решение проблем планирования означает при этом «прописывание» эксперимента в системе классификаций типов экспериментов и видов экспериментальных схем. Это в свою очередь позволяет обозначить возможности и ограничения последующих выводов.

Именно предположения о возможностях последующих обобщений направляют исследователя при решении вопросов содержательного и формального планирования экспериментов. Тем самым проблема выводов и обобщений оказывается разведенной по двум достаточно отстоящим друг от друга этапам - мысленного планирования экспериментальных схем и процедур и обоснования выводов на основании результатов уже проведенного исследования. В реальных экспериментальных исследованиях этому соответствует двухэтапность обобщений: как исходных предположений о виде зависимости между НП и ЗП и как завершающих выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, испытуемых и т.д.).

2 Компоненты содержательного и формального планирования

2.1 Подходы к определению термина «планирование эксперимента». Выбор из возможных экспериментальных планов

Можно выделить следующие традиции в понимании того, что следует считать планированием психологического эксперимента.

1. Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем, сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует Р. Готтсданкер.

2. Определение типа переменных с точки зрения заданных гипотетических конструктов и решения вопросов об операционализации переменных, а исходя из этого - выбор методических средств, отражающих взаимосвязь аспектов содержательного и формального планирования.

3. Планирование с целью последующего использования статистических решений об экспериментальном факте, а значит, указание того минимального эффекта (в различиях ЗП), который будет принят в качестве критериального для принятия решения об экспериментальном факте.

Р. Готтсданкер предлагает анализировать возможные экспериментальные схемы по следующим основным признакам:

q вид схем: предлагаются ли сравниваемые условия НП одному и тому же испытуемому или разным группам людей. В первом случае говорят об интраиндивидуальных схемах, а во втором - о межгрупповых. В качестве промежуточных схем выделяют кросс-индивидуальные, в которых предполагается предъявление всех условий НП каждому испытуемому, но их последовательности варьируют применительно к выделенным подгруппам;

q тип эксперимента: достигается ли условие выделения единичной НП, что характерно для лабораторных экспериментов, или НП представляется в комплексе других условий, в разной степени претендующих на выполнение условия соответствия экспериментальной модели той внешней реальности, на которую будет осуществлено обобщение;

q формы контроля угроз валидности: контролируются ли все те возможные источники возникновения угроз внутренней валидности со стороны побочных переменных (ПП), которые могут обеспечивать систематические, несистематические, сопутствующие смешения (НП с ПП) или ненадежность данных;

q число управляемых факторов: является ли экспериментальная схема факторной или схемой с одной управляемой НП; предполагается ли при этом количественное измерение основных результатов действия переменных (и их взаимодействий при факторных схемах);

q степень согласия с критериями мысленных эталонов эксперимента: достигается ли наилучшая репрезентативность реально проводимого эксперимента по сравнению с мысленными образцами, следование которым обеспечивало бы построение безупречного эксперимента.

Представление об эксперименте как гипотетико-дедуктивном методе при этом опускается, а оценка психологических гипотез рассматривается в одном основном аспекте - контроля угроз внутренней и внешней валидности. Основное внимание уделяется обоснованию преимуществ использованной стратегии подбора испытуемых в группы, их отбора из популяции, если речь идет о межгрупповых схемах, или распределения экспериментальных условий в общей их последовательности (при контроле факторов задач, времени, несистематической изменчивости), если речь идет об интраиндивидуальных схемах.

По-разному для этих схем решаются проблемы планирования для достижения приемлемой надежности данных. Оценка надежности зависит от контроля несистематической изменчивости, вариабельности использованных переменных и выбранного числа опытов для разных экспериментальных условий. С точки зрения контроля факторов ненадежности данных обсуждаются и возможности проводить усреднение показателей ЗП по разным условиям или для разных групп испытуемых и т.д. За выбранным числом проб, приходящихся на одно и то же условие НП, стоит принятый критерий количественной оценки необходимой величины экспериментального эффекта, без достижения которого экспериментальная гипотеза считается не выдержавшей опытную проверку и должна быть отвергнута.

По существу, элементы содержательного планирования присутствуют во всех проводимых экспериментах. Выбор схемы - это завершающий этап планирования. Формальное планирование начинается с этапа выбора между интраиндивидуальными и межгрупповыми способами сравнения ЗП. Учет дополнительных переменных или обсуждение общности экспериментальной выявленной тенденции для других испытуемых - это продолжение решения вопросов содержательного планирования, поскольку они прямо связаны с контролем уровня обобщений устанавливаемой зависимости.

Так, в примере с демонстрацией случайной стратегии образования экспериментальной последовательности условий НП - эксперимента на выявление предпочтений сортов томатного сока, представляемого также как пример эксперимента, дублирующего реальный мир, учитывается связь между обобщением как прогнозом для отдельного конкретного человека и необходимостью использовать интраиндивидуальные схемы. То, что эксперимент проводится в практических целях и то, каким образом в нем решены проблемы соответствия, определяет и обобщения (как рекомендации далее покупать сок определенного сорта). Чаще экспериментальная модель не так прямо определяет возможности обобщений.

Экскурс 2

В примере Р. Готтсданкера для демонстрации трудности выделения Психологической переменной (исследование «по трудовой этике») имеется в виду проверка гипотезы, относимой к среднегрупповой тенденции.

Авторы исследования Сингх и Кэри создали экспериментальную модель ситуации, в которой вознаграждение могло быть получено после приложения определенных усилий и без каких-либо усилий. Девочек-индианок предварительно обучали тому, как можно получить шарик: в одном случае для этого нужно было 10 раз нажать на специальный рычаг, а во втором - просто ждать у другого конца стола и через 15 с шарик выкатывался сам. Дети могли потом взять шарики себе или поменять их на любую понравившуюся им игрушку в лаборатории. В основной части опытов ребенку предлагалось самому выбирать, каким образом он будет получать шарик. Всего нужно было получить 5 наград - «заслуженных» или нет.

Среднегрупповая тенденция выразилась в том, что 60% испытуемых предпочли реализовывать усилия для получения вознаграждения, хотя знали, что оно будет и при бездействии. Предпочтение действия бездействию характеризовало только часть группы. Объяснение этого факта строилось как апелляция к этике в рамках протестантской морали: дети могли считать, что нехорошо получать вознаграждение без труда. Контроль этой переменной был осуществлен как выбор из популяции не белых детей.

Чтобы учесть отнесенность выявленной зависимости к конкретным популяциям, была использована вторая - дополнительная - переменная, по которой сравнивали по две этнически разные группы мальчиков и девочек (контрольными служили группы белых детей). Варьирование групп позволяло проконтролировать вклад культурного фона: конкурирующей гипотезой о причинах предпочтения действия бездействию могла выступать гипотеза о роли протестантской морали у белых детей, в соответствии с нормами которой получение награды предполагает работу, т.е. реализацию усилий для вознаграждения. Тот факт, что дети, имевшие предположительно разные культурные нормы представлений об этике получения вознаграждения, проявили примерно равные частотные предпочтения действия бездействию, позволило авторам обобщить гипотезу как верную для разных групп.

Страницы: 1, 2, 3, 4, 5