4.3. Тестирование в исследовании систем управления
В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них — времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и многие другие.
Тестирование является достоверным индикатором будущих успехов при исследовании систем управления и признается универсальным методом в исследования, оно экономически эффективно и способно приносить материальную выгоду предприятию.
Существует множество определений теста. В наиболее общем виде тест можно определить как удовлетворяющую критериям исследования эмпирико-аналитическую процедуру. Существуют и другие, более конкретные определения данного емкого понятия. Например, тест — это система высказываний, позволяющая получить объективное отражение реально существующих отношений между людьми, их свойств, признаков и количественных параметров.
Обобщая мнения различных авторов можно сформулировать более точное определение теста относительно проблем исследования управления. Тест — это метод изучения глубинных процессов деятельности человека, посредством его высказываний или оценок функционирования системы управления. Сфера применения тестирования не ограничивается только психологической проблематикой1.
Большую роль в исследовании систем управления при помощи тестирования играет конструкция теста.
Тест включает набор высказываний и оценок по определенной проблеме или ситуации. Оценки могут быть упрощенные (типа "согласен" — "не согласен") или шкалированные (типа "совершенно верно", "верно", "скорее верно, чем неверно", "трудно сказать" и т.
д. ). Шкала может иметь цифровые оценки в виде рейтинговых коэффициентов или выбора степени согласия.Конструкция теста должна предполагать возможность обработки его результатов по определенным статистическим программам. Каждый тест имеет ключ, позволяющий обработать полученную информацию в соответствии с целями тестирования.
В исследовании систем управления при любом психологическом диагностировании на основе выявления психологических свойств личности принимается квалифицированное решение о наличии у испытуемого (клиента) определенного психологического состояния. При психологическом консультировании в исследовании систем управления, прежде чем давать какие- либо советы клиенту, квалифицированный психодиагност должен правильно поставить диагноз, оценить суть проблемы, волнующей клиента.
Состояние клиента тоже определяется как в начале, так и в конце психокоррекционной работы. В эффективности принимаемых коррекционных мер должен убедиться не только экспериментатор, но и сам клиент. Ведь вера в успех является одним из важнейших факторов эффективности любого терапевтического воздействия.
В обоих случаях основными психодиагностическими средствами выступают наблюдение, беседы и тестирование. Тестирование является основным инструментарием практического психолога, специалиста по психодиагностике и находит широкое применение в исследовании систем управления1.
Тестирование развивалось и продолжает развиваться нарастающими темпами, оказывая эффективное содействие в решении широкого круга вопросов в различных сферах повседневной жизни[26].
История тестирования насчитывает несколько сотен лет. Первые публикации Френсиса Гальтона (1884) и Джеймса Мак- Кина Кеттела (1890) о тестовом методе имели своих сторонников и противников. Многие восторженно приветствовали новый метод. Увидели в нем возможность увязать научные притязания психологии с запросами практики. В целом же статус метода оставался неопределенным.
Между тем в начале 30-х гг. ХХ в. тесты в образовании, в сфере профессионального отбора и профессиональной ориентации начинают широко использоваться, несмотря на то, что они не были обеспечены серьезным психологическим инструментарием. Прошли долгие годы, прежде чем удалось преодолеть методологический тупик в психологии, согласовать теории, концепции, интуитивные догадки с эмпирическими результатами. Особенно важным оказался вывод, что всякий метод несет в себе неизбежность погрешности измерений.Современный тест — это теоретически и эмпирически обоснованная система заданий, позволяющая получать измерения соответствующих психологических свойств. Теоретическое обоснование предполагает всесторонний анализ теста и результатов его применения в свете достижения современной науки. Эмпирическое обоснование теста связано с обращением к опыту, измерениям, эксперименту[27].
Тестирование выступает в качестве одного из основных методов психологической диагностики в исследовании систем управления, позволяющих получать сопоставимые количественные и качественные показатели степени развитости изучаемых психологических свойств или состояний работника на предприятии. Тесты (от англ. test — опыт, проба) — это стандартизированные методики психодиагностики, представляющие собой серию относительно коротких испытаний (задач, вопросов, ситуаций и т. п. ). С помощью таких испытаний с известной вероятностью определяется уровень развития у индивида психологических свойств, необходимых теоретических знаний, практических умений, навыков и других личностных характеристик. С помощью тестов можно изучать и сравнивать между собой характерологические свойства различных людей, выставлять дифференцированные и сопоставимые оценки. Тестирование предполагает четкую процедуру сбора и обработки первичных данных, последующий качественный анализ их и интерпретацию. Здесь "первичными" называются данные, полученные в ходе тестирования до их обработки методами математической статистики1.
По форме представления тесты можно разделить на два основных типа: стандартизированные и проективные. В стандартизированные входят два подтипа: тест-опросники и тест- задания.
Стандартизированными называются тесты, прошедшие этап стандартизации (проверку на валидность и надежность, соответствие другим требованиям, предъявляемым к тестам). Такие тесты ориентированы на оценку и могут служить надежным средством психодиагностики.
Тест-опросник содержит серию вопросов, по ответам на которые судят о психологических качествах испытуемого. В тест-задании испытуемому предлагается серия соответствующих заданий, по итогам выполнения которых определяют наличие или отсутствие и степень развития у него характерологических черт (свойств личности).
Достоинством стандартизированных тестов является возможность дифференцированного их применения (серии стандартизированных тестов разрабатываются применительно к различным возрастным группам людей, уровню образования, жизненному опыту и профессии). С помощью стандартизированных тестов получают количественные оценки, по которым можно сравнивать выраженность психологических свойств испытуемого с их выраженностью в популяции.
Недостатком стандартизированных тестов является определенная возможность влияния испытуемого на результаты тестирования в соответствии с одобряемыми характерологическими чертами личности. Эти возможности увеличиваются, если обучаемые знают содержание теста, а также методику оценки поведения и изучаемых психологических качеств личности.
Другим недостатком стандартизированных тестов является определенная трудность обеспечения индивидуального подхода к испытуемым в процессе тестирования. У людей с пониженной стрессоустойчивостью возникают определенные нарушения саморегуляции, они начинают волноваться, ошибаться в элементарных для них вопросах. Вовремя заметить такую реакцию на тест — задача, которая по силам лишь квалифицированному и добросовестному экспериментатору1.
В определенных условиях применение стандартизированных тестов (тест-опросников и тест-заданий) становится просто нецелесообразным.
Это относится к тем случаям, когда испытуемые не желают признавать у себя отрицательные личностные качества и мотивы поведения либо просто не в состоянии осознать их наличие. В этих ситуациях прибегают к использованию проективных тестов.Проективные тесты предназначены для изучения психологических особенностей людей и их поведения, особенностей, которые вызывают негативное отношение со стороны самих испытуемых. В основе проективных тестов лежит механизм проекции, согласно которому неосознаваемые психологические свойства личности и недостатки поведения индивид склонен приписывать другим людям. О психологических особенностях испытуемого судят на основании того, как он воспринимает и оценивает соответствующие ситуации, поведение людей, какие личностные качества и мотивы он им приписывает.
Проективные методики обладают определенными достоинствами. Человек в своем восприятии жизненных ситуаций (отображение которых представлено в проективных тестах) преобразует их сообразно своей индивидуальности, своего видения жизненных коллизий. Проективные методики как бы "портретируют" свою индивидуальность человека, не прямо, а косвенным путем позволяют изучать его эмоциональные особенности и невротические реакции1.
Единой классификации проективных тестов не существует. Наиболее распространенной является следующая классификация в разработке Л. Ф. Бурлачука и С. М. Морозова.
1. Конститутивные тесты. Содержание работы испытуемого является придание смысла материалу, его структурирование. Наиболее популярным конститутивным тестом является тест Роршаха (тест "чернильных пятен").
2. Конструктивные тесты, предполагающие создание (конструирование) целого из отдельных частей. Среди конструктивных проективных тестов известен так называемый тест мира.
3. Интерпретативные тесты, предполагающие толкование, интерпретацию событий, предлагаемых ситуаций, изображений. Из интерпретативных наиболее популярен "тест тематической апперцепции" (ТАТ), созданный в 1935 г.
Г. Мюрреем и К. Морганом (США).4. Катартические тесты, предполагающие творческую деятельность в особо организованных условиях. Ярким примером таких тестов является психодрама, чаще рассматриваемая как метод психотерапии, но выступающая и как психодиагностическое средство. (предложена Дж. Морено в 1946 г. ).
5. Экспрессивные тесты, предполагающие рисование или аналогичную деятельность на свободную или заданную тему. Из экспрессивных методов широко распространены так называемые рисуночные тесты ("Нарисуй человека", предложенный К. Маховер в 1948 г.; "Дом-дерево-человек", разработанный Дж. Буком в 1948 г., и др. ).
6. Импрессивные тесты, требующие выбора, предпочтения одних стимулов другим. Среди импрессивных проективных тестов наибольшую популярность приобрел так называемый тест Люшера, или тест цветовых предпочтений (предложен М. Лю- шером в 1948 г. ).
7. Аддитивные тесты, предполагающие завершение фразы, рассказа и др. Среди этих тестов широко известен тест "Незаконченные предложения"1.
Единой системы классификации тестов в исследовании систем управлении к настоящему времени еще не выработано. Наиболее распространенной является система разделения тестов по предмету диагностирования, т. е. по тому качеству, которое оценивается с помощью предъявляемого теста. Данный подход позволяет выделить проективные, психологические и интеллектуальные тесты, а также тесты достижений и способностей.
Проективные тесты входят в состав личностных тестов, а тесты креативности — в состав тестов способностей.
Тесты достижений конструируются в основном на учебном материале и предназначены для оценки уровней овладения знаниями, умениями и навыками, а также для определения общей и профессиональной подготовки применительно к конкретным предметам и курсам обучения. Как правило, тесты достижений рассчитаны на групповую работу в классе, аудитории, колледже, вузе. К тестам достижений относятся также и тесты, используемые для целей профессионального отбора (подбора). Целесообразно применение тестов достижения в целях профориентации молодежи.
Психологические тесты — это инструменты, или, употребляя широкий термин, орудия. Психологические тесты классифицируются по разным основаниям. Наиболее распространенной является подразделение психологических тестов на виды, при котором в качестве основания взят предмет диагностики. Так, по предмету диагностики психологические тесты бывают интеллектуальные (тесты интеллекта), тесты способностей, социально- психологические тесты и личностные (тесты личности)1.
Интеллектуальные тесты предназначены для исследования и качественной оценки (измерения) уровня интеллектуального развития индивида. К группе наиболее известных и широко применяемых тестов интеллекта относятся тесты Д. Векслера (предназначены для измерения уровней развития мышления и отдельных когнитивных процессов — восприятия, внимания, воображения, памяти и др. ), батареи тестов Стан- форд—Бине диапазона способностей — от простого манипулирования до абстрактных рассуждений, дифференцированных по возрастному критерию. Применение этих тестов интеллекта позволяет выявить личностные качества испытуемых: уровни их активности и мотивированности, уверенности, настойчивости, сосредоточенности и др. Среди интеллектуальных тестов они занимают ведущее место в зарубежной психологической диагностике. На основе применения батарей тестов Станфорд—Бине и аналогичных им шкал умственного развития Бине—Симона рассчитываются количественные показатели уровней интеллектуального развития испытуемых (IQ, англ. — Intelligence Quotient). Этот коэффициент (IQ) адекватен понятию "интеллект" и рассчитывается по формуле
IQ = (Умственный возраст / Хронологический возраст) • 100. (4.1)
Тесты способностей — это методики, диагностирующие уровень развития общих и специальных способностей, определяющих успех обучения, профессиональной деятельности и творчества. Тесты способностей включают задания не только на интеллект, но и на память, восприятие, ручную и пальцевую моторику. Они широко используются в США для профессиональной ориентации и расстановки кадров в армии, на флоте, в государственных учреждениях.
Разновидностью тестов способностей являются тесты креативности.
Тесты креативности — совокупность методик для изучения и оценки творческих способностей личности.
Социально-психологические тесты подразделяются на личностные и социометрические тесты.
Личностные тесты — это психодиагностические методики, направленные на оценку эмоционально-волевых компонентов психической деятельности индивида (отношений, мотивации, интересов, эмоций, особенностей поведения) в определенных социальных ситуациях. С помощью таких тестов выявляются устойчивые индивидуальные особенности человека, определяющие его поступки. Условно личностные тесты по предмету и цели можно разделить на три большие группы. К первой из них относятся многофакторные личностные опросники, дающие разнообразную комплексную оценку степени развитости психологических свойств личности (16-факторный личностный опросник Р. Кэттелла (16PF), Миннесотский многофакторный опросник (ММР1). Ко второй группе относятся проективные тестовые методики, разрабатываемые на основе неопределенных стимулов. Испытуемым предлагается интерпретировать, дополнять, развивать эти стимулы. Третью группу составляют тестовые методики, выявляющие отдельные устойчивые особенности личности (темперамент, отдельные характерологические черты личности, мотивационные и эмоциональные проявления и др. ).
Социометрические тесты представляют собой своеобразные стандартизированные методики измерения межличностных отношений в малых группах. При ответах на косвенные вопросы испытуемые делают последовательный выбор членов группы, людей, предпочитаемых или отвергаемых в определенных конкретных ситуациях. Такие методики применяют для изучения динамики внутренних межличностных отношений в различных возрастных группах, выявления замкнутых группировок, степени внутригрупповой сплоченности, мотивационной структуры группы и ее конфликтных зон.
Традиционно назначение психологических тестов состояло в том, чтобы измерять различия между людьми или между реакциями одного человека в разных условиях. Одной из ранних проблем, побудивших к разработке психологических тестов, было выявление умственно отсталых. Помимо этого мощный импульс первоначальному развитию тестов был задан стремлением удовлетворить нужды образования. Имеются в виду знаменитые тесты Бине, с которых и началось интеллектуальное тестирование. В настоящее время школы входят в число основных пользователей тестов. Распределение детей по способностям, чтобы максимально использовать возможности разных типов школьного обучения, выявление умственно отсталых, с одной стороны, и одаренных учеников — с другой стороны, образовательное и профессиональное консультирование учащихся средних школ и студентов колледжей, отбор в профессиональные и другие специальные школы — вот лишь некоторые примеры использования тестов в образовании1.
Отбор и распределение персонала на промышленных предприятиях — еще одна важная область применения психологического тестирования. От оператора на линии сборки или делопроизводителя до управленцев высшего звена вряд ли найдется работа, для которой тестирование не оказалось бы полезным при решении вопроса о найме, распределении обязанностей, переводе на новое место, повышении по службе или увольнении. Эффективное применение тестов в большинстве таких ситуаций, особенно касающихся высококвалифицированной работы, возможно лишь тогда, когда тесты используют в качестве дополнения к специальному собеседованию с кандидатами, создающему условия (в виде биографического контекста) для правильной интерпретации тестовых показателей конкретного кандидата. Тем не менее тестирование составляет важную часть полной программы управления трудовыми ресурсами.
Тесты обычно используются в качестве вспомогательных средств при принятии решений, связанных с профессиональной деятельностью, включая индивидуальное профконсульти- рование и решения руководителей организаций, касающиеся подбора и расстановки кадров. Соответствующие структуры торгово-промышленного сектора, правительственных учреждений всех уровней, от федерального до местного, и различных родов войск используют практически все доступные виды тестов для принятия кадровых решений. Нередко комплексные батареи способностей и тесты специальных способностей разрабатывались именно для подобного применения, как и ситуационные тесты. Все большее применение в этой сфере находят личностные и биографические опросники.
Весьма близкое по целям применение психологического тестирования имеет место в вооруженных силах при отборе и распределении военнослужащих.
Использование — тестов в индивидуальном консультировании постепенно расширилось от узконаправленных советов относительно учебных и профессиональных планов до рассмотрения всех аспектов жизни человека. Усиливается использование тестов для улучшения самопонимания и личностного роста. Совершенно очевидно, что тесты применяют при решении широкого круга практических проблем. Однако не следует забывать и о том, что такие тесты — важное средство фундаментальных исследований. Психологические тесты служат стандартизированными инструментами исследования разнообразных проблем при исследовании систем управления.
К тестам предъявляются определенные требования. Основными из них являются валидность, надежность, наличие тестовых норм, социальная адаптация тестовых методик.
Определяя одинаковые для всех психологических методов диагностики пригодности критерии, Г. Шанц, например, не выделяет особо тестирование, считая, что оно по показателям качества должно вписываться в сравнимый пятиэлементный ряд других инструментов отбора:
1) надежность;
2) валидность;
3) объективность;
4) экономичность;
5) полезность1.
Надежность — один из важных критериев качества, относящегося к точности психологических измерений. Чем выше надежность теста, тем относительно свободнее он от погрешностей измерений. Надежность теста рассматривается как устойчивость (стабильность) результатов при повторном тестировании на той же выборке испытуемых. Повторное тестирование обычно проводится через две недели после первого. Считается, что при коэффициенте корреляции более 0,75 уровень надежности теста вполне приемлем.
Каждый тест следует сопровождать сведениями о его надежности. Сообщаемая мера надежности характеризует тест только в случае его проведения в стандартных условиях и с людьми, имеющими сходство с теми, кто входил в состав нормативной выборки. Следовательно, при описании теста нужно точно указывать и характеристики этой выборки вместе с типом измеренной на ней надежности.
Теоретически разновидностей тестовой надежности может быть много, однако практическое применение находят лишь несколько типов надежности. Поскольку все типы надежности касаются степени согласованности или соответствия между двумя независимо полученными множествами показателей, их все можно выразить в виде коэффициента корреляции, который способствует измерению надежности теста.
Существуют приемы проверки надежности тестов. Они включают повторное тестирование, параллельное тестирование, прием раздельного коррелирования (внутренняя корреляция высказываний), использование дисперсионного анализа, факторный анализ1.
Выделяют следующие типы надежности:
• ретестовая надежность (самый очевидный и понятный метод определения надежности результатов теста — его повторное проведение;
• надежность взаимозаменяемых форм (один из способов избежать трудностей, с которыми приходится сталкиваться при определении ретестовой надежности, — использование взаимозаменяемых форм теста);
• надежность эквивалентных половин теста (меру надежности можно определить и на основании однократного применения единственной формы теста, пользуясь для этого различными процедурами расщепления теста на две равноценные половины) и др.
Надежность (достоверность) тестирования формально выводится из аксиом классической теории тестов. Исходным пунктом является предположение, что дисперсия наблюдаемых значений Бх суммарно составлена из дисперсии истинных значений и дисперсии ошибок Бе:
=5,4 (4.2)
Путем ряда преобразований далее показывают, что достоверность теста определяется формулой
„2
г,! '■.. (4.3)
2
Достоверность, соответственно, равна доли истинной дисперсии от общей дисперсии. Если общая дисперсия безошибочна, достоверность достигает максимального значения 1. При практическом нахождении достоверности появляется проблема невозможности эмпирически обнаружить оценки, которые встречаются в вышеприведенных равенствах. Для возможности определения величины ошибки и, следовательно, величины истинной оценки как вспомогательная конструкция вводится понятие параллельного, или эквивалентного, измерения. Два измерения называются параллельными, если их истинное значение и дисперсия значений ошибок одинаковы. Отсюда также следует, что при параллельных измерениях ожидаемые оценки (среднее значение) и дисперсия наблюдаемых оценок одинаковы. С помощью этого предположения можно показать, что соотношение между двумя параллельными измерениями (rx у) как раз соответствует определению достоверности, а именно равно отношению истинной дисперсии к наблюдаемой:
S'2 /
/ . /V/. (4.4)
Таким образом, достоверность инструмента теста можно определить в обход двух параллельных измерений.
Формулу (4.4) можно преобразовать:
S,2=Sx2-rxy (4.5)
Используя формулу (4.2), получаем:
s;=sx2-(l-r^y (4.6)
Или
S.=SXJ(4.7)
Значение, выведенное из равенства достоверности, называется стандартной ошибкой текста. Она выявляет среднее отклонение ошибки от истинного значения1.
Валидность (англ. valid — действительный, пригодный, имеющий силу) — один из важнейших критериев качества теста, означающий пригодность теста для измерения того, что он по замыслу должен измерять; или иначе: соответствие тестовой методики измеряемому концепту. Если, например, проводится тестирование испытуемых на определение их интеллектуальных способностей, то вряд ли целесообразно с помощью одного и того же теста оценивать еще и типы их темперамента. Проверка теста на валидность включает ряд процедур, главными из которых являются процедуры валидизации (валидации). Определяется валидация посредством корреляции результатов тестирования с успешностью выполнения соответствующей деятельности. К примеру, если с группой испытуемых проведено тестирование на определение общих способностей, то процесс валидации можно представить как установление корреляционных связей полученных данных тестирования с результатами обследования этих же испытуемых на предмет выявления общих способностей по другим проверенным и надежным методикам. Валидность считается достаточно высокой, если коэффициент корреляции будет более 0,6. При значении коэффициента корреляции 0,45-0,65 валид- ность считается вполне удовлетворительной.
Проблемы валидности и надежности тесно взаимосвязаны. Однако валидность рассчитывается относительно объекта исследования (применительно к испытуемым), надежность же — относительно предмета психодиагностического исследования (психологических свойств или черт личности).
Надежность не обязательно предполагает валидность. Она является необходимым, но недостаточным условием валиднос- ти. Справедливо следующее неравенство:
ВАЛИДНОСТЬ < НАДЕЖНОСТЬ.
Это означает, что валидность теста не может превышать его надежность.
Под объективностью понимается степень, в которой результаты тестирования не зависят от проверяющего. Объективность налицо, если разные исследователи одного проверяемого пришли к идентичным результатам.
Норма теста определяется в результате тестирования большой выборки испытуемых определенного возраста и пола с последующим усреднением полученных оценок и дифференциацией по ряду релевантных показателей. Норма теста — это средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик.
Понятие "норма теста" связано с понятием "репрезентативность". Репрезентативность (франц. гергеБе^аШ — показательный) — свойство выборочной совокупности представлять характеристики генеральной совокупности. Репрезентативность означает, что с некоторой наперед заданной или определенной статистической погрешностью можно считать, что представляемое в выборочной совокупности распределение изучаемых признаков соответствует их реальному распределению.
Для установления нормы теста и стандартизации тестовой методики требуется предварительно определить обоснованность выборки и провести статистические расчеты по определению их репрезентативности. Операции по анализу и расчету тестовых норм (а следовательно, и проверке их на репрезентативность) проводятся с использованием математических методов (в основном на компьютере). В случае негативных результатов (отсутствия устойчивых тестовых норм) прибегают к обследованию более широкой выборки или отказываются от плана использования данного теста.
Всякие нормы со временем, как правило, изменяются в соответствии с изменяющимися условиями социально-культурной жизнедеятельности людей. В соответствии с установленным среди психологов правилом один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.
Валидность, надежность, соответствие тестовым нормам (репрезентативность) являются основными требованиями психометрии. Их объективный характер, возможность перепроверки результатов тестирования являются гарантией достоверной психологической информации.
Социальная адаптация тестовых методик — данное требование выдвинуто сравнительно недавно. И связано это с необходимостью адаптации тестовых методик, заимствованных из других стран, к новым региональным и социальным условиям. Известный специалист по проблемам социальной психологии и психологии личности Р. С. Немов по этому поводу пишет: "Если, например, созданный в Европе тест интеллекта впервые применяется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначальном, неадаптированном варианте, мы, скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления жителей данной страны"1.
Работа по переоценке тестовых методик по своему объему фактически соответствует конструированию оригинальной методики. С этой точки зрения заимствование зарубежных общедиагностических тестов способностей, черт характера, интересов и т. п. вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики.
Таким образом, применение тестирования в исследовании систем управления является достаточно важным моментом.
Тестирование — исследование высказываний, позволяющих получить объективное отражение свойств и количественных параметров деятельности людей. Тест — система высказываний или оценок по комплексу вопросов, в которых закодирована какая-либо проблема.
В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них — времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и проч. Тестирование составляет важную часть полной программы управления трудовыми ресурсами. Наиболее полно сущность тестов раскрывается в их классификации. Большую роль в исследовании при помощи тестирования играет конструкция теста. Тест включает набор высказываний и оценок по определенной проблеме или ситуации. При составлении теста необходимо учитывать его основные характеристики: валидность, надежность, соответствие тестовым нормам.
К побочным критериям качества тестов относятся:
— нормируемость;
— сравнимость;
— целесообразность (полезность);
— экономичность.
При проведении тестирования следует руководствоваться следующими методологическими принципами:
1) принцип проблемы;
2) принцип оценки;
3) принцип распознавания.
Рассмотрим их содержание более подробно.
Принцип проблемы исходит из того, что проблема — это противоречие, которое предстает нам иногда в качестве абсурда (неожиданно, непривычно, необъяснимо, нелогично, абстрактно). Методология работы с проблемой обеспечивает качественное планирование исследования и его организацию.
Принцип оценки предполагает, что любые события, явления, противоречия мы оцениваем по критериям важности, объективности, актуальности, связи с другими явлениями, сложности.
Принцип распознавания утверждает, что всегда возникает необходимость отождествления, сравнения, определения класса явления, принадлежности к определенной типологической группе. Это позволяет глубже понять новое явление, определить его свойства и характер, сделать оценку более существенной.
Методологические принципы исследования помогают найти эффективный вариант его проведения, целенаправленного осуществления. Принципы — это правила деятельности, которые ее, с одной стороны, ограничивают, а с другой- поддерживают, потому что они отражают концентрированный опыт успешного исследования.
Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования. К основным принципам тестирования, которые находят свое применение в исследовании систем управления, относятся принципы действенности и достоверности.
Действенность теста — точность, с которой тест, интервью и т. п. оценивает то, для чего он был разработан, или выполняет предопределенную ему функцию. Действенность отвечает на вопрос: "Оценивает ли этот тест то, для оценки чего он был предназначен?". Действенность теста всегда определяется по тому, что он оценивает. При найме на работу термин "действенность" означает, что тест относится к выполнению данной работы, другими словами, что результаты теста должны дать представление о способности человека выполнять определенную работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется двумя основными параметрами, показывающими его действенность: эффективностью критериев и действенностью содержа-
ния1.
Эффективность критериев — эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполнения (критерий). Эффективность критериев указывает на то, что тест ("прогноз") находится в соответствии с требованиями, предъявляемыми к данному виду деятельности ("критерий"). Демонстрация действенности критериев предполагает доказательство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, набравшие большее количество очков при тестировании, наилучшим образом соответствуют данной деятельности. С точки зрения психики прогноз — это оценка, которую вы стараетесь связать с критерием — выполнение реальной работы.
Действенность содержания — тест, содержание которого эффективно, содержит ряд задач и навыков, действительно необходимых для выполнения рассматриваемой работы.
Действенность содержания — набор задач и навыков, включенных в тест, необходимых для выполнения рассматриваемой работы.
Основная задача — определить содержание работы в виде поведенческих стереотипов, затем случайным образом осуществить набор этих задач и образцов поведения и включить их в тесты. Примером служит тест на скорость печатания при найме машинистки. Если этот тест — достоверный образец работы машинистки, то он, возможно, содержательно действенен.
Доказательство содержательной действенности теста на практике сложнее, чем в теории. Доказать, что задания, предлагаемые испытуемым при тестировании, на самом деле являются образцом задач, выполняемых в процессе реальной работы, и что условия тестирования адекватны реальным рабочим условиям, не всегда легко1.
Помимо действенности имеется другая важная характеристика теста — достоверность.
Достоверность — постоянство баллов, набранных одним и тем же человеком при повторном тестировании с теми же эквивалентными тестами.
Достоверность теста оценивает его устойчивость, т. е. постоянство результатов, полученных одним и тем же испытуемым при повторном прохождении подобного или похожего теста.
Существует несколько способов оценки стабильности или достоверности теста. Например, человеку задается один и тот же тест в два различных момента времени, и результаты сравниваются. Это называется оценкой повторного тестирования и означает, что во второй раз предоставляется эквивалентный тест. Это называется эквивалентной оценкой. Другой способ определения достоверности теста — определение его внутренней устойчивости1.
Выделяют также следующие принципы тестирования.
1. Принцип научной обоснованности предполагает высокий научный потенциал тестирующего, его профессиональную практическую подготовку на основе профессионально-этических стандартов в области тестирования. Соблюдение этого принципа способствует устранению ошибок диагноста и артефактов (искусственных, ложных фактов, полученных в результате неправильного применения тестовых методик).
2. Принцип обеспечения суверенных прав личности испытуемых означает исключение обманного пути в тестовом исследовании систем управления. Это принцип охраняет право индивида отказываться от участия в тестировании, защищает тайну его личности.
3. Принцип объективности выводов предусматривает беспристрастный подход к результатам тестирования со стороны пользователя. На него не должны оказывать влияние общее впечатление о личности обследуемого, симпатии и антипатии, субъективное состояние и настроение.
4. Принцип эффективности предлагаемых рекомендаций обеспечивает соблюдение соответствующих мер предосторожности, направленных против неправильного использования и неверной интерпретации полученной информации, передаваемой испытуемому.
5. Принцип конфиденциальности предполагает предоставление информации только тем, кому она предназначается.
6. Принцип профессиональной тайны обеспечивает неразглашение содержания тестовых методик и результатов их применения без персонального согласия того лица, которое было обследовано[28].
В обще виде морально-этические нормы могут быть представлены в виде правил, которые должны соблюдать любые пользователи тестирования.
1. Тестирование должно проводиться при участии профессионального психолога — специалиста по психодиагностике или при последующем его участии в качестве консультанта.
2. Человека нельзя подвергать обследованию против его воли или обманным путем. Испытуемый, если это не оговорено законом, имеет право знать результаты своего тестирования и должен быть информирован о целях тестирования и способах использования его результатов.
3. Тестирующий должен обеспечить конфиденциальность информации, полученной от испытуемого на основе "личного доверия".
В настоящее время практика тестирования насчитывает множество методических приемов и подходов, использование которых позволяет решать множество проблем в сфере управления предприятием.
Более изощренные в методологическом отношении исследования последних двух десятилетий оказали существенную поддержку применению тщательно сконструированных личностных тестов при принятии кадровых решений в разнообразных контекстах. Важный и еще недостаточно исследованный вопрос касается определения наиболее релевантных измерений личности по отношению к конкретным специальностям или семействам специальностей. Например, в то время как одни виды работы могут требовать высокой степени общительности, другие требуют от работника прямо противоположного качества[29].
Пытаясь добиться систематической классификации черт личности, некоторые специалисты обратились к факторному анализу. Этот метод идеально подходит для сокращения числа категорий, необходимых для объяснения поведенческих феноменов путем поиска устойчивых паттернов в их появлении. Существует множество способов применения факторного анализа в исследовании черт личности. Один из этих способов сосредоточен на использовании данных личностных вопросников, иллюстрируется серией исследований Гилфорда и его сотрудников1. Вместо того чтобы коррелировать суммарные показатели по существующим опросникам, эти исследователи вычисляли интеркорреляции между отдельными пунктами из многих личностных опросников. В качестве промежуточного продукта данного исследования были разработаны три личностных опросника, объединенные со временем в один инструмент (Гилфор- да-Циммермана)2 — обследования темперамента. Этот опросник дает отдельные показатели для 10 черт, а каждый показатель основывается на 30 разных пунктах. Примеры этих черт включают сдержанность, доминирование, эмоциональную устойчивость и дружелюбность.
Значительная часть текущих исследований сосредоточена на выяснении полезности "Пятифакторной модели" структуры личности (в ее различных формах) для предсказания критериев выполнения работы.
"Пятифакторная модель" (Fife-Factor Model или сокращенно, FFM) символизирует необычайный уровень согласия среди исследователей личности, принадлежащих к самым разным школам факторно-аналитических исследований. Конкретный вид, в котором эта модель представлялась, послужил причиной серьезной ее критики. По существу, FFM — это попытка использовать иерархическую модель анализа с целью упростить ставшую необозримой коллекцию данных об эмоциональном поведении индивидуумов. Следовательно, она предоставляет информацию, с которой легче работать при оценивании конкретных людей и прогнозировании их поведения в отдельных ситуациях. Факторы этой модели являются описательными, а не объяснительными, и они не относятся к разряду тех, что лежат в основе отдельных заданий или специфических тестов, из которых они извлечены.
Хотя некоторые исследователи на протяжении последних лет сходились во мнении, что пять факторов — как раз то число, которое необходимо для объяснения большинства корреляций между огромным количеством дескрипторов личности, наиболее подходящее для конкретных целей число факторов было бы лучше охарактеризовать как 5 ±2.
Согласно данной модели выделяют пять главных областей исследования: нейротизм, экстраверсия, открытость опыту, уживчивость, сознательность.
Популярность рассматриваемой модели в исследованиях отбора персонала не случайна. В конце концов эти пять ( 2) факторов были извлечены в результате обработки обширных массивов данных описания личности и представляют собой модель для характеристики нормальных личностей, в отношении которой существует довольно высокая степень согласия среди специалистов. Каждая из областей, охватываемых данной моделью, широко применима ко всем видам повседневного поведения, включая выполнение профессиональных обязанностей. Например, измерение "эмоциональная устойчивость" является существенным в работе, связанной с быстрым принятием решений в условиях психического напряжения, такой как охрана правопорядка, скорая медицинская помощь и т. д. С другой стороны, "уживчивость" является совершенно необходимым качеством для любой работы, которая предполагает широкие контакты с людьми. Впрочем, неудивительно, что именно фактор "сознательность" выявился в целом ряде метааналитических исследований как наиболее универсальный и существенный личностный предиктор выполнения работы. Тем не менее пока еще далеко до полного согласия как по поводу определения конструкта "сознательность", так и в отношении признания его первенства.
На современном этапе развития практика тестирования обладает достаточно большим количеством разнообразных проективных методик. Главную отличительную особенность проективных методик нужно искать в относительно неструктурированной задаче для испытуемого, т. е. задаче, допускающей почти неограниченное разнообразие возможных ответов. Одна из самых популярных проективных методик связана с использованием чернильных пятен Роршаха1, который был первым, кто применил чернильные пятна для диагностического исследования личности в целом. Еще одной методикой подобного типа является комплексная система Экснера, который разработал комплексную систему, объединившую элементы, отобранные из пяти основных подходов к оценке результатов соответствующего теста. В этой комплексной системе Экснер предлагает стандартизированные процедуры проведения, подсчета показателей и интерпретации, отобранные на основе эмпирических сравнений разнообразных способов. Главное значение здесь придается не содержанию, а структурным переменным. Согласно Эк- снеру, цель обработки ответов — получение структурной сводки, которая образует ядро его системы и служит основой для большинства интерпретационных постулатов.
Серьезная попытка придать методике чернильных пятен психометрическую направленность была предпринята Уэйном Хольцманом.
Хотя все обсуждавшиеся до сих пор проективные методики требуют вербальных ответов, среди методик этой группы есть и полностью вербальные, т. е. использующие слова и в качестве стимульного материала, и в ответах. Часть таких вербальных методик может применяться как в устной, так и в письменной форме, но все они пригодны для письменного предъявления при групповом тестировании.
Методикой, опередившей волну проективных тестов, является тест словесных ассоциаций, эта методика впервые была описана Гальтоном. Процедура проведения теста состоит в предъявлении испытуемому серии не связанных между собой слов, на каждое из которых его просят отвечать первым пришедшим на ум словом. Первые психологи-экспериментаторы, так же как и первые тестологи, работавшие с умственными тестами, видели в таких ассоциативных тестах средство для изучения процессов мышления.
Другая вербальная проективная методика — завершение предложений — широко используется как в научных исследованиях, так и в клинической практике. Примером такой широко используемой формы является Бланк незаконченных предложений Роттера, состоящий из 40 основ предложений. Множество других тестов завершения предложений разработано для оценки различных изучаемых популяций и для применения в разнообразных областях научных исследований и психодиагностики. Некоторые интересные современные разработки в этой области включают инструменты, предназначенные для обнаружения симуляции при освидетельствовании на предмет нетрудоспособности, предсказания эффективности управления и оценивания таких конструкторов, как защитные механизмы; эти инструменты могут быть полезными и при оценке личности.
Методики действия являются достаточно широкой и аморфной категорией проективных методик, которая включает довольно много форм относительно свободного самовыражения. Отличительной особенностью всех этих методик является то, что они использовались и как терапевтические, и как диагностические процедуры. Считается, что благодаря предоставляемым ими возможностям выразить себя, человек не только обнаруживает свои эмоциональные затруднения, но и облегчает свои страдания. К наиболее часто используемым методам из этой категории относятся методики рисования и игровые методики.
Оценочной процедурой, особенно полезной при сборе мнений равных по положению людей, является методика выдвижения кандидатур. Когда эта методика используется для индивидуальной оценки, количество выборов, полученных любым отдельным человеком, может распознать потенциальных лидеров (получивших много выборов), равно как и членов группы, оказавшихся в изоляции (редко или совсем не упоминавшихся).
Достаточно распространенной является методика вынужденного выбора, которая в своей сущности требует от респондентов сделать выбор между двумя описательными терминами или фразами, которые выглядят одинаково приемлемыми, но различаются валидностью. Задания, построенные по типу вынужденного выбора, могут состоять из трех, четырех или даже пяти пунктов. В таких случаях респонденты должны указать, какая из фраз является для них наиболее, а какая наименее характерной. В еще одном варианте требуется выбрать между двумя контрастирующими ответами в рамках одной и той же черты, оцениваемыми по единой шкале. Преимущество данной методики заключается в том, что она обеспечивает получение нормативных, а не ипсативных показателей и потому не накладывает искусственных ограничений на взаимосвязи между разными шкалами. В качестве примера можно назвать индикатор типов Майерс-Бриггс.
Применение тестов в исследовании систем управления всегда связано с выполнением исследовательских или практических задач, с совместной деятельностью тестирующего и тестируемого. При этом важно соблюдение техники психологического тестирования. Процесс тестирования может быть разделен на три этапа: выбор тестовой методики, непосредственное тестирование, интерпретация результатов тестового исследования.
Выбор тестовой методики зависит от ряда взаимодействующих факторов, основными из которых являются области применения тестов, цели и задачи исследования. К областям применения тестовых методик относятся: система образования; профессиональная подготовка, профессиональный отбор (подбор), определение профессиональной пригодности; психологическое консультирование; психологическая коррекция; психотерапевтическая работа; судебная практика.
Выбор тестовой методики зависит также от целей и задач исследования, которые ставит перед собой тестирующий. Так, при индивидуальной работе с клиентами такими задачами могут быть:
- составление плана необходимой профилактической или консультационной работы с испытуемым;
- составление рекомендаций по изменению соответствующих психологических факторов, затрудняющих нормальную трудовую деятельность на предприятии, снижающих мотивацию к труду и т. п.
Однако существует и ряд социально-психологических просветительских задач (передавать психологические знания, умения и навыки; проводить индивидуальное и групповое консультирование по вопросам взаимоотношений с другими людьми, проблемам самоуправления, самовоспитании и саморазвитии и др. ).
На начальном этапе тестирования составляется раппорт. В контексте проведения тестирования термин "раппорт" относится к попыткам проводящего тест специалиста вызвать у испытуемых интерес к тесту, добиться от них сотрудничества и содействовать тому, чтобы их реакции соответствовали целям теста.
Практическая подготовка специалистов по тестированию помимо овладения методиками проведения различных тестов предусматривает и обучение приемам установления рапорта. При установлении рапорта, так же как и при других процедурах тестирования, единообразие условий — существенный фактор получения сравнимых результатов.
Следующим этапом является непосредственное тестирование. Существуют определенные строгие правила, которые следует соблюдать при проведении тестирования. Эти правила сводятся к следующему:
1. Прежде чем использовать выбранную тестовую методику по прямому назначению, специалист подробно знакомится с нею, убеждается, что тесты отвечают предъявляемым к ним требованиям, после чего пробует тест на самом себе (в крайнем случае — на другом человеке). Профессионализм психолога предполагает умение ставить опыты на себе, в том числе опыты по применению к самому себе соответствующих тестовых методик.
2. Перед началом выполнения теста проводится тщательный инструктаж испытуемых, им разъясняются цели и задачи тестирования, порядок и правила выполнения тестовых заданий, основные положения сопровождающей тест инструкции.
3. Во время проведения тестирования психолог следит за работой испытуемых. Последние должны работать самостоятельно, независимо друг от друга, без посторонней помощи, способной изменить результаты тестирования. Отдельные уточняющие вопросы в процессе тестирования испытуемый задает, обращаясь непосредственно к психологу, проводящему тестирование.
Завершающим этапом тестирования является интерпретация результатов исследования.
Каждая тестовая методика должна сопровождаться обоснованной и выверенной программой обработки и интерпретации результатов тестирования. Такая программа включает в себя и применение статистико-математической обработки первичных данных (к примеру, установление корреляционных связей между различными показателями психологических свойств личности испытуемых, порядок и способы расчетов социометрических индексов и т. п. ).
Интерпретация результатов исследования во многом зависит от продуктивного взаимодействия клиента с психологом- диагностом. На это справедливо указывает Г. С. Абрамова1. Ее рассуждения на этот счет сводятся к следующему.
Анализ и интерпретация данных исследования проводятся с целью точной оценки свойств, состояний или уровня психического развития, достигнутого индивидуумом или группой. Полученная в результате этого психологическая информация позволяет решать следующие задачи:
- выявлять состояния развитости соответствующего психологического свойства у индивидуума и определять динамику развития этого свойства в течение определенного времени;
- устанавливать реальные изменения в поведении индивида (группы) под влиянием учебно-воспитательных воздействий;
- разделять обследуемых на подгруппы для последующей дифференцированной работы с ними с учетом достигнутого результата их развития;
- определять профессиональную пригодность индивида или группы для выполнения своих служебных обязанностей;
- разрабатывать рекомендации для последующего проведения психокоррекционной работы;
- составлять прогнозные оценки развития качеств личности испытуемых;
- разрабатывать предложения и рекомендации для индивида по выбору его жизненного пути (режим работы и отдыха, проведение досуга, образ жизни, выбор профессии, брачного партнера и т. п. ), а также по проблемам самообразования, саморазвития, самоорганизации, самовоспитания.
Таким образом, методология тестовых исследований систем управления имеет достаточно сложное содержание. Эффективное проведение тестирования во многом определяется соблюдением принципов тестирования (действенности и достоверности) и верным выбором основных методов тестирования (метод факторного анализа, проективные методы и др. ). Процесс проведения тестирования включает в себя три основных этапа: выбор тестовой методики непосредственное тестирование, интерпретация результатов исследования.
Важные рекомендации по проведению тестирования включают в себя:
1. Тестирование эффективнее применять в комбинации с другими методами исследования систем управления.
2. Необходимо оценить действенность теста в конкретной организации, недостаточно удостоверится в том, что этот тест оказался действенным в похожих организациях.
3. Необходимо вести подробные записи результатов тестирования.
4. Важно использовать услуги специалиста психолога.
5. Очень важны условия тестирования.
6. Необходимо периодически проверять тесты на действенность.
Точное соблюдение техники тестирования позволяет решить ряд важных задач в области управления предприятием (подбор сотрудников с необходимыми личностно-профессиональными качествами, повышение мотивации работников и т. д.).
Еще по теме 4.3. Тестирование в исследовании систем управления:
- РАЗДЕЛ I. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ
- ОБЪЕКТЫ ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ
- Глава 2. Основные методологические положения исследования систем управления
- 2.4. Концепция и разработка гипотезы исследования систем управления КОНЦЕПЦИЯ ИССЛЕДОВАНИЯ
- Глава 3. Методологические подходы к исследованию систем управления
- Глава 6. Эмпирические методы исследования систем управления
- Глава 10. Планирование процесса исследования систем управления
- Глава 14. Социологические исследовании систем управлении и исследование управлении посредством социально-экономического экспериментирования
- Глава 15. Оформление отчета об исследовании систем управления
- 1.3. Цели и направления исследования систем управления
- ГЛАВА 3. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПРОВЕДЕНИЯ ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ
- 3.2. Разработка концепции исследования систем управления
- ГЛАВА 4. МЕТОДЫ ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ