Достоинства и недостатки метода тестов
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования
«Саратовская государственная юридическая академия»
Институт второго высшего и дополнительного
профессионального образования
Кафедра правовой психологии и судебной экспертизы
Учебная дисциплина – психодиагностика
Курсовая работа
ДОСТОИНСТВА И НЕДОСТАТКИ МЕТОДА ТЕСТОВ
Выполнил:
студент 2 курса 7 группы
направления подготовки
030300.62 Психология
Сомова И.А.
Адрес:
Саратов-2012
Содержание
|
Введение |
Стр. 3 |
Глава I. Сущность и отличительные признаки метода тестов |
5 |
§ 1. Место метода тестов в системе психодиагностики |
5 |
§ 2. Понятие и виды тестов |
10 |
Глава II. Метод тестов: достоинства и недостатки |
21 |
§ 1. Проблемные аспекты метода тестов |
21 |
§ 2. Достоинства метода тестов |
25 |
§ 3. Недостатки метода тестов |
28 |
Заключение |
31 |
Список литературы |
33 |
Введение
Актуальность темы исследования. В практике деятельности практического психолога встречаются различные проблемы, связанные с решением задач изучения межличностных отношений, семейных конфликтов, отбора персонала предприятия, фирмы, профориентации молодежи и т.д. В том или ином случае во главе угла стоит проблема оценки личности, измерения способностей человека, его мотивации, авторитета, сплоченности групп и т.д. Любая психологическая оценка основывается, с одной стороны, на возможностях измерения особенностей личности или группы и достоверности измерительных средств, с другой.
Особенностью методов, используемых в психодиагностике (как в научных, так и в практических целях), является то, что они позволяют соотнести полученные данные с определенными показателями, выступающими в качестве критерия наличия или выраженности какого-либо признака. Существует немало популярных методик психодиагностики. Среди них опрос, анализ продуктов деятельности, контент-анализ и прочие и в том числе метод тестирования. Тестирование относится к методам диагностики, для которых, в отличие от других методик исследования, характерен акцент на измерение (т.е. численное представление) некоторой психологической переменной.
Метод тестов с самого своего возникновения мыслился как психометрические орудие, характеризующее уровень развития психических процессов на языке объективных измерений. Разработанный первоначально для отбора неполноценных детей во вспомогательные школы, он в дальнейшем получил широкое распространение для других целей. Однако тестирование – это отнюдь не совершенный метод психологического исследования, он имеет свои достоинства и недостатки.
Б.М. Теплов в этой связи отметил: «Нет оснований принципиально возражать ни против коротких испытаний, ни против стандартизации условий испытаний, ни против стремления отразить результаты испытания в количественной форме, ни против статистической обработки результатов. Возражать надо против другого – против того, что подавляющее большинство тестов не имеет под собой прочно обоснованной научной базы... Мы полагаем, что если нам неясен физиологический или психологический смысл испытания, если это испытание является «слепой пробой», то никакая статистическая обработка массового применения этого испытания, сколь бы успешной и остроумной она ни была, не дает научно ясных результатов»1.
Цель исследования – это комплексное изучение основных характеристик, возможностей и пределов использования метода тестов в психодиагностике. Цель исследования обусловила решение следующих задач:
– оценить место метода тестов в системе методов психодиагностики;
– изучить понятие теста и его классификацию;
– определить основные проблемы использования тестов в психологическом исследовании личности;
– проанализировать достоинства и недостатки применения тестов в психодиагностике.
Объектом исследования является сфера психологического исследования личности.
Предмет исследования включает закономерности применения метода тестов в сфере психодиагностики.
Теоретическую базу работы составили исследования А. Анастази, А.В. Батаршева, А.А. Бодалева, Л.Ф. Бурлачука, К.М. Гуревича, Б.В. Кулагина, А.С. Лучинина, И.Н. Носса, Г.С. Прыгина, Е.С. Романовой, А.А. Реана, В.В. Столина, Ю.Л. Сыэрда, Б.М. Теплова, С. Урбины и других авторов.
Структура курсовой работы. Курсовая работа состоит из введения, двух глав, объединяющих 5 параграфов, заключения и списка литературы.
Тема выбрана в соответствии с последней цифрой номера зачётной книжки – 13194.
ГЛАВА I. СУЩНОСТЬ И ОТЛИЧИТЕЛЬНЫЕ ПРИЗНАКИ
МЕТОДА ТЕСТОВ
§ 1. Место метода тестов в системе психодиагностики
Современная психология оказывает воздействие на практическую деятельность людей различными путями. Один из таких путей – это непосредственная психологическая помощь различным категориям населения. В какой бы форме ни осуществлялась психологическая помощь: в форме психологического консультирования или в форме немедицинской психотерапии, она обладает общей характеристикой – индивидуализированностью своей направленности. Эта индивидуализация базируется на глубоком проникновении в личность обратившегося за помощью, в его чувства, переживания, установки, картину мира, структуру взаимоотношений с окружающими. Для такого проникновения часто недостаточно одного лишь психологического чутья и интуиции, требуются специальные – психодиагностические - методы.
В самом общем виде психодиагностика – это область психологической науки, разрабатывающая теорию, принципы и инструменты оценки и измерения индивидуально-психологических особенностей личности2. Термин «психодиагностика», распространившийся в психиатрии после появления книги Г. Роршаха «Психодиагностика» в 1921 году, довольно быстро вышел за пределы медицины. Термин «диагноз» начал пониматься как распознавание любого отклонения от нормального функционирования или развития и даже как определение состояния конкретного объекта (индивида, семьи, малой группы, той или иной психической функции или процесса у конкретного лица). Понятие «психодиагностика» распространилось и на профилактическое обследование индивидов и групп.
Психодиагностические задачи могут решаться различными способами. Один из таких способов – это длительное наблюдение за обследуемым, совершаемое в ходе оказания ему помощи (в ходе консультирования, психотерапии). Другой способ – это наблюдение за обследуемым в реальных условиях его жизни, например, наблюдение за поведением ребенка в детском саду. Эти способы дают очень ценные сведения о человеке, однако они крайне трудоемки, не всегда доступны и дают информацию не до начала работы психолога, а уже в ходе такой работы (которая может оказаться и излишней).
Поэтому в психодиагностике получили распространение специальные методики, используемые не только в сфере консультирования и психотерапии, но и во всех тех случаях, когда необходимо получить оценку той или иной психической характеристики конкретного индивида. Эти методики обладают следующими особенностями: 1) они позволяют собрать диагностическую информацию в относительно короткие сроки; 2) они представляют информацию не вообще о человеке, а о тех или иных его конкретных особенностях (интеллекте, тревожности, его самооценке, чувстве юмора, наиболее характерных личностных чертах и т.п.); 3) информация поступает в виде, позволяющем дать качественное и количественное сравнение обследуемого индивида с другими людьми; 4) информация, получаемая с помощью психодиагностических методик, полезна с точки зрения выбора средств вмешательства, прогноза их эффективности, а также прогноза развития, общения, эффективности той или иной деятельности индивида3.
Средства, которыми располагает современная психодиагностика, по своему качеству подлежат разделению на две группы:
1) малоформализованные методики;
2) формализованные методики4.
К малоформализованным методикам следует отнести:
• наблюдение;
• беседу;
• анализ продуктов деятельности.
Эти методики дают ценные сведения об испытуемом, особенно когда предметом изучения выступают такие психические процессы и явления, которые мало поддаются объективизации (например, плохо осознаваемые субъективные переживания, личностные смыслы) или являются чрезвычайно изменчивыми по содержанию (динамика целей, состояний, настроений и т.д.). Следует иметь в виду, что малоформализованные методики очень трудоемки (например, наблюдение за обследуемым осуществляется иногда в течение нескольких месяцев) и в большей степени основаны на профессиональном опыте, психологической подготовленности самого психодиагноста. Только наличие высокого уровня культуры проведения психологических наблюдений, бесед помогает избежать влияния случайных и побочных факторов на результаты обследования или испытания5.
Малоформализованные диагностические методики не следует противопоставлять формализованным методикам, общая характеристика которых будет дана ниже. Как правило, они взаимно дополняют друг друга. В полноценном диагностическом обследовании необходимо гармоничное сочетание тех и других методик.
К формализованным методикам относятся:
• тесты;
• опросники;
• методики проективной техники;
• психофизиологические методики.
Эти методики позволяют собрать диагностическую информацию в относительно короткие сроки и в таком виде, который дает возможность количественно и качественно сравнивать индивидов между собой.
Для них характерны:
1. Определенная регламентация.
2. Объективизация процедуры обследования или испытания (точное соблюдение инструкций, строго определенные способы предъявления стимульного материала, невмешательство исследователя в деятельность испытуемого и др.).
3. Стандартизация. По мнению А. Анастази, и это мнение находит широкую поддержку среди специалистов, занимающихся проблемами психодиагностики, стандартизация рассматривается в 2-х планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний6. Если со стандартизацией процедуры все обстоит достаточно ясно, то с определением выбора единого критерия оценки нередко возникают проблемы. И прежде всего проблема точки отсчета. Пока идет речь о диагностике, например, интеллекта проблем невозникает. Такой точкой отсчета является статистическая норма, по отношению к которой оцениваются разные степени успешности или неуспешности выполнения диагностической пробы. Но, как справедливо замечает В.Я. Райгородский, сложности возникают в ситуации, когда стоит задача диагностики психических свойств и состояний личности, поскольку в данном случае нет очевидной грани, которая отделяет норму от патологии, а, следовательно, нет и явной точки отсчёта для измерений7.
4. Надежность. Под «надежностью» понимается относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Степень надежности зависит от многих причин. К факторам, снижающим точность измерений относятся:
– нестабильность диагностируемого свойства;
– несовершенство диагностических методик;
– меняющаяся ситуация обследования;
– различия в манере поведения экспериментатора;
– колебания в функциональном состоянии испытуемого;
– элементы субъективности в способах оценки и интерпретации результатов.
Таким образом, оценка надежности метода всегда носит комплексный характер и учитывает различные влияния. Например, К.М. Гуревич предложил толковать надежность в трех смыслах:
а) надежность самого измерительного инструмента;
б) стабильность изучаемого признака;
в) константность, т.е. относительная независимость результатов от личности экспериментатора8.
5. Валидность. Вопрос о валидности методики решается лишь после того, как установлена ее надежность. «Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» – пишет А. Анастази9. Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность. Проверка валидности методики называется валидизацией.
Для проведения прагматической валидизации методики, т.е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности – рисование, моделирование и т.д. (для тестов специальных способностей), субъективные оценки (для тестов личности).
В литературе нередко все методики определения индивидуально-психологических различий именуются тестами, а пособия по диагностике называются пособиями по тестологии. Однако по своей психологической сущности тесты и, например, опросники очень несходны между собой. Методики проективного характера также представляют собой особый инструмент, не похожий ни на один из перечисленных. Поэтому для лучшего понимания того, что дает диагностирование, их следует отделить друг от друга по названию. Особое место должны занять в этой классификации психофизиологические методики. Это оригинальные средства диагностики, возникшие в нашей стране.
§ 2. Понятие и виды тестов
Принято считать, что первые методики стандартизованных испытаний, применяемых, условно говоря, в психодиагностических целях, были разработаны Ф. Гальтоном (1883), и его учеником Дж. Кэттелл (1890). Последний присвоил своим методикам название близкое современному – «умственные тесты»10. Однако, ни указанные авторы, ни многие их последователи долгое время не только не занимались анализом данного метода, но даже не предложили какого-либо рабочего его определения. Дело долго ограничивалось самым элементарным понятием – «проба», «испытание», «измерение», процедура которых должна была носить стандартизованный характер. Последнее, впрочем, считалось обязательным атрибутом и самого эксперимента, из недр которого, собственно, и вышел новый метод.
Фактически уже в то время метод тестов приобрёл ряд своих отличительных черт, и поныне выделяющих его из числа иных исследовательских методов. Во-первых, это его нацеленность на более значительный, но сравнению с обычными экспериментальными исследованиями, контингент испытуемых. Во-вторых, использование в связи с этим некоторых математико-статистических обработок полученных данных. И, в-третьих, снижение роли, которая отводилась показаниям самонаблюдения испытуемых.
При этом важно подчеркнуть
следующий момент. Хотя и Ф. Гальтон, и Дж. Кэттелл видимо осознавали
возможность применения разработанных
ими тестов в прикладных целях (в частности,
для профотбора), тем не менее они рассматривали
их прежде всего как инструменты дифференциально-
Практическую, психодиагностическую направленность метод тестов приобрел с момента создания А. Бине и Т. Симоном знаменитой «Метрической шкалы интеллекта» (1908) – первого интеллектуального теста, получившего массовое применение и послужившего в том или ином отношении прообразом большинства последних психологических тестов11.
Главным теоретическим и практическим вкладом А. Бине в разработку метода тестов была реализация идеи о возрастных картах (нормах) как необходимом компоненте тестовой методики. (Впервые эта идея была выдвинута, правда без должного цитирования, американским психологом И.Э. Киркпатриком) Однако и основоположник школьной психодиагностики не предпринял какой-либо попытки определения вновь народившегося метода (не говоря уже о его всестороннем теоретическом анализе).
Первым, кто попытался в какой-то мере осмыслить его сущность, был американец Гай Уиппл. В обширном руководстве по различным видам тестовых методик (1910) он охарактеризовал метод тестов как «экспериментальное определение психических способностей, научное измерение некоторых психических свойств»12. Отметив фактически оформившиеся отличительные признаки нового метола, Г. Уиппл указал на настоятельную необходимость «исчерпывающего исследования избранной группы опытов, которые уже были описаны или предложены». Основание? «Очень часто мы даже незнаем, что, собственно, измеряем»13.
В последующие годы были предложены самые разнообразные определения метода тестов. Приведём некоторые из них в хронологическом порядке.
«Тест, – писал С.Г. Геллерштейн, – есть не что иное, как психологическое задание, с помощью которого устанавливается уровень и характер развития той или другой способности человека»14.
По мнению французского психолога Пьера Пишота, умственный тест представляет собой «стандартизованную ситуацию, служащую стимулом некоторого поведения, которое оценивается путем статистического сопоставления с другими (сопоставляемыми) индивидами, поставленными в такую же ситуацию»15.
Согласно «Всеохватывающему словарю психологических и психоаналитических терминов» Х.Б. Инглиш и Э.С. Инглиш (1958), психологический тест представляет собой «некоторый набор стандартизованных или контролируемых ситуаций для реагирования, предъявляемых испытуемому с целью вызвать у пего репрезентативную выборку его поведения, которое имеет место, когда он сталкивается с некоторым определенным видом требований, предъявляемых окружающей средой»16.
В настоящее время термин «тест» широко используется в психологической науке в значении «проба», «испытание», «задача».
Б.М. Теплов отмечал, что «тестами называются более или менее короткие и строго стандартизированные испытания, результаты которых так или иначе могут быть отражены в количественной форме и подвергаются обычно статистической обработке»17.
Согласно К.М. Гуревичу, «тестом называют стандартизированное и обычно краткое и ограниченное во времени психофизиологическое испытание, предназначенное для установления в практических целях межиндивидуальных различий по интеллекту и так называемым специальным способностям, выраженных в сравниваемых величинах»18.
Более краткое определение тестов было у А. Анастази – «психологический тест представляет собой объективную и стандартизированную меру аспекта поведения». По ее мнению, в своих существенных чертах психологический тест является «объективным и стандартизированным измерением некоторой выборки поведения»19.
«Под психологическим тестом, – писали И.И. Иванова и В.Г. Асеев, – обычно имеется в виду испытание, проба в виде решения интеллектуальных и практических задач, ответов на вопросы, описания изображений и т.д., результаты которых являются показателем определенных психологических характеристик человека»20.
В свою очередь, Л.В. Петровский отметил, что «тест – это кратковременное задание, выполнение которого может служить показателем совершенства некоторых психических функций»21.
Приведенные мнения свидетельствуют,
что в основном авторы в той или иной степени
сходятся в одном: метод тестов – это дифференциально-
С учетом приведенных мнений может быть использовано следующе рабочее определение: тесты – это стандартизированные и обычно краткие и ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуально-психологических различий между людьми.
Метод тестов с самого своего возникновения мыслился как психометрические орудие, характеризующее уровень развития психических процессов на языке объективных измерений. Разработанный первоначально для отбора неполноценных детей во вспомогательные школы, он в дальнейшем получил широкое распространение для других целей, что в значительной степени послужило поводом для его основательной критики. Вместе с тем, несмотря на широкую критику, нет никаких причин отказываться от метода тестов, надо только понимать границы его применения и психологической интерпретации.
Тесты можно классифицировать, выделить несколько подклассов в зависимости от того, какой признак взят за основание деления. Наиболее значительными представляются классификации тестов по форме и по содержанию.
По форме тесты могут быть индивидуальные и групповые, устные и письменные; бланковые, предметные, аппаратурные и компьютерные; вербальные и невербальные (практические).
Индивидуальные тесты – это такой вид методик, когда взаимодействие экспериментатора и испытуемого происходит один на один. Индивидуальное тестирование имеет свои преимущества: возможность наблюдать за испытуемым (за его мимикой, непроизвольными реакциями), слышать и фиксировать непредусмотренные инструкцией высказывания, что позволяет оценить отношение к обследованию; отмечать функциональное состояние испытуемого и др.
Кроме того, опираясь на уровень подготовленности испытуемого, можно по ходу эксперимента заменить один тест другим. Индивидуальная диагностика необходима при работе с детьми младенческого и дошкольного возраста, в клинике – для тестирования лиц с соматическими или нервно-психическими нарушениями, людей с физическими недостатками и т.д. Необходима она и в тех случаях, когда нужен тесный контакт экспериментатора и испытуемого с целью оптимизации его деятельности. Однако индивидуальные тесты требуют, как правило, много времени на проведение эксперимента и в этом смысле они менее экономичны по сравнению с групповыми.
Групповые тесты – это такой тип методик, который позволяет одновременно проводить испытания с очень большой группой людей (до нескольких сот человек). Поскольку инструкции и процедура проведения детально разработаны, экспериментатор должен неукоснительно их выполнять. При групповом тестировании особенно строго соблюдается единообразие условий проведения эксперимента. Обработка результатов объективизирована и не требует высокой квалификации. Результаты большинства групповых тестов могут обрабатываться на ЭВМ.
Однако следует отметить и определенные недостатки группового тестирования. Так, у экспериментатора гораздо меньше возможностей установить взаимопонимание с испытуемым, пробудить его интерес и заручиться его сотрудничеством. Любые случайные состояния испытуемого, такие как болезнь, утомление, беспокойство и тревожность, которые могут влиять на выполнение заданий, гораздо труднее выявить в групповом тестировании. В целом лица, не знакомые с такой процедурой, скорее покажут более низкие результаты при групповом тестировании, нежели при индивидуальном. Поэтому в тех случаях, когда принимаемое по результатам тестирования решение важно для испытуемого, желательно дополнить результаты группового тестирования либо индивидуальной проверкой неясных случаев, либо информацией, полученной из других источников.
Устные и письменные тесты. Эти тесты различаются по форме ответа. Устными чаще всего бывают индивидуальные тесты, письменными –групповые. Устные ответы в одних случаях могут формулироваться испытуемым самостоятельно («открытые» ответы), в других – он должен из нескольких предложенных ответов выбрать и назвать тот, который считает правильным («закрытые» ответы). В письменных тестах ответы даются испытуемым или в тестовой тетради, или на специально разработанном бланке ответов. Письменные ответы также могут носить «открытый» или «закрытый» характер.
Бланковые, предметные, аппаратурные, компьютерные тесты. Эти тесты различаются по материалу, который используется при тестировании. Бланковые тесты (другим широко известным названием является – тесты «карандаш и бумага») представлены в виде отдельных бланков или тетрадей, брошюр, в которых содержатся инструкция по применению, примеры решения, сами задания и графы для ответов. Предусмотрены формы, когда ответы заносятся не в тестовые тетради, а на отдельные бланки. Это позволяет использовать одни и те же тестовые тетради многократно. Бланковые тесты могут применяться как при индивидуальном, так и при групповом тестировании. В предметных тестах материал тестовых заданий представлен в виде реальных предметов: кубиков, карточек, деталей геометрических фигур, конструкций и узлов технических устройств и т.п. Наиболее известны кубики Кооса и тест сложения фигур из набора Векслера, тест Выготского-Сахарова. Предметные тесты чаще проводятся индивидуально.
Аппаратурные тесты – это такой тип методик, который требует применения специальных технических средств или специального оборудования для проведения исследования или регистрации полученных данных. Широко известны приборы для исследования показателей времени реакции (реактометры, рефлексометры), устройства для изучения особенностей восприятия, памяти, мышления. В последние годы аппаратурные тесты широко используют компьютерные устройства. В большинстве случаев аппаратурные тесты проводятся индивидуально.
Компьютерные тесты. Это автоматизированный вид тестирования в форме диалога испытуемого и ЭВМ. Тестовые задания предъявляются на экране дисплея, а ответы испытуемый вводит в память ЭВМ с клавиатуры; таким образом, протокол сразу создается как набор данных (файл) на магнитном носителе. Стандартные статистические пакеты позволяют очень быстро проводить математико-статистическую обработку полученных результатов по разным направлениям. При желании можно получить информацию в виде графиков, таблиц, диаграмм, профилей.
С помощью компьютера экспериментатор получает для анализа такие данные, которые без ЭВМ получить практически невозможно: время выполнения отдельных заданий теста, время получения правильных ответов, количество отказов от решения и обращений за помощью, время, затрачиваемое испытуемым на обдумывание ответа при отказе от решения, время ввода ответа (если он сложен) в ЭВМ и т. д. Эти особенности испытуемых можно использовать для углубленного психологического анализа результатов, полученных в процессе тестирования.
Вербальные и невербальные тесты. Эти тесты различаются по характеру стимульного материала. В вербальных тестах основным содержанием работы испытуемых являются операции с понятиями, мыслительные действия, осуществляемые в словесно-логической форме. Составляющие эти методики задания апеллируют к памяти, воображению, мышлению в их опосредованной языковой форме. Они очень чувствительны к различиям в языковой культуре, уровню образования, профессиональным особенностям. Вербальный тип заданий наиболее распространен среди тестов интеллекта, тестов достижений, при оценке специальных способностей.
Невербальные тесты – это такой тип методик, в которых тестовый материал представлен в наглядной форме (в виде картинок, чертежей, графических изображений и т. п.). От испытуемых требуется понимание вербальных инструкций, само же выполнение заданий опирается на перцептивные и моторные функции. Самым известным невербальным тестом являются прогрессивные матрицы Равена. Невербальные тесты уменьшают влияние языковых различий на результат испытания. Они также облегчают процедуру тестирования испытуемых с нарушением речи, слуха или с низким уровнем образования. Невербальные тесты широко используются при оценке пространственного и комбинаторного мышления. В качестве отдельных субтестов они включены во многие тесты интеллекта, общих и специальных способностей, тесты достижений22.
По содержанию тесты обычно делятся на следующие классы, или направления: тесты интеллекта; тесты способностей; тесты личности. Особое место в этом делении занимают тесты достижений, не предназначенные для решения собственно психологических проблем.

- Достоинства и недостатки плановой и рыночной экономики. Смешанный тип экономики
- Достоинства и недостатки портфельного анализа. Матрица Бостонской консультационной группы
- Достоинства и недостатки различных форм собситвенности
- Достоинства и недостатки российской рыночной экономики
- Достоинства и недостатки рыночной экономики
- Достоинства и недостатки рыночной экономики
- Достоинства и недостатки рыночной экономики
- Достовірність і точність як новинні стандарти (на матеріалі газети «Донецкие новости»)
- Достоевский как редактор и издатель
- Достоинства АСТПП определяются тем, что за счет её проявления достигаются следующие результаты
- Достоинства и недостатки аккредитива
- Достоинства и недостатки избирательной системы в Российской Федерации
- Достоинства и недостатки избирательной системы в РФ
- Достоинства и недостатки индивидуального предпринимательства