Ретроспектива и перспектива системной динамики. Анализ динамики развития
Ретроспектива и перспектива системной динамики. Анализ динамики развития.
Н.Н. Лычкина
Международное сообщество отметило в
2007 году 50-летие системной динамики,
прошла юбилейная конференция
Настоящая статья составлена по материалам этих обзорных статей, личного опыта участия последние годы в Международных конференциях Общества системной динамики и ведения в течение долгих лет общественной, образовательной, научной и консалтинговой деятельности в России в области системной динамики и имитационного моделирования и представляет некоторую попытку популяризации этого направления, приуроченную к открытию на Всероссийской научно-практической конференции «Имитационное моделирование. Теория и практика. (ИММОД)» секции системной динамики, и осмысления состояния и перспектив развития системной динамики в России.
Историческое развитие основополагающих проектов .Настоящее. Будущее.
Фундаментальные работы Дж. Форрестера и его научная и общественная деятельность не только способствовали появлению системной динамики, как новой методологии компьютерного моделирования и метода решения управленческих задач, но и дали развитие целому ряду направлений, таких как: прикладные исследования в широком спектре задач управления – от корпоративного управления, до глобального моделирования и моделирования национальных экономик; появление нового класса высокотехнологичных симуляторов, с помощью которых удалось совершить технологическую революцию в мире компьютерного моделирования; интерактивные имитационные игры; интересные и популярные образовательные проекты в сфере бизнеса, создание широкой сети консалтинговых организаций, а также отделений общества системной динамики по всему миру, исповедающих, применяющих и популяризирующих идеи Дж. Форрестера и его последователей. Кратко остановимся на ретроспективе и перспективе развития этих базовых направлений, обозначим Российские приоритеты.
Индустриальная динамика. От системного мышления менеджеров – к реализации серьезных корпоративных аналитических приложений на основе имитационных моделей.
Начала системной динамики теперь хорошо известны. Прежде, чем в 1961 году появилась первая книга Дж. Форрестера «Индустриальная динамика» [5], известная в русском переводе как «Основы кибернетики предприятия», где был впервые проработан метод системной динамики, Дж. Форрестер 17 лет занимался наукой и инженерным делом в Массачусетском технологическом институте (МТИ), занимаясь системами управления с обратными связями, тренажерами для пилотов, затем работа в Слоановской школе управления, где он впервые столкнулся с конкретными управленческими проблемами. Аналогии с информационными системами с обратными связями, имитаторами полетов не случайны, как и жизненная установка Форрестера «…жизнь должна быть очень практичной. В ней нет места построению теорий и концепций без цели – все время полное погружение в реальном мире», - все послужили созданию «практической философии», т.к. предложенные идеи и подходы – это фактически универсальная парадигма описания сложных управленческих ситуаций.
Сам Дж. Форрестер так вспоминает это время - это было время создания Слоановской школы управления при Массачусетском технологическом институте (МТИ).:
«…мне однажды случилось разговориться с людьми из Дженерал Электрик. Они были озадачены тем, почему на их заводах по производству бытовых приборов в Кентукки, иногда работающих в три и четыре смены, затем, несколько лет спустя, половину людей приходится увольнять. Это можно было легко объяснить деловыми циклами, вызвавшими колеблющийся спрос, но такое объяснение не выглядело достаточно убедительно, как и все доказательства. После разговора с ними о том, как у них принимаются решения о наеме и как ведется учет запасов, я начал делать некое подобие имитационной модели. Это было моделированием с помощью карандаша и листка бумаги из записной книжки. …Каждое последующее состояние могло быть вычислено от предыдущего - стало очевидно, что это потенциал для колебательной или непостоянной системы, поведение которой было внутренне полностью определено. Даже с постоянно поступающими заказами можно было получить неустойчивую занятость как следствие обычно используемой политики принятия решения в пределах канала поставок. Та первая система контроля состояния запасов с карандашом и бумажным моделированием дала начало системной динамике. Ранние модели сетей поставок увековечены сегодня в виде "пивной игры", которая доступна на сайте Общества системной динамики. [1]
Из того первого динамического анализа возникли первые зачатки языка ДИНАМО для построения моделей системной динамики. Со мной работал опытный программист Ричард Беннетт в то время, когда в 1958 году я писал статью «Динамика предприятия - важнейший прорыв для лиц, принимающих решения» для Гарвардского делового обозрения. Та статья была второй главой книги «Основы кибернетики предприятия». Для той статьи мне нужны были компьютерные имитационные модели, и я попросил Беннета просто закодировать уравнения моделей таким образом, чтобы мы могли управлять ими на нашем компьютере. Однако Ричард Беннетт был человеком очень независимым. Он сказал, что не будет писать программу для заданного набора уравнений, но сделает компилятор, который автоматически создаст машинный код. Он назвал компилятор «SIMPLE» («простой»), что было аббревиатурой и означало «построение моделей с большим количеством уравнений для решения проблем управления предприятием» (Simulation of Industrial Management Problems with Lots of Equations). Настойчивость Беннетта в создании компилятора – еще один важный переломный момент; это ускорило последующее моделирование, которое быстро распространило идеи системной динамики. Джек Пью позже расширил возможности ранних компиляторов моделей системной динамики до многофункциональной линейки инструментальных средств ДИНАМО. Также в ранних разработках по системной динамике участвовали Дж.Л.Энос, Уиллард Фей и Эдвард Робертс. [5]»
Все базовые идеи системно-динамического моделирования для комплексного описания и исследования предприятия как целостной системы, осуществляющей многообразные взаимосвязанные функции, предприятия как экономической динамической системы, динамика которого предопределяется особенностями ее структурной организации, необходимость анализа в условиях динамично изменяющейся внешней среды - рынка, задачи долгосрочного и стратегического планирования, востребованные сегодня стратегическим менеджментом, - были заложены и апробированы Дж. Форрестером в его работах, и сегодня популяризируются его учениками и последователями. Среди последних наиболее известны работы Дж. Стермана «Business Dynamics – Systems Thinking and Modeling for a Complex World» [9], посвященные изучению источников корпоративного роста, Ким Уоррена «Competitive Strategy Dynamics», «Strategic Management Dynamics» [10,11], как теория динамической стратегии и метод формирования так называемой «стратегической архитектуры» предприятия, основанные на ресурсном подходе в стратегическом менеджменте, Дж.Моректрофт «Strategic Modelling and Business Dynamics» [12]. К сожалению, эти книги не переведены на русский язык, и этим объясняется слабое распространение этих методик в среде менеджмента и бизнес-образовании, ориентированном на обучение стратегическому менеджменту.
Сегодня спектр корпоративных приложений на основе методов системной динамики развивается в основном по двум направлениям: так называемое «системное мышление менеджеров», формируемое с помощью казуальных или причинно-следственных диаграмм при формировании ментальных моделей менеджмента, и серьезные сценарные стратегические исследования, проводимые на имитационных моделях, детализированных под конкретные проблемы и предприятия.
Корпоративная динамика и управленческий консалтинг. Проблемы и динамика роста в России.
Анализ деятельности и выработка стратегии поведения компании в условиях турбулентности рынка, нестабильной экономической ситуации, разработка антикризисной программы в современных экономических условиях, создание модулей операционного, тактического и стратегического планирования в корпоративных информационных системах и системах поддержки принятия решений, - актуальные задачи для российских предприятий. Этим объясняется их интерес к поиску эффективных инструментов принятия стратегических решений. Однако кризис непонимания, слабая постановка задач со стороны бизнеса, недостаточное распространение и знание методов системно-динамического моделирования в бизнес-среде, слабый управленческий консалтинг сдерживает применение этого инструментария в стратегическом управлении в России. Это направление сегодня настолько приоритетно для российской действительности, что я позволю себе ниже специально остановиться на некоторых наработках в этом направлении и обсуждении основных задач в развития этого направления.
Одна историческая тенденция в этом сегменте приложений заставляет задуматься. Не могу не согласиться с Дж. Форрестером. В упомянутой статье он пишет:
«Термин "системный подход" стал очень популярным. Термин подразумевает наблюдение, изучение, обсуждение систем, понимание их важности. Но в общем случае он не является видом количественного и использующего имитационное моделирование динамического анализа, который приводит к пониманию поведения. Системный подход может быть ключом к системной динамике. Опасность исходит от людей, полагающих, что на системном подходе все и заканчивается. Системный подход только делает ум более "чувствительным", обращая наше внимание на жизнь систем. Некоторые люди убеждены, что они многое узнали именно на стадии системного подхода. Но они прошли, быть может, только 5 процентов пути к пониманию системы. Остальные 95 процентов - это структурирование системно-динамических моделей и проведение на этих моделях вычислительных экспериментов. Только вычислительный эксперимент может обнаружить существующую несогласованность в наших умственных моделях. Системный подход может быть первым шагом к пониманию динамики сложных проблем, но этого не достаточно.
…. Сложные динамические системы с обратной связью привлекают внимание людей к политике малых изменений (политике «низкого рычага»). Я был поражен тем, как люди в системной динамике хватаются за политику малых изменений в поисках решений их проблем. Например, на вопрос о том, как общаться с менеджерами и общественностью, очевидным ответом, но ответом «низкого рычага» будет упростить объяснения, пока они не станут неразличимы от обычных диалоговых обсуждений. Те, кто идет по пути системного подхода и диаграмм причинно-следственных связей, не занимаются системной динамикой. Они остаются зависимыми от человеческого разума, объясняя динамику поведения. Неоднократно демонстрировалось, что человеческому разуму не под силу решить динамические системы высшего порядка с обратной связью. Такие упрощения системной динамики будут почти всегда испытывать недостаток в ясности, глубине, будут не в состоянии показать, как возникли имеющиеся проблемы, и правильно оценить и сравнить альтернативные варианты будущей политики. Не стоит удивляться, что публика показывает безразличие. Только двигаясь по пути имитационного моделирования, можно прийти к глубокому пониманию, необходимому в реальных ситуациях.»
«Мы видим, что многие пытаются «заткнуть» системную динамику «системным подходом» и «диаграммами причинно-следственных связей», которым недостает возможностей, присущих системной динамике. Это происходит из-за недостатка компетенции у специалистов области, без которой невозможно продемонстрировать возможности «чистого» метода. Упрощение системной динамики – это проигрышная игра. Системная динамика не проста. Не просты и проблемы сложных систем с обратной связью. Уход от популярной, но пагубной политики, и выработка новой, способной улучшить общество - задача не простая. Упрощение метода дискредитирует системную динамику так, что даже к превосходной работе будут относиться с предубеждением. [5]»
Участие в Международных конференциях Общества системной динамики и анализ материалов, убеждает, что эта тенденция очень характерна для западных бизнес-школ и научных течений, начинает она просматриваться и в российской действительности. Обучение «системному мышлению» менеджмента на основе принципов системной динамики, на мой взгляд, оправдано только в русле грамотного продвинутого консалтинга, опирающегося на применение имитационного моделирования. А это предполагает глубокое погружение в проблему, ее структуризацию и концептуализацию, (в ходе которого может быть и полезно формирование ментальных моделей менеджмента), корректное применение высокотехнологичной имитационной составляющей и сценарного подхода.
Стратегическое управление направлено на достижение долгосрочных целей организации путем адаптации к изменениям внешней среды. Задачи стратегического анализа сложны и требуют учета большого число факторов, интересов, угроз и последствий. На стратегическом уровне управления присутствует высокая степень неопределенности в оценке внешней среды, слабая формализация методов управления и широкое использование экспертных оценок и знаний, многокритериальность при оценке принимаемых решений. Стратегический план редко включает цифровые показатели, осуществленный выбор формируется преимущественно в качественных показателях и не дает очень точных прогнозов, по крайней мере, в долгосрочном периоде, более важными является определение тенденций, вероятного изменения основных параметров хозяйственной системы, отражающих долгосрочные результаты деятельности при принятии стратегических решений. Сложность выбора стратегической альтернативы в динамически развивающейся ситуации, в условиях внешней и внутренней неопределенности заключается в необходимости удовлетворения большого числа противоречивых требований по различным направлениям деятельности компании: финансово-производственная, рынок и отношения с клиентами, кадровые ресурсы компании, внутренние бизнес-процессы, отношения с государственными органами и др., а также в большой доле субъективности при оценке ситуации и неточном понимании своих целей со стороны руководства.
Этим обусловлено
- возможность использования многоцелевых критериев при построении и исследовании моделей;
- проведение исследований на основе неполной информации;
- имитационная модель является наиболее подходящей для исследования динамической ситуации, когда параметры системы и среды меняются во времени;
- исследование поведения системы посредством выявления причинно-следственных отношений и взаимодействий контуров обратной связи, проявляющихся в особенностях ее структурной организации;
- хорошая интерпретируемость системных потоковых диаграмм, что дает возможность проведения совместных экспертных ревизий при обсуждении проблем, формировании ментальной модели и выработки согласованных решений;
- имитационная модель выступает как удобный инструмент экспериментального проигрывания большого множества сценариев типа «что-если»;
- технология проведения сценарного исследования на имитационной модели предполагает активное участие эксперта в процессе формирования ментальной модели и принятия решения, - он детализирует проблему и модель, осуществляет генерацию альтернатив и сценариев, постановку направленного вычислительного эксперимента на имитационной модели, выбор и ранжирование критериев, а также анализ и интерпретацию результатов сценарных расчетов, что позволяет учитывать субъективные предпочтения эксперта и его опыт в процессе принятия решения. Компьютер только упрощает, помогает эксперту в выработке решения, но не заменяет его опыт и знания.
Анализ литературы и практика применения имитационного моделирования в корпоративном управлении позволяет обозначить широкий спектр корпоративных приложений системно-динамического моделирования и шаблонов решений, который на практике приводит к созданию конкретных моделей для конкретных организаций и предприятий. Интегрированный многофункциональный комплекс для стратегического и тактического управления деятельностью предприятий (холдингов, банков) реализуeтся на основе имитационных и системно-динамических моделей и включает аналитические блоки следующей функциональности:
- Стратегическая архитектура и корпоративная динамика предприятия
Комплексный динамический анализ взаимосвязей и формирование стратегии предприятия на основе обобщенной системно-динамической модели, анализ причин корпоративного роста и угроз с помощью когнитивных карт менеджеров. Разработка и принятие стратегических решений в целом по предприятию (фирме, холдингу). Разработка комплексных стратегических планов и сценариев развития, устойчивых к колебаниям рынка, наращивания экономической мощи предприятия, расширения и диверсификации бизнеса, определения приоритетов.
На основе обобщенной системно-динамической модели предприятия, отражающей стратегическую архитектуру предприятия, в дальнейшем осуществляется разработка детализированных имитационных моделей, с помощью которых ведется подготовка стратегических и тактических решений по различным направлениям деятельности предприятия и функциональным составляющим бизнеса:
- Бюджетинг и управление финансовыми потоками.
Моделирование финансовых потоков. Ситуационный финансовый анализ. Финансовое планирование (среднесрочное) на основе динамической модели: механизмы распределения и управления финансовыми потоками, комплексное управление издержками, налоговое планирование, обслуживание кредитной задолженности, дивидендная политика. социальная политика и.т.п..
Управление рисками. Анализ ликвидности и финансовой устойчивости банка в условиях рыночного риска.
- Инвестиционное планирование и управление проектами
Разработка инвестиционных планов и проектов и их организационно-финансовое обеспечение; формирование перспективных заделов – новых производств и видов бизнеса, обновление производственных фондов и продуктового ряда, ввод запланированных мощностей для выполнения производственно-сбытовой программы фирмы и др., диверсификация направлений бизнеса. Управление инновациями.
- Управление производственной программой. Комплексное управление логистическими процессами на предприятии
Производственный менеджмент: структура и темп производства, объем производства, оценка реальных производственных возможностей, развитие и обновление парка оборудования. Управление активами, определение потребности в ремонтной мощности и др. Управление цепью поставок (синхронизация логистических сущностей при реализации стратегии «точно в срок», минимизация затрат по всей логистической цепи), материально-техническое обеспечение (планы поставок, производственно-сбытовые планы).
- Управление общефирменной сбытовой сетью. Формирование маркетинговой стратегии. Анализ динамики рынка.
Координация производственно-сбытовых цепочек. Формирование дистрибутивной сети.
Формирование маркетинговой
Анализ динамики рынка и конкурентной среды промышленной корпорации. Много- агентные модели фондового и других рынков. Анализ деятельности компании в условиях воздействия факторов внешней среды, конкурентного окружения, турбулентности рынка, с учетом рыночных и кризисных рисков. Разработка стратегии и общего сценария антикризисного управления.
- Моделирование и анализ поведения бизнес-процессов. Реинжиниринг. Управление персоналом
Анализ нетривиальных управленческих ситуаций, анализ взаимовлияния различных видов деятельности предприятия на основе системно-динамической модели на ранних, прединвестиционных фазах реализации проектов реинжиниринга. Аудит. Поиск оптимальных корпоративных схем и организационных структур. Моделирование, анализ, реинжиниринг и оптимизация бизнес-процессов организации с применением CASE-средств и имитационного моделирования. Управление качеством на основе процессного подхода. Управление персоналом: стратегия обучения, формирования кадрового резерва.
- Отраслевые и межотраслевые проекты
Управленческое моделирование
топливно-энергетического
Консалтинг и качество работы в системной динамике.
Для практической реализации подобных проектов необходимы:
- проведение научных исследований в научно-исследовательских лабораториях ведущих Университетов на стадии концептуализации проблемы, применения математического и других видов анализа как при параметризации имитационных моделей, так и проведения сценарных исследований;
- хорошо организованный, продвинутый в разработке системно-динамических моделей консалтинг, включающий управленческий консалтинг на стадии концептуализации и структуризации модели, а также подготовки и интерпретации результатов сценарных исследований и сложной динамики, а также грамотный ИТ-консалтинг, ориентированный на работу в высокотехнологичных средах коммерческих симуляторов и других интеллектуальных средах;
- обучение ТОР-менеджмента, ответственного за принятие решений, системному мышлению с помощью деловых, имитационных игр и шаблонов на стадиях подготовки ментальных моделей и сценариев, проведение тренингов в компаниях-заказчиках по обучению пользоваться имитационными моделями;
- реализация интегративных IT-проектов [19] возможна, в зависимости от потребностей предприятия по самым различным направлениям: расширение функционала CASE-средств и BPMS-систем за счет возможностей Simulation Software; объединение систем сбалансированных показателей и системно-динамической модели с индикаторными панелями; интеграция с корпоративными информационными системами, модули планирования в SCM- APS- ERP-системах; аналитические приложения в стратегических информационных системах SEM; цифровое производство и т.д.. Реализация такого рода ИТ-проектов требует усилий системных интеграторов.
Такая практика зарекомендовала себя для реализации имитационных моделей крупных предприятий, корпораций, холдингов (как правило, отраслевых проектов топливно-энергетического комплекса, электронной промышленности и т.п.) Крупнейшие консалтинговые компании, такие как McKinsey&Company, Arthur Andersen, Cooper&Lybrand и другие успешно применяют методологию системной динамики в сфере инвестиционного и управленческого консалтинга. В России такой опыт единичный, и не всегда удачный. Распространению системной динамики в корпоративных приложениях препятствует отсутствие сети консалтинговых предприятий соответствующего профиля. Инфраструктура такой сети может быть создана, как показывает международный опыт, при Университетах, где сосредоточены наиболее квалифицированные кадры.
«Системной динамике все еще далеко от достижения того качества работы, к которому мы должны стремиться. Мы должны начать обсуждать, как поднять качество и планку в прикладных приложениях, опубликованных работах и особенно в учебных программах. Вместо того, чтобы верить тому, что пишут в статьях по системной динамике о наших возрастающих стандартах, мы должны найти возможность рассмотреть то, как среднее качество работ в области уменьшается.» [4]
Стиль, когда «системная динамика пытается реализовать то, что хочет клиент, даже когда это неблагоразумно или невозможно», предложить развитую визуализацию вместо глубокого динамического анализа, упрощение проблемы под флагом «системного мышления», дискредитирует и опошляет системную динамику.
От корпоративной динамики к социальной.
Поворотный момент в развитии системной динамики произошел в 1968 году, когда Дж. Форрестер переместил системную динамику из области корпоративного моделирования в область более открытых социальных систем. «Динамика развития города» [6] родилась из плотного сотрудничества с бывшим мэром Бостона Джон Ф. Коллинз, и поначалу вызывала бурное общественное неприятие, т.к. полученная динамика отрицала основные положения городской политики, которой придерживались тогда США.
«Динамика развития города» была той тропинкой, которая привела к системно-динамической национальной модели и таким проектам, как «Мировая динамика» и «Пределы роста». Модель, родившаяся из обсуждений с Римским клубом описана в «Мировой динамике» [7] , вышедшей в 1971 году. И снова бурный общественный отклик и резонанс.
Эти работы привели к работе над системно-динамической национальной моделью.
« Цель исследования национальной модели состояла в том, чтобы лучше понять поведение народных хозяйств и найти альтернативную политику для того, чтобы улучшить это поведение… Системно-динамическая национальная модель представляла собой микроструктуру экономики с корпорациями, совокупным домашним хозяйством, ценообразованием, денежными потоками, долгом, правительством и денежно-кредитными средствами управления. Взаимодействие микроструктур воспроизводило макроповедение… Национальная модель показала несколько различных динамических состояний, наблюдаемых в промышленной экономике - рост, обычные короткие деловые циклы, стагфляцию и длинные экономические волны….[4]»
Полученная на системно-динамических моделях динамика не совпадала с теоретическими представлениями экономистов.
Модели мировой динамики «Мир-1» и «Мир-2» (1971-1972 гг.), проекты: «Мир-3» или «Пределы роста» Д. Медоуза (1972 г.)[8]; «Человечество перед выбором» М. Месаровича и Э. Пестеля (1974 г.); «ЛИНК» Л. Клейна (с 1968 г, синтез национальных моделей); работы Эррера, Кайя – Судзуки, Линнемана, Робертса, глобальная межотраслевая модель В. Леонтьева – это ретроспектива создания системно-динамических моделей национальных экономик. В 1988 г. таиландским ученым К. Саидом была разработана системно-динамическая имитационная модель развивающихся стран, учитывающая взаимосвязь экономических, демографических, экологических, социально-политических и технологических факторов развития. Системно-динамические модели позволили увязать воедино многие сферы функционирования человеческого общества. В рамках концепции «устойчивого развития» в 1995 г. группой американских ученых была создана модель «США на пороге XXI-ro века», которая моделирует развитие США с учетом экономических, демографических, экологических, социально-политических и технологических факторов. Аналогичные модели при поддержке Института Тысячелетия и Всемирного банка были созданы и создаются в настоящее время во многих странах мира (Таиланд, Тунис, Китай, Малазии, Италия, Грузия, Армения и другие). Например, в марте 1997 г. на проходившем в Токио Международном Форуме по Глобальному Моделированию был представлен доклад о возможном будущем для Бангладеш, Туниса и США, составленный на основе системно-динамических моделей, разработанных для данных стран. Работы продолжаются.
Что же касается развития системного
анализа и системно-
С начала 1980-ых области применения системной динамики расширились до очень широкого спектра, включая проблемы образования, здравоохранение, энергетические системы, проблемы устойчивого развития, социальную политику, преступность, чрезвычайные ситуации и катастрофы и много других областей. Краткий перечень секций и докладов на Международных конференциях по системной динамики частично отражает область приложений системной динамики в социальных системах [1]. В Российских научных школах серьезный научный задел по региональным и территориальным системам [16], экологическому регулированию [15] и многим другим.
Национальная модель и стратегия России.
Экономическое сообщество России сегодня обсуждает идею создания системно-динамической модели национальной экономики. В одной из таких дискуссий я слышала пламенный монолог о глубоком кризисе экономической мысли, академических и научных школ в России, проблемах с использованием традиционных методов экономического анализа, т.к. эконометрика: по известным причинам разрежены статистические данные, не работают методы прогнозирования в переходный период. Да это же все доводу в пользу системно-динамического исследования. Не надо создавать академических институтов, тратить годы научных исследований, необходим деловой и грамотный консалтинг, опирающийся на менталитет лиц, принимающих решение и знание происходящих в современной экономике России процессов, профессиональная структуризация проблематики. Системно-динамическая модель нацелена на концептуализацию и структуризацию проблем, достижение понимания происходящих процессов, методы системной динамики сближены с мышлением стратегических управленцев. Работы по национальному моделированию осуществляются в условиях широких междисциплинарных коммуникаций, участия специалистов различной специализации.
- Ретроспектива применения бетона и железобетона в строительстве на рубеже веков
- Ретроспектива развития знаний о невербальном языке в междисциплинарном контексте
- Ретроспективний аналіз економічного розвитку Франції
- Ретроспективный анализ еврорегионов
- Ретроспективный анализ литературы, посвященной предмету гражданского права
- Ретроспективный анализ стандартизации аудиторской деятельности в РФ
- Ретушування та компонування нового зображення Користування інструментами Затемнитель Осветл
- Ретикулярная формация
- Ретикулярная формация
- Ретикулярная формация
- Ретикулярная формация ствола головного мозга
- Ретиноевая кислота
- Ретрансляторы: назначение и классификация
- Ретрологистика
