Система автоматизированной обработки статистической информации

Система автоматизированной обработки статистической информации  

 Организация государственной  статистики и характеристика  форм автоматизированной обработки  статистической информации 

Государственная статистика представляет собой одно из важнейших  межотраслевых звеньев в системе  управления экономикой страны. Она  призвана решать задачи, обеспечивающие изучение массовых явлений, что позволяет  устанавливать сложные взаимосвязи  и их взаимодействия, а также давать научно-обоснованную оценку функционирования и развития экономики.

Основными задачами государственной  статистики являются:

сбор, обработка и представление  необходимой статистической информации различных пользователей о деятельности всех отраслей экономики и подведомственных им предприятий;

разработка научно-обоснованной статистической методологии, соответствующей  потребностям общества на современном  этапе, а также международным  стандартам;

координация статистической деятельности органов управления экономикой и обеспечение им условий при  проведении отраслевых (ведомственных) статистических наблюдений;

разработка экономико-статистической информации, ее анализ, а также составление  необходимых балансовых расчетов;

гарантирование полноты  и научной обоснованности всей официальной  статистической информации;

предоставление всем пользователям  равного доступа к открытой статистической информации путем распространения  официальных докладов о социально-экономическом  положении страны, отраслей и секторов экономики.

Государственная статистика служит базой для организации  в стране статистической информационной системы — Государственного комитета РФ по статистике (ГКС РФ) . Органы государственной  статистики осуществляют свою работу, руководствуясь тем, что система  учета и статистики в РФ является одним из важнейших рычагов государственного управления развитием экономики. ГКС  РФ выполняет функцию обратной связи  по отношению к органам управления, предоставляя им всю необходимую  статистическую информацию о деятельности всех отраслей экономики и подведомственных им предприятий и организаций.

Статистическая информационная система, организационной основой  которой является ГКС РФ, отвечает всем требованиям, предъявляемым к  сложным информационным системам. К  ним, прежде всего, относятся такие, как единство элементов системы  с точки зрения их оптимального взаимодействия для достижения общей цели, большие  размеры и сложность поведения  системы, имеющей человеко-машинный характер.

Органы государственной  статистики проводят свою работу на основе общих принципов, единой методологии  и организации государственной  статистики. Основной их целью является осуществление централизованного  руководства делом учета и  статистики в стране.

Система ГКС РФ охватывает всю страну, ее органы имеются во всех административно-территориальных  образованиях страны.

Органы ГКС РФ собирают и обрабатывают статистическую информацию от сотен тысяч промышленных предприятий, строек, сельскохозяйственных предприятий, десятков тысяч культурных, бытовых  и других учреждений и организаций. Эта информация отличается огромным разнообразием, массовостью и различной  периодичностью поступления. При обработке  всей статистической отчетности указанных  объектов осуществляется несколько  сотен миллиардов вычислительных операций в год.

Для выполнения такой огромной работы ГКС РФ располагает разветвленной  по всей стране сетью вычислительных установок по сбору и обработке  информации. Применение на них различных  средств вычислительной техники  придает системе ГКС РФ человеко-машинный характер с определенным уровнем  автоматизации статистических работ.

Организационная структура  системы государственной статистики построена в соответствии с административно-территориальным  делением страны и включает три уровня: федеральный, региональный (республики в составе РФ, края, области и  национальные округа) и районный (городской) .

Централизованное руководство  работой органов государственной  статистики на федеральном уровне осуществляет Государственный комитет Российской Федерации по статистике (Госкомстат РФ) , который является главным учетно-статистическим центром и относится к центральным  органам РФ, обеспечивая статистической информацией Правительство, федеральное  собрание, федеральные органы исполнительной власти, а также широкую общественность и международные организации.

На КС РФ возлагается ответственность  за своевременную объективную и  достоверную обработку и представление  статистической информации указанным  органам и широкой общественности на базе функционирования статистической информационной системы на общегосударственном, отраслевом и региональном уровне на основе единой научной методологии.

Центральные статистические органы руководят организацией учетно-статистических работ на всей территории страны, в  частности КС РФ руководит работой  региональных управлений (комитетов) статистики, которые выполняют те же самые  функции только для своего уровня.

Кроме того, находясь в непосредственной близости и постоянном информационном контакте с низовыми звеньями экономики, региональные органы статистики оказывают  практическую помощь предприятиям и  учреждениям в организации учета  и отчетности и являются основными  источниками информации об их деятельности.

В состав региональных управлений (комитетов) входят районные (городские) отделы статистики, являющиеся первичными организациями системы государственной  статистики. Они собирают и обрабатывают информацию всех сельскохозяйственных предприятий, а также промышленных, строительных, транспортных и торговых предприятий местного подчинения, предприятий  бытового обслуживания, органов просвещения  и здравоохранения района или  города.

Все органы государственной  статистики работают по единой методологии  и единому плану статистических работ, утвержденным соответствующими вышестоящими статистическими органами.

Задачи, включенные в этот план, систематизированы по отраслям статистики, которые соответствуют  отраслям экономики. Структурная схема  и взаимосвязь отраслей статистики показана на рис. N Статистические задачи, решаемые в различных отраслях статистики, с точки зрения пользователя, по своему назначению подразделяются на регламентные задачи, задачи информационно-справочного  обслуживания и задачи углубленного экономического анализа.

Под регламентными задачами понимаются задачи обработки данных статистической отчетности на соответствующих  уровнях ГКС РФ. Каждая регламентная задача, как правило, связана с  обработкой данных некоторой конкретной формы статистической отчетности или  несколько тесно связанных по экономико-статистическому содержанию форм отчетности.

Основной организационно-технологической  формой автоматизированного решения  таких задач до настоящего времени  являются комплексы электронной  обработки информации (КЭОИ) , которые  представляют собой совокупность программных, технических и организационных  средств, обеспечивающих решение отдельных  регламентных задач на различных  уровнях с использованием локальных  массивов информации.

Регламентные задачи с  небольшими объемами и несложными алгоритмами  обработки на одном из уровней  ГКС РФ могут решаться с помощью  системы обработки малых статистических задач (СОМСЗ) .

Задачи информационно-справочного  обслуживания предусматривают формирование по запросам необходимых статистических данных для оперативного составления  докладов, аналитических записок  и справок, не регламентированных по содержанию. Их решение обеспечивается с помощью автоматизированного  банка данных (АБД) , под которым  понимают автоматизированную систему  накопления, хранения, поиска, обработки  и выдачи информации по запросам пользователей  в заданном виде.

Для АБД характерна возможность  обращения пользователя с запросом на естественном формализованном языке  через терминальное устройство и  получения запрошенных данных либо в печатном виде, либо на видеотерминале. При необходимости АБД может  работать в режиме информационного  обслуживания регламентных задач, обеспечивая  выдачу необходимых для их решения  данных при обращении к нему прикладных программ.

Задачи углубленного экономического анализа основаны на использовании  динамических рядов, методов математической статистики и других экономико-математических методов. Организационно-технологической  формой их решения явились аналитические  комплексы (АК) , представляющие собой  совокупность пакетов прикладных программ, ориентированных на реализацию математико-статистических методов.

Информационными массивами  АК являются данные, формируемые на основе объединения информационных массивов двух или более КЭОИ.

Учитывая необходимость  для решения ряда задач углубленного экономического анализа определенных совокупностей статистических данных за ряд лет, в ГКС РФ применяется  регистровая форма наблюдения. Организационно-технологической  основой ее реализации являются автоматизированные регистры, позволяющие хранить и  обрабатывать значительные совокупности данных, организованных в виде массивов, независимых от структуры статистических отчетов по каждому объекту или  определенной группе объектов наблюдения.

Регистровая форма наблюдения особенно эффективна для статистической информации, характеризующей относительно устойчивые объекты, поэтому регистры можно рассматривать как автоматизированную картотеку групп однородных единиц статистического наблюдения определенного  типа. Ее применение дает возможность  пользователю путем заполнения унифицированного бланка запроса получать различные  данные, характеризующие деятельность того или иного объекта (информационно-справочное обслуживание) .

Схема взаимодействия основных видов статистических задач и  организационно-технологических форм их автоматизированного решения  в системе ГКС РФ показана на рис.

Рассмотренный перечень организационно-технологических  форм автоматизированного решения  различных статистических задач  не является исчерпывающим. В процессе совершенствования статистической информационной системы и внедрения  более развитых технических средств  обработки и передачи данных возникают  как интегрированные, так и новые  формы автоматизации решения  статистических задач, например с помощью  автоматизированных рабочих мест (АРМ) экономиста-статистика.

Традиционная технология выполнения статистических работ в  органах государственной статистики основана на отделении машинной обработки  информации от функций, выполняемых  специалистом предметной области, в  данном случае экономистом-статистиком, в результате чего работа экономистов  отраслевых отделов и управлений статистики практически не автоматизируется.

Этот существенный недостаток устраняется в настоящее время  путем широкого внедрения автоматизированных рабочих мест экономиста-статистика различных уровней ГКС РФ. Работы, выполняемые непосредственно пользователем, могут быть автоматизированы на базе мощной ЭВМ, оснащенной удаленными терминалами, путем разделения вычислительных ресурсов ЭВМ между пользователями РФ на базе дисплейной сети. Однако наиболее перспективным  способом создания АРМ является использование  персональной ЭВМ (ПЭВМ) , которые могут  быть установлены в непосредственной близости к рабочим местам пользователей  и применяться ими в качестве индивидуального инструмента для  работы.

2. Организация решения  регламентных статистических задач 

Основной организационно-технологической  формой автоматизированного решения  регламентных задач являются КЭОИ, обеспечивающие электронную обработку данных статистической отчетности и различных обследований.

КЭОИ создаются и функционируют  в составе отдельных отраслей статистики. В большинстве случаев  каждый КЭОИ реализует автоматизированную обработку одной конкретной формы  статистической отчетности. Однако существуют КЭОИ, объединяющие в своем составе  несколько тесно связанных по своему экономико-статистическому  составу форм статистической отчетности.

В настоящее время в  ГКС РФ функционируют системные  и локальные КЭОИ. В системных  КЭОИ электронная обработка информации на всех участвующих в решении  данной регламентной задачи уровнях  ведется по типовой технологии с  обменом данными между уровнями на технических носителях и по каналам связи. Локальные КЭОИ для  высшего уровня реализуют автоматизированное решение статистических задач, в  которых первичные отчеты предприятий  и организаций поступают непосредственно  на ГВЦ ГКС РФ, где и осуществляется их полная разработка.

На современном уровне развития машинной обработки статистической информации эксплуатация КЭОИ в основном носит системный характер, что  определяется рядом причин.

Во-первых, в решении регламентных задач участвуют вычислительные установки различных уровней  ГКС РФ.

Во-вторых, технология функционирования КЭОИ охватывает все стадии прохождения  статистической отчетности, начиная  от поступления первичных отчетов  от предприятий и организаций  на нижестоящий уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем уровне ГКС РФ, и при  этом технология на каждом последующем  уровне является логическим продолжением технологии предыдущего уровня.

В-третьих, в процессе реализации технологического процесса выделяются процедуры, многие из которых являются типовыми для  всех вычислительных установок, а другие — для определенных их подмножеств.

Проиллюстрируем технологию решения регламентных статистических задач на примере типовых технологических  процедур эксплуатации системных КЭОИ для почтовых видов отчетности.

Процедура 1. Подготовка к работе с КЭОИ.

Происходит  копирование системной программной  МЛ данного КЭОИ и восстановление на МД резидентного (программного) пакета и библиотечного массива со всеми  элементами информационно-справочного  фонда КЭОИ (каталогами, словарями, справочниками и др.) . При необходимости осуществляется корректировка элементов информационно-справочного фонда.

Процедура 2. Подготовка исходной информации к  обработке.

Осуществляется  визуальный контроль и подготовка форм первичных статистических отчетов  к машинной обработке, перенос исходной информации этих отчетов на машинные носители (перфоленты, магнитные ленты, гибкие магнитные диски) .

Процедура 3. Ввод данных в ЭВМ.

Данные  первичных статистических отчетов  на машинных носителях вводятся (считываются) в память ЭВМ; осуществляются все  виды контроля с выдачей протокола  ошибок, на основании которого подготавливается и вводится в ЭВМ корректирующая информация; затем проводится контроль на полноту поступления отчетов, объединение данных отчетов с  данными каталога в единый массив данных, копирование этого массива  на МЛ (ГМД) для организации архива данных.

Процедура 4. Обработка, контроль, корректировка  и печать выходных таблиц.

Происходит  формирование на МД промежуточных итоговых числовых матриц и предварительная (так называемая "рабочая") печать выходных таблиц, при которой не используются библиотечные текстовые  наборы данных (справочники, словари  и др.) . Проводится контроль таблиц и в случае корректировки первичных  данных повторный счет, контроль и "рабочая" печать отдельных таблиц; во многих КЭОИ имеется возможность корректировки  сформированных результатных числовых матриц без пересчета. Затем печатаются итоговые выходные таблицы с использованием всех необходимых текстовых наборов  данных для их оформления.

Процедура 5. Подготовка материалов для передачи на вышестоящий уровень.

Осуществляется  вывод на МЛ (ГМД) передаваемых на вышестоящий  уровень файлов в виде промежуточных  итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации процедур 3 и 4, печать машинной справки об информации на передаваемой МЛ (ГМД) . Затем МЛ (ГМД) с выходными  массивами, итоговые распечатки выходных таблиц, а также контрольные и  справочные сведения о передаваемой информации отправляются почтой на вышестоящий  уровень. Для ряда КЭОИ отправляются также формы первичных отчетов  по определенному кругу отчитывающихся объектов.

Процедура 6. Подготовка к объединению массивов выходных данных, полученных с нижестоящего уровня.

Поочередно  для каждой из полученных МЛ (ГМД) выполняются  восстановление информации с МЛ (ГМД) на МД, выдача справочных сведений об информации на МД, контроль балансовой и логической увязки таблиц и в случае необходимости  корректировка и повторная запись таблиц по каждой объединяемой территории на МЛ (ГМД) .

Процедура 7. Объединение массивов выходных данных, полученных с нижестоящего уровня.

Происходит  предварительное накопление на МД таблиц с объединяемых МЛ (ГМД) без суммирования данных, формирование для ряда КЭОИ машинного каталога по разрезам объединения (министерствам и ведомствам, отраслям и др.) , счет и печать выходных таблиц по всем разрезам объединения, контроль балансовой и логической увязки этих таблиц, при необходимости их корректировка  и повторная печать, формирование и печать выходных таблиц по территории в целом, выдача справочных данных о  структуре сводной информации на МД.

Процедура 8. Обработка сводных таблиц министерствам  и ведомствам, отчетность которых  не централизована.

Эта процедура выполняется во многих КЭОИ на федеральном уровне и предусматривает  прием сводных итогов ряда министерств, отчетность которых не централизована в органах статистики, в виде подготовленных в этих министерствах сводных  выходных таблиц, подготовку их к вводу  в ЭВМ на технических носителях, запись с контролем и корректировкой, машинную распечатку выходных таблиц по этим министерствам; в некоторых  КЭОИ формируется и печатается объединенная таблица по данным министерствам  в целом (как по некоторой условной территории) . Полученная в результате этой процедуры информация по нецентрализованным министерствам выводится на отдельные  МЛ (МГД) , которые используются наряду с МЛ (ГМД) , полученными с нижестоящего уровня, при выполнении описанной  выше процедуры 7.

Процедура 9. Получение таблиц для местных  руководящих органов.

Операция  выполняется на региональном или  кустовом уровнях. Кустовой уровень  может организовываться для ряда региональных управлений статистики, где нет необходимых средств  вычислительной техники, удовлетворяющих  требованиям системной обработки  информации. На этих уровнях происходит формирование промежуточных числовых матриц с данными специальных (не входящих в централизованную разработку) таблиц для местных руководящих  органов и печать этих таблиц. Во многих КЭОИ проводится дополнительная разработка первичных отчетов, подготовленных в виде массива исходных данных в процессе реализации процедуры 3, с целью получения выходных таблиц (например, по административным районам) и печать этих таблиц. Специальные выходные таблицы, а также выходные таблицы, полученные в результате дополнительной разработки, передаются местным руководящим органам.

Рассмотренные выше типовые технологические процедуры  полностью реализуют процесс  обработки почтовой отчетности на всех уровнях ГКС РФ в виде следующих  операторских схем:

1. Региональный уровень. Процедура  1 Процедура 2 Процедура 3 Процедура  4 Процедура 5 Процедура 9.

2. Кустовой уровень. Процедура 1 Процедура 2 Процедура 3 Процедура  4 Процедура 6 Процедура 9 Процедура  7 Процедура 5. (Процедура 2,3,4,6 и  9 выполняются отдельно для каждой  обрабатываемой территории (региона) .

3. Федеральный уровень. Процедура  1 Процедура 2 Процедура 3 Процедура  4 Процедура 8 Процедура 6 Процедура  7 (Процедура 6 повторяется для  каждой объединяемой территории)

В качестве примера рассмотрим организацию  технологического процесса обработки  почтовой квартальной статистической отчетности по форме N 2-Т (КЭОИ "Отчет  промышленного предприятия (объединения) по показателям труда") . Схема  технологического процесса обработки  и передачи информации по форме N 2-Т  на различных уровнях ГКС РФ приведена  на рис. Выбор данной задачи как примера  организации системной технологии КЭОИ объясняется следующими обстоятельствами. Во-первых, она является типовой  задачей обработки почтовой статистической отчетности, в которой принимают  участие региональные управления статистики и ГВЦ КС РФ. Во-вторых, для данной задачи используются практически все  основные способы организации системной  технологии, в том числе и кустовой уровень. В-третьих, достаточно распространенным является прохождение потоков информации данной отчетности, при котором процедуры  ввода в ЭВМ первичных отчетов  выполняются не только на уровне региона, но и на федеральном уровне для  тех министерств (ведомств) , отчетность которых не централизована в органах  государственной статистики.

Если  дополнить вышерассмотренный перечень технологических процедур такими процедурами, как передача информации по коммутируемым  и выделенным каналам связи с  использованием средств телеобработки  для срочной отчетности, то можно  будет получить полный набор типовых  процедур, различные сочетания которых  реализуют системную технологию любой регламентной статистической задачи.

В настоящее время при решении  регламентных задач в ГКС РФ, наряду с применением КЭОИ, представляющих набор автономно выполняемых  программ, широкое распространение  получили КЭОИ, скорректированные на базе пакетов прикладных программ (ППП) .

ППП представляет собой законченный  комплекс программных средств, ориентированных  на решение регламентных задач сводно-группировочного  характера, и имеющий четко выраженную модульную структуру и стандартные  средства связи друг с другом с  помощью управляющей программы. По сравнению с набором автономно  выполняемых программ ППП позволяют: предоставить экономистам, по возможности, единую схему получения сводных  таблиц; избавить программистов от работ по созданию уникальных программных  средств для каждого вновь  проектируемого КЭОИ; допускать изменения  решения задачи (структура и содержание первичных и сводных отчетов) без изменения программных средств; сократить сроки на разработку КЭОИ; максимально типизировать проектирование КЭОИ.

Наиболее  широкое применение в ГКС РФ получил  пакет "Форма" (интерпретируемого  типа) , предназначенный для автоматизации  проектирования КЭОИ. При его разработке руководствовались следующими принципами: организационно-методологического  единства, обусловленного использованием единого набора программных модулей, обеспечивающих обработку данных для  различных регламентных задач; экономичной  технологии, обуславливающей процесс  обработки информации с минимальными затратами труда экономистов  и операторов, а также рационального  использования ресурсов ЭВМ; гибкости и инвариантности программного обеспечения  по отношению к изменениям и дополнениям  постановок статистических задач, обуславливающих  возможность внесения отдельных  изменений параметров задачи без  переделки программных модулей; типизации и унификации, обуславливающих  единую методологию построения процесса обработки данных для всех регламентных задач; интеграции обработки данных, обуславливающей однократный ввод информации в вычислительную систему  с целью многократного и многофункционального ее использования.