Экспертные оценки

  Содержание

Введение

Решение проблем повышения качества выпускаемой продукции является сегодня неотъемлемым элементом стратегии развития любого производства. В соответствии с существующими требованиями все процессы, связанные с повышением качества и конкурентоспособности продукции, следует начинать с анализа потребителей и ожиданий потребителей этой продукции. Для измерения качества продукции в настоящее время широко используют методы квалиметрии.

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т.д.

Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно или экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования [19].

В квалиметрии экспертный метод применяется: для измерения показателей качества, для определения значений весовых коэффициентов. Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

При оценке качества продукции и услуг особенно велика роль экспертных методов. Они не требуют дорогостоящего оборудования, приборов, реактивов и не трудоемки по времени. Научно организованный экспертный метод измерения по чувствительности превосходит многие приемы лабораторных исследований. В ряде случаев это единственно возможный метод, позволяющий отличить высококачественный продукт от ординарного, фальсифицированный от натурального, выявить ранние признаки порчи [20].

Сегодня, когда одной из перспективных задач, стоящих перед международными и национальными метрологическими организациями является измерение нефизических величин как вкус, запах, блеск и т.п. [21], вопросы метрологического обеспечения единства экспертных измерений становятся особо актуальными.

Экспертные методы применяют в пищевой промышленности при контроле качества продукции, проведении научных исследований, разработке новых технологических приемов и режимов обработки и хранения продуктов.

В этих условиях правомерно говорить об исследовании экспертных методов оценки качества мясных продуктов.

Дипломная работа посвящена исследованию экспертных методов оценки качества мясных изделий.

1 Состояние вопроса

При оценке качества мясных изделий особенно велика роль экспертных методов. Они не требуют дорогостоящего оборудования, реактивов и не трудоемки по времени. Научно организованный экспертный метод измерения по чувствительности превосходит многие приемы лабораторных исследований.

Экспертный метод — это метод решения задач, харак­теризующийся тем, что: в решении участвует группа людей; эти люди являются экспертами; задача стоит в получении новой информации; эта информация имеет общественную значимость; при решении задачи обычно не используется определенный, общий для всех экспертов алгоритм; решение базируется на опыте и интуиции экспертов, а не на непосредственных результатах расчетов или экспериментов.

Если экспертные суждения выражаются в количест­венной форме или по своему характеру могут интерпрети­роваться как оценочные (типа много - мало, лучше - хуже, дальше - ближе и т. д.), то они называются эксперт­ными оценками - коллективными или индивидуальными. Процесс выявления индивидуальных экспертных сужде­ний (или оценок) называется экспертным опросом, а вся совокупность процедур, необходимых для получения коллективного экспертного суждения (оценки), включая и процедуру экспертного опроса, носит название экспер­тизы.

Экспертный метод (для его обозначения применяются и другие термины-синонимы: экспертный способ, метод экспертных оценок) представляет собой не какой-то единый метод, а является совокупностью различных методов, которые могут считаться как его модификации. В свою очередь, сам экспертный метод вместе с так называемым социологическим методом об­разует метод групповых решений, входящий составной частью   в   теорию   принятия   решений [27].

Различные разновидности экспертного метода применя­лись и применяются

у всех народов и во все времена для обсуждения разнообразных проблем и вынесения решений на советах, совещаниях, комиссиях и т. д. — везде, где основой решения являлось коллективное мнение ком­петентных людей (т. е. экспертов).

Использование экспертного метода целесообразно только в задачах особого класса, характеризующихся наличием одного из двух условий:

1 Задача не может быть решена никаким другим существующим способом. Например, в настоящее время еще не существует каких-либо (не являющихся экспертными) способов, с помощью которых было бы возможно достаточно надежно и точно оценивать эстетическую привлекательность внешнего вида произведений архитектуры или дизайна.

2 Другие,   кроме   экспертного,    способы   являются менее точными или более трудоемкими. Так, при оценке вкусовых качеств пищевых продуктов экспертный метод очень часто все еще дает более достоверные результаты и требует меньших затрат времени, чем методы физического или химического анализа. Особенно эффек­тивно   использование   экспертного   метода   в   задачах, характеризующихся неопределенностью ситуации, ее ве­роятностным характером.  При этих условиях решение, данное экспертом, зачастую оказывается более точным, чем полученное расчетным путем, так как эксперт способен учитывать исходные данные в их динамике, развитии - начиная от генезиса этих данных с учетом их современной состояния   и   кончая  прогнозированием   их   развития.

Вместе с тем экспертный метод не должен применяться, если имеются аналитические или экспериментальные ме­тоды, с помощью которых проблема может быть решена с   меньшими   затратами   или   более   точно [21].

Однократные и многократные измерения

Видом измерений названа часть области измерений, имеющая свои особенности и отличающаяся однородностью измеряемых величин.

По числу повторных измерений одной и той же величины различают однократные и многократные измерения. Однократное измерение – измерение, выполненное один раз.

Во многих случаях на практике выполняются именно однократные измерения.

Многократное измерение – измерение величины одного и того же размера, результат которого получен из нескольких следующих друг за другом измерений, т.е. состоящее из ряда однократных измерений.

В зависимости от поставленной цели число повторных измерений может колебаться в широких пределах (от двух измерений до нескольких десятков и даже сотен). Многократные измерения проводят или для страховки от грубых погрешностей (в таком случае достаточно трех-пяти измерений) или для последующей математической обработки результатов (часто более пятнадцати измерений с последующими расчетами средних значений, статистической оценкой отклонений и др.). Многократные измерения называют также «измерения с многократными наблюдениями» [20].

Однократное экспертное измерение - это измерение величины одним экспертом. Измерение величины одного и того же размера несколькими экспертами называется многократным экспертным измерением.

При экспертном методе оценки качества мясных изделий используются следующие методы обработки результатов экспертных измерений:

1 Метод ранжирования состоит в расположении объектов в порядке убывания или возрастания какого-либо свойства, присущего этим объектам. Обычно степень, с которой то или иное свойство при­суще объектам, не поддается количественному измерению и оце­нивается только качественно.

Особенность метода ранжирования показателей качества заключается в том, что показатели качества ранжируются в порядке убывания вносимого им вклада. Вклад каждого показателя оценивается по величине ранга – места, которое отведено исследователем (специалистом при опросе, экспертом) данному показателю при ранжировании всех показателей качества с учетом их предполагаемого (количественно неизвестного) влияния на качество аналогов средств измерений.

2 Метод попарного сопоставления

Это результат работы одного эксперта, оценивавшего объекты определенным образом. При этом способе эксперт получает матрицу, в которой по  вертикали и горизонтали проставлены номера объектов экспертизы (показателей качества). Эксперту необходимо проставить в каждой клетке, относящейся двум сравниваемым объектам (показателям), номер того объекта (показателя), который он считает наиболее важным.

3 Метод двойного попарного сопоставления

При таком сопоставлении иногда удается избежать случайных ошибок, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное [19].

Сбор экспертных данных (анкетирование) можно произ­водить двумя способами:

- эксперт самостоятельно заполняет анкету и передает или пере­сылает ее техническому работнику;

- эксперт заполняет анкету в процессе беседы с техническим работником или беседа проводится после заполнения анкеты для уточнения оценок.

Заполненные анкеты поступают в рабочую группу. Тех­ническая группа составляет сводный перечень показателей ка­чества.

Качественный состав экспертной комиссии – важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными и опытными специалистами.

Процесс формирования экспертной комиссии начинается с формирования рабочей группы, которая организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

В экспертную комиссию должны включаться высококвали­фицированные специалисты по оцениваемой продукции (ученые, главные технологи, производственники, работники торговли и т. д.).

Экспертную комиссию формируют следующим образом: ор­ганизатор и специалист составляют список экспертов, учитывая их служебное положение, стаж работы в данной области, профес­сию, характер работы и т. д. В эту группу включают специалис­тов, занимающихся различными вопросами: испытаниями, надежностью, точностью, эргономикой, сбытом и т. д. Желательно, чтобы по каждой группе показателей каче­ства можно было получить мнение 7—10 квалифицированных специалистов.

Экспертная группа может формироваться из специали­стов, работающих в одной организации или в разных организа­циях и ведомствах. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и воз­можностей организации, в которой формируется группа, то в груп­пе должно быть не менее 7—12 человек. При необходимости по­вышения точности оценок качества состав группы может быть увеличен до 15—20 экспертов.

Для организационного оформления деятельности экс­пертной группы издается приказ (или распоряжение). В нем указываются цели проводимой работы, состав экспертной группы и ее руководитель, сроки заполнения экспертами анкет, срок окончания работы [3].

Желательно, чтобы экспертная группа формировалась не для одноразовой экспертизы, а как постоянно функционирую­щий орган с достаточно стабильным составом экспертов. В про­цессе работы группы у экспертов на основе анализа результатов предыдущих экспертиз вырабатываются общие подходы и прин­ципы оценки качества продукции, что повышает эффективность экспертизы.

В состав экспертной группы не могут быть включены специалисты, имею­щие отношение к созданию (исследованию, изготовлению и т. д.) оцениваемой продукции [27].                   

Балловые шкалы

Органолептические показатели продуктов нельзя выразить в привычных  физических размерных шкалах. Характеристику вкуса, запаха, консистенции и других сенсорных признаков приводят в качественных описаниях.

Чтобы перевести качество в количество, при экспертной оценке используют безразмерные шкалы: обычно в баллах, реже в долях единицы или процентах.

Балловая шкала - это упорядоченная совокупность чисел и качественных характеристик, которые приводятся в соответствие с оцениваемыми объектами согласно определяемому признаку [17].

При разработке балловых шкал градацию шкалы определяют в зависимости от характера поставленной задачи, качества экспертов, необходимой точности результатов и возможности словесного описания характеристики качественных уровней.

Оценочные шкалы должны отвечать следующим принципам:             

       общеупотребительность - распространенность терминов, привычность;

       однозначность - близкое толкование разными экспертами;

       различимость - возможность различать признаки по всем ступеням шкалы;

       достаточность - количество уровней шкалы обеспечивает необходимую точность.

Для экспертной оценки качества продукции рекомендуется использовать шкалы с нечетным числом уровней качества, чаще применяют балловые шкалы, имеющие три, пять, семь, девять градаций качества, которые могут совпадать или не совпадать с количеством баллов.

Существует много систем балльной оценки повседневного контроля качества пищевых продуктов, применяемых также в исследовательских целях. Чтобы классифицировать различные пробы одного продукта и отнести их к соответствующим качественным категориям, обычно предварительно оценивают ряд качественных показателей.

Контроль качества отдельных видов продукции экспертными методами отличается как номенклатурой показателей, так и применяемыми шкалами и системой балловой оценки [14].

Каждый показатель качества мясных изделий оценивается по 5-балльной шкале согласно ГОСТ 9959-91 «Продукты мясные. Общие условия проведения органолептической оценки», при оценке качества используются коэффициенты, учитывающиеся значимость каждого показателя в формировании качества мясных изделий. Результатом многих экспертиз является ранжирование объектов экспертизы по тому или иному критерию,  признаку или свойству. В методе парных сравнений, вообще, предполагается последовательное получение от эксперта информации лишь о сравнительной предпочтительности одного из двух предъявляемых объектов.

Если эксперт может уверенно лишь сравнить по предпочтительности  объекты экспертизы,  но затрудняется определить количественный эквивалент степени предпочтительности,  то, идя  навстречу требованиям организаторов экспертизы, он вносит лишь дополнительную неточность в определение результата работы экспертной комиссии.  Конечно, количественные оценки более информативны. Однако когда они получены в ущерб достоверности оценок,  такая дополнительная информативность сомнительна.

Свойства шкал порядка ранжировать величины  называются свойствами транзитивности. На шкале порядка не определены (т. е. не могут выполняться) никакие арифметические действия. Интервалы между реперными шкалами точками неизвестны (на шкале не установлен масштаб), поэтому нельзя баллы складывать, вычитать, умножать или делить [1].

Шкала порядка (рангов) имеет то преимущество перед другими шкалами, что в ряде случаев ее использование связано с меньшей трудоемкостью проведения экспертного опроса, что немало важно для проведения экспертной  оценки качества продукции на предприятиях мясной промышленности . Вместе с тем эта шкала является более «грубой» по сравнению с другими шкалами, в связи, с чем ее применение в задачах оценки качества ограничено [20].

Эксперты при парных сравнениях объектов нередко дают противоречивые оценки сравнительной предпочтительности объектов.  Так,  например, нередко встречается ситуация, когда эксперт  предпочитает объект А объекту В,  объект В - объекту С,  а объект С - объекту А, хотя, если мыслить последовательно, должен был бы объект А предпочесть объекту С.  Такая противоречивость в суждениях экспертов называется нарушением свойства транзитивности.

Причины, которые вызывают противоречивые суждения экспертов о сравнительной предпочтительности объектов,  могут быть различными. Например,  если сравнительная предпочтительность  объектов зависит,  по существу, от нескольких критериев и при сравнительной оценке объектов А и В,  В и С,  С и А основную роль для эксперта каждый раз играют другие критерии [24].

В книге Дэвида Г. «Метод парных сравнений» говорится о нетранзитивных включениях, Дэвид Г. обозначает их «циклическими триадами».

Циклическая триада означает непоследовательность в суждениях части экспертов  и ее простейшее объяснение состоит в том,  что эксперт иногда   гадает, объявляя свои предпочтения. Он может  гадать из-за своей некомпетентности или потому, что на самом деле объекты весьма похожи; вероятность циклической триады равна 1/4, когда объекты идентичны. Но гадание — не единственное объяснение.  Приемлемого упорядочения трех объектов может не быть, даже если они заметно различаются. Их важность может зависеть более чем от одного показателя, а попытка упорядочить их на линейной шкале может оказаться несколько искусственной. При этих обстоятельствах эксперт должен сконструировать некоторую функцию от соответствующих показателей и пользоваться ею как основанием для сравнения. Неудивительно, что при изучении сложных предпочтений эта функция  неизвестна, да еще может изменяться от одного парного cpaвнения к другому, особенно когда различные пары объектов побуждают эксперта концентрировать свое внимание на различных признаках. Это последнее обстоятельство объясняет те ситуации, где некоторые циклические триады часто встречаются в повторных опытах. Аналогичные случаи обычны в турнирах, где в повторных встречах игроков или  команд А, В, С возможно, что, как правило, А В, В  С, но С побеждает А чаще, чем проигрывает. Фокус с камешком, ножницами  и бумагой доставляет крайний пример [8].

Сегодня проблеме нетранзитивности уделяется исключительно острое внимание и посвящен ряд публикаций, в числе которых статьи Шишкина И.Ф. «Топологические  пространства   с   нетранзитивными     подмножествами» и Поддъякова А.Н. «Нетранзитивность превосходства при взаимодействиях», книга Дэвида Г. «Метод парных сравнений» и др.

Проблема нетранзитивности до сих пор не решена и поэтому требует дальнейших исследований.

Шишкин И.Ф. в своей статье «Топологические     пространства   с   нетранзитивными подмножествами» представлен пример нетранзитивного включения как полезный сигнал, который представлен на рисунке 1.

Рисунок 1 – Нерегулируемый              перекресток

Экспертные измерения  часто используются в производстве мясных изделий, поэтому наиболее важными являются результаты данных измерений, они должны быть достоверными для выпуска мясной продукции высокого качества, что подчеркивает актуальность данной работы.

Для этого важно  разработать методику определения качества мясных изделий экспертными методами измерений, анализировать и изучить появления нетранзитивности в результатах экспертных измерений и их исключений.

2     Цели и задачи дипломной работы

Целью дипломного исследования является исследование экспертных методов оценки качества мясных изделий.

Исходя из поставленной цели следует решить задачи:

      исследовать нетранзитивные включения и их свойства;

      исследовать причины появления нетранзитивных включений;

      исследовать методы исключения нетранзитивных включений;

      разработать алгоритмы обработки результатов экспертиз, полученных тремя методами;

      сформировать показатели качества мясных изделий;

      организовать экспертную комиссию;

      разработать анкеты для опроса экспертов;

      определить весовые коэффициенты показателей качества мясных изделий;

      определить комплексный показатель качества мясных изделий;

      проанализировать результаты экспертных измерений;

      разработать СТО «Методика оценки качества мясных изделий экспертными методами измерения»;

      рассмотреть  экологический контроль на мясоперерабатывающем предприятии;

      проанализировать показатели безопасности работы в лаборатории;

      провести экономические расчеты затрат на разработку стандарта организации «Методика оценки качества мясных изделий экспертными методами измерения».

3       Основная часть

3.1 Исследование нетранзитивных включений в результатах экспертных измерений

Экспертными оценками называют все данные, в любой форме полученные от экспертов в ходе групповой экспертизы. Также экспертными оценками называют обобщенные данные, полученные после выполнения экспертных операций и статистической обработки оценок, полученных в результате экспертизы.

В методе  парных сравнений объекты предъявляются попарно одному или нескольким экспертам. Метод парных сравнений первоначально применялся в случаях, когда сравниваемые объекты можно было сопоставить лишь субъективно, т.е. когда невозможно или невыгодно делать соответствующие измерения для того, чтобы решить, который из двух объектов предпочтительнее.

Эксперты способны сравнивать несколько объектов сразу. Если это легко сделать, простая ранжировка всех объектов может оказаться более предпочтительной. Однако когда различия между объектами невелики, желательно сравнивать каждую пару как можно более свободно от любых посторонних влияний, вызванных присутствием других объектов. Ранжировка получается быстро только при вполне очевидных различиях; в противном случае процесс ранжирования практически требует многократного повторения попыток парных сравнений «соседей», прежде чем будет достигнуто разумное упорядочение.

Эксперты при парных сравнениях объектов нередко дают противоречивые оценки.

Оценки, получаемые при экспертных измерениях, представляют собой ранжированный ряд, поэтому одной из важных задач процедуры выработки экспертами суждений является правильно отобранная методика.

Для того чтобы получить от экспертов ранжировки необходимо соблюдать условия, способствующие повышению этой обоснованности. Главные из этих условий: определить цели, единство уровня и группы сравниваемых объектов, полное предварительное знакомство эксперта со всем набором сравниваемых объектов.