Мультимедийные технологии
Введение.
Системы мультимедиа
активно внедряются в сферу бизнеса.
Бизнес становится все более глобальным
и международным, фактически, благодаря
современным средствам
Работа со звуком и
видео и изображениями
1.Мультемидийные технологии.
Термин мультимедиа также, зачастую, используется для обозначения носителей информации, позволяющих хранить значительные объемы данных и обеспечивать достаточно быстрый доступ к ним (первыми носителями такого типа были CD — compact disk). В таком случае термин мультимедиа означает, что компьютер может использовать такие носители и предоставлять информацию пользователю через все возможные виды данных, такие как аудио, видео, анимация, изображение и другие в дополнение к традиционным способам предоставления информации, таким как текст.
Мультимедиа – совокупность программно-аппаратных средств, реализующих обработку информации в звуковом и зрительном виде. Мультимедиа спроектирована, чтобы передавать звук, данные и изображения по местным, региональным и глобальным сетям.
Мультимедиа - это сумма технологий, позволяющих компьютеру вводить, обрабатывать, хранить, передавать и отображать такие типы данных, как текст, графика, анимация, оцифрованные неподвижные изображения, видео, звук, речь.
Мультимедиа (multimedia) - это современная компьютерная информационная технология, позволяющая объединить в компьютерной системе текст, звук, видеоизображение, графическое изображение и анимацию (мультипликацию).
Мультимедийный компьютер должен включать в себя следующие устройства:
· звуковую стерео плату;
· CD-ROM;
· звуковые стерео колонки;
· микрофон;
· видео карту.
2. Виды информации, обрабатываемые мультимедиа системами: числовая, символьная, логическая, аудиоинформация, графическая, семантическая, цвет, эмоции. Проблематика обработки каждого вида информации.
Аудио и графическая-динамическая информации существуют только с учетом фактора времени. Если масштаб времени изменить, то информация искажается. Правильно воспринять ее можно, только если она находится в динамике. Для обработки ее приходится использовать специальные программные средства.
Статическая видео-информация представляет собой графики, чертежи, таблицы, диаграммы, которые относятся к так называемым штриховым рисункам. Кроме штриховых есть полутоновые рисунки, в которых форма предметов передается с помощью яркости или цвета.
Динамическая видеоинформация – это фильмы (слайд-фильмы, мультфильмы, видеофильмы). Этот вид информации отличается многокадровостью. В основе динамической видеоинформации лежит последовательное экспонирование на экране отдельных кадров вывода в соответствии со сценарием. Поэтому процесс обработки динамической видеоинформации часто называется редактированием сценариев. Динамическая видеоинформация используется либо для последовательной демонстрации кадров вывода (слайдов), либо для демонстрации движущихся изображений (что часто называется анимацией). При демонстрации слайд-фильмов каждый кадр должен находиться на экране столько времени, сколько необходимо для восприятия его человеком (примерно от 30 сек. до 1,5 мин., и более).
Анимационные фильмы демонстрируются так, чтобы отдельные кадры вывода зрительный аппарат человека зафиксировать не мог. Для этого они должны достаточно быстро сменять друг друга. Поскольку время демонстрации на экране каждого кадра вывода мало, каждый отдельный кадр сознанием человека не воспринимается. При частоте смены кадров 16 кадров в секунду незаметно даже мелькание при смене кадров. Стандарт кино – 24 кадра в секунду, телевидения (в Европе) – 25 кадров в секунду, в США – 30 кадров в секунду.
Знаковые системы, с помощью которых переносится смысл, это - текст, числа, речь, рисунок. Но при передаче смысла с помощью текста (речи) мы сталкиваемся с тем, что один и тот же текст может нести разный смысл. Это связано с имеющимися у людей моделями мира: если модель одна - то смысл 1, если другая - то смысл 2. Кроме того, смысл может меняться при наложении на текст интонации, за счет эмоций, мимики, при незначительных изменениях текста (например: “способный человек”, “очень способный человек”, “на все способный человек”). Для людей - не проблема уловить оттенки смысла. Но объяснить, как это делается, можно далеко не всегда.
Эмоции - это еще один вид информации, широко используемый в животном мире для характеристики отношения к происходящим событиям. Эмоции передаются не только (и не столько) словами, но и мимикой, и интонациями.
Цвет - тоже разновидность информации. Известно, что цвета делятся на теплые и холодные, возбуждающие и тормозящие. При правильном подборе цвета, с его помощью можно влиять на настроение работающего на ЭВМ.
3 Классификация устройств ввода, вывода, ввода-вывода мультимедийной информации. Состав, особенности, эволюция.
К устройствам ввода информации относятся клавиатуры, устройства управления курсором, системы ввода с машиночитаемых документов, системы ввода штриховых кодов, сканеры, устройства ввода акустических сигналов, цифровые фото и видеокамеры, TV- устройства ввода.
Устройства управления курсором включают в себя световое перо, мышь, джойстик, кот, и др. Они используются для перемещения курсора по экрану и для отметки позиции, в которой находится курсор.
Машиночитаемые документы представляют собой лист бумаги, на который нейтральной краской наносится решетка. Нейтральная краска (например, желтая) не воспринимается электронными приборами. Черным цветом в определенных местах разметки можно нанести штрихи или символы специальной формы (например, стилизованные шрифты). Такие устройства используются для ввода почтовых индексов с конвертов. Разрабатывались устройства для ввода информации с перфокарт, на которые вручную наносились надписи. Для ЭВМ Минск- 32 было разработано специальное устройство - “Бланк”, которое применялось для переписи населения в СССР. В настоящее время для ввода машиночитаемых документов может использоваться сканер.
Устройства ввода акустических сигналов делятся на устройства ввода музыкальных произведений, звуковых эффектов и речи. Для ввода акустических сигналов любого типа необходимо, чтобы ЭВМ была оснащена звуковой картой. Для ввода звуковых эффектов и речи используются микрофон или магнитофон. Музыкальные произведения могут вводиться с магнитофона, через специальный интерфейс с MIDI -
устройств или с клавиатуры ЭВМ. Звуковые эффекты могут создаваться программным путем.
Цифровые фотокамеры своим появлением резко изменили технологию фотографии. Они используют для хранения изображения специальный магнитный носитель, на который изображение записывается в оцифрованном виде. Цифровой фотоаппарат позволяет перестраивать режимы фиксации изображения - можно настроиться на монохромную съемку (поскольку монохромный снимок занимает значительно меньше места на магнитном носителе, чем цветной, в этом режиме можно сделать наибольшее количество снимков без смены носителя). Можно настроить цифровую фотокамеру на фиксацию цветного изображения, при этом указывается количество цветов. Регулируется так же разрешающая способность аппарата, что существенно для увеличения сделанного снимка.
Цифровые видеокамеры отличаются от аналоговых. Аналоговая камера пишет изображение и звук на магнитную ленту. В цифровых видеокамерах запись ведется в цифровом виде.
Телевизионные (TV) устройства ввода - цифровые и аналоговые, различаются способами записи и воспроизведения. Подключаются к ЭВМ через дигитайзер, TV-тюнер (например, AVER Media TV Studio, MediaForte TV Vision). Использование таких устройств требует высокой производительности ЭВМ. При недостаточной производительности изображение движется неравномерно, скачками. Чтобы снизить требования к производительности, изображение уменьшают в размерах (вплоть до 1/8 экрана), сокращают количество цветов в изображении, снижают разрешающую способность. Такие видеоизображения часто используются в баннерах Интернет.
Сокращение объема изображения (а значит - и требований к производительности аппаратуры) достигается так же кодированием со сжатием. При этом облегчается хранение видеопродукции, и усложняется воспроизведение, так как для воспроизведения необходимо восстанавливать сжатое изображение. Восстановление может выполняться либо программным путем (с использованием микропроцессора ЭВМ), либо в специальном ускорителе (акселераторе) видео- или TV-карты.
Устройства вывода информации включают плоттеры, принтеры, электронные экраны и панели, системы аудиовывода, видеосистемы. При выводе графической информации может применяться вывод двумерного, или объемного (трехмерного) изображения. Для вывода объемного изображения находят применение специальные устройства и способы.
Плоттеры предназначены для вывода графической информации на твердый носитель (бумагу). Планшетный плоттер имеет линейку, по которой может перемещаться печатающий механизм. Перемещение линейки сдвигает печатающий механизм по вертикали, а перемещение механизма по линейке сдвигает его по горизонтали. Благодаря этому, можно установить печатающий механизм в любую точку планшета. На планшете крепится лист бумаги. Плоттер может воспроизводить на бумаге очень сложные штриховые изображения. Но работает плоттер очень медленно. Для управления плоттером разработаны специальные алгоритмические языки.
Принтеры - это внешние устройства ЭВМ, предназначенные для вывода информации на твердый носитель в символьном или графическом виде. Классификация принтеров может быть проведена по следующим критериям: по способу вывода, по принципу формирования изображения, по способу регистрации, и по принципу управления процессом печати.
Электронные экраны и панели предназначены для предъявления выводимой из ЭВМ информации большой аудитории. Простейший демонстрационный экран может быть сделан из поставленных друг на друга телевизоров (при образовании из телевизоров матрицы размером 8х8 выводимая из ЭВМ информация доступна для большой аудитории). Телевизионная матрица через блок сопряжения подключается к ЭВМ. Изображение на такую матрицу может выводится фреймами.
Видеосистемы предназначены для оперативного отображения информации, доведения ее до сведения пользователя (оператора ЭВМ). Обычно они состоят из двух частей: монитора и адаптера. Монитор служит для визуализации изображения, адаптер - для связи монитора с микропроцессорным комплектом.
Системы ввода-вывода включают в себя абонентские пункты (сочетание дисплея с клавиатурой и устройством сопряжения с ЭВМ), модемы, сенсорные дисплеи, аудио и видеомагнитофоны. Они служат как для ввода, так и для вывода информации.
Особое место среди них занимают сенсорные дисплеи. Сенсорный дисплей - это устройство, реагирующее на прикосновение. Необычным в нем является способ ввода информации - вместо мыши, джойстика или светового пера используется рука человека, которая изменяет емкость или индуктивность датчиков при перемещении руки по различным зонам экрана дисплея, и за счет этого позволяет определить, к какой части экрана прикоснулись. Для реализации такой системы в углах экрана обыкновенного дисплея устанавливаются емкостные или индуктивные датчики, соединенные с ЭВМ. Рука человека изменяет емкость (или индуктивность) по-разному в разных датчиках (их всего 4) в зависимости от места нахождения руки. ЭВМ это учитывает, и определяет, на какую зону экрана рука указывает.
Преобразователи информации включают в себя аналого- цифровые (АЦП), цифро-аналоговые (ЦАП) преобразователи, системы распознавания, преобразователи форматов (конвертеры), системы сжатия и восстановления, TV-преобразователи, и др.
4. Обработка текста на ЭВМ. Способы вывода текста: скроллинг, кадры, анимация, звук. Способы работы с текстом: пассивный, интерактивный.
Текст – последовательное сочетание предложений и слов, которое образует законченное сообщение.
Формальная структура.
На форму оказывают влияние:
· Способ вывода текста:
o Скроллинг
o покадровый вывод
o анимация
o звук
· Способы работы с текстом
o Пассивный – допускается только чтение или восприятие анимации и звука
o Интерактивный
– допускается возможность
o Живое общение
– выполняется с помощью
· Стиль оформления и его соответствие содержанию
· Компоновка текста
o Пропорциональность
o Уравновешенность
Общие рекомендации по проектированию:
1. Цель – приносить пользу
2. Зоны. Информация различных типов должна быть размещена в разных зонах
3. Классы. Выводимую на экран информацию необходимо разбивать на классы, отводя каждому классу свою зону кадра:
· Заголовок (середина верхней строки)
· Область данных (средняя часть экрана)
· Область ввода (любая часть кадра)
· Область управления (любая часть кадра – наименее информативная)
· Область сообщений (любая часть кадра)
4. Цвета и изобразительные средства.
5. Стили оформления электронного текста. Компоновка текста на экране: пропорциональность, уравновешенность, симметрия. Геометрические способы определения зон экрана.
Стиль – это общность образной системы, выразительных средств и элементов оформления.
· Академический стиль – стиль научного отчёта и деловой стиль
· Газетный
· Художественный
· Телеграфный (короткие рубленые фразы)
· Рекламный (обязательные элементы – уникальное торговое предложение, слоган)
· Молодёжный (содержащий специфический сленг)
· Детский
Компоновка текста. Компоновка затрагивает такие понятия как информативность, уравновешенность, пропорциональность, гармония.
На компоновку влияют:
· Размер страницы и её ориентация
· Место размещения текста на странице, которое в свою очередь зависит от полей, длины строки, межстрочного интервала, количества строк на странице, размер шрифта и т.д.
Леонардо-да-Винчи разработал способ геометрического построения границ наиболее информативной зоны художественного полотна.
Существует ещё один способ разметки экрана. По вертикали и по горизонтали экран разбивается на 9 частей. 6/9 экрана информативны, 2/9 по горизонтали и 3/9 по вертикали отводится под поля.
Уравновешенность экрана – мысленно проверяется относительно его геометрического центра.
Симметричность – относительно вертикальной оси, проходящей через геометрический центр.
6. Разновидности компьютерной графики: пиксельная, векторная, штриховая, контурная, фрактальная, когнитивная. Псевдографика.
Векторная графика представляет изображение как набор примитивов. Обычно в качестве них выбираются точки, прямые, окружности, прямоугольники, а также как общий случай, сплайны некоторого порядка. Объектам присваиваются некоторые атрибуты, например, толщина линий, цвет заполнения. Рисунок хранится как набор координат, векторов и других чисел, характеризующих набор примитивов. При воспроизведении перекрывающихся объектов имеет значение их порядок.
Изображение в векторном формате даёт простор для редактирования. Изображение может без потерь масштабироваться, поворачиваться, деформироваться, также имитация трёхмерности в векторной графике проще, чем в растровой. Дело в том, что каждое такое преобразование фактически выполняется так: старое изображение (или фрагмент) стирается, и вместо него строится новое. Математическое описание векторного рисунка остаётся прежним, изменяются только значения некоторых переменных, например, коэффициентов. При преобразовании растровой картинки исходными данными является только описание набора пикселей, поэтому возникает проблема замены меньшего числа пикселей на большее (при увеличении), или большего на меньшее (при уменьшении). Простейшим способом является замена одного пикселя несколькими того же цвета (метод копирования ближайшего пикселя: Nearest Neighbour). Более совершенные методы используют алгоритмы интерполяции, при которых новые пиксели получают некоторый цвет, код которого вычисляется на основе кодов цветов соседних пикселей. Подобным образом выполняется масштабирование в программе Adobe Photoshop (билинейная и бикубическая интерполяция).
Вместе с тем, не всякое изображение можно представить как набор из примитивов. Такой способ представления хорош для схем, используется для масштабируемых шрифтов, деловой графики, очень широко используется для создания мультфильмов и просто роликов разного содержания.
Растровая графика (Raster drawing)
Точечная или растровая графика исторически стала применяться гораздо раньше векторной. К ней можно отнести художественные изображения мозаичного типа: смальта, мозаика и даже вышивка. Таким образом, к растровой графике относят изображения, полученные из мельчайших отдельных элементов, каждый из которых неделим и характеризуется постоянством тона на всем своем протяжении. Такие элементы принято называть пикселами. Каждый пиксел формально независим от соседних, т. е. может иметь различные характеристики: яркость, цветовой тон, насыщенность цвета и прочее.
Достоинства:
1. Простота и легкость оцифровки изображений.
2. Удобство вывода на монитор и распечатки
3. Реалистичность изображения.
4. Возможность получения тонких живописных эффектов, таких как туман, тонкие цветовые переходы и т.д.
Недостатки:
1. Необходимость точных
установок параметров до
фического изображения. Следует задать количество точек, размер изображения и т.д
2.Большой информационный
объем получаемого
3. Неизбежное появление искажений при трансформациях изображения.
Существуют также и полноцветные изображения True color, чаще всего работает в RGB-цветовом пространстве и использует 1 байт на каждый из 3-х основных цветовых компонентов (красная, зеленая и синяя), т. е. общая глубина цвета равна 24 битам или 3 байтам. При таком представлении количество различных цветовых оттенков превышает 16 миллионов.
Наиболее распространенные форматы: GIF, JPEG, BMP.
Формат Acrobat reader: PDF
Форматы Photoshop: PSD,EPS,DCS.
Контурная графика (Line Art)
В контурной графике вы создаете изображение в виде его контура и деталей. Комиксы - хороший материал для этого типа изображений, т.к. у вас всегда есть точный контур, с которым вы можете работать. Тем не менее, любое изображение можно представить, просто обозначив его границы.
Фрактал — объект, отдельные элементы которого наследуют свойства родительских структур. Поскольку более детальное описание элементов меньшего масштаба происходит по простому алгоритму, описать такой объект можно всего лишь несколькими математическими уравнениями.
Фракталы позволяют описывать целые классы изображений, для детального описания которых требуется относительно мало памяти. С другой стороны, к изображениям вне этих классов, фракталы применимы слабо.
Когнитивная графика
— это совокупность приемов и
методов образного
Методы когнитивной графики используются в искусственном интеллекте в системах, способных превращать текстовые описания задач в их образные представления, и при генерации текстовых описаний картин, возникающих во входных и выходных блоках интеллектуальных систем, а также в человеко-машинных системах, предназначенных для решения сложных, плохо формализуемых задач.
Три основных задачи когнитивной компьютерной графики:
1. создание таких моделей представления знаний, в которых была бы возможность однообразными средствами представлять как объекты, характерные для логического мышления, так и образы-картины, с которыми оперирует образное мышление,
2. визуализация тех
человеческих знаний, для которых
пока невозможно подобрать текс
3. поиск путей перехода
от наблюдаемых образов-картин
к формулировке некоторой
Псевдогра́фика — общее название символов, которые предназначены не для записи текста на каком-либо языке, а для графического оформления интерфейса пользователя — например, для рисования рамочек и таблиц.
Псевдографика широко используется программами текстового режима (т.н. консольными). В системах с графическим интерфейсом псевдографика практически не используется, поскольку в этом случае рисовать линии и рамочки возможно с помощью графических API; кроме того, рисовать рамки псевдографикой можно использовать только со шрифтами фиксированной ширины, а прочие применения псевдографики не слишком широки.
Кодовые страницы для DOS обычно содержат следующий набор псевдографики, заимствованный из встроенных шрифтов EGA, VGA и других дисплейных адаптеров:
В VGA использование для псевдографики именно кодовых позиций 0xB0—0xDF является обязательным при использовании режимов с шириной символа в 9 точек.
В Юникоде имеется более обширный набор псевдографических символов:
Box Drawing (2500—257F) & Block Elements (2580—259F)
7. Инструментальные средства пиксельной, векторной и контурной графики. Применение и принципы работы.
В настоящее время
создано множество пакетов
Adobe Photoshop 6.0 - графический
редактор, с помощью которого
можно выполнять все
PhotoFinish 4 (Adobe) задумывался
как “облегченный PhotoShop” с более
низкими ценой и системными
требованиями, но вместе с тем
с поддержкой наиболее
Image Composer (Microsoft) - интерфейс программы очень похож на Picture Publisher. Один из компонентов Image Composer многим хорошо известен. Это MS Gif Animator, один из лучших в своем классе. По своим возможностям MS Image Composer занимает промежуточное положение между продуктами типа PhotoFinish с одной стороны, и PhotoShop с другой. Поддерживаются плагины PhotoShop и PhotoStyler. Читает и сохраняет графику в 15 форматах (BMP; PCX, в том числе многостраничный; PSD; TIFF, в том числе компрессованный по JPEG и LZW методам; GIF; JPEG; PNG; DIB; RLE; WMF; EMF). Реализует возможность конверсии CMYK/RGB. Имеет многоуровневый откат. Позволяет работать с графическими планшетами, чувствительными к нажатию. Поддерживает устройства фотоввода (сканеры, цифровые фотоаппараты). Хорошо интегрирован с MS Office, MS Publisher и FrontPage. Помимо объектов (спрайтов), поддерживаются и слои. Очень удобные инструменты цветокоррекции. Гибкая регулировка компрессии TIFF и JPEG, что позволяет получить очень компактное изображение практически без потери качества.
20/20 2.1 - графический редактор, предназначенный для замены Paint. Главное преимущество этой программы — ее бесплатность и то, что системные требования совпадают с минимальными требованиями Windows. При этом по своим возможностям 20/20 заметно превосходит многие платные пакеты. Редактор имеет чрезвычайно удобные инструменты для рисования, выполненные на уровне векторных пакетов. Большое количество примитивов: кривые Безье, полигоны, окружности/эллипсы, дуги. Можно накладывать различные текстуры и заливки, можно их редактировать или импортировать готовые. В общей сложности имеется 30 фильтров и спецэффектов. Возможности наложения текста на графику у данного пакета на уровне дорогих профессиональных продуктов. Это шейперы (оборка текста вокруг кривой или контура изображения), автоперенос, кернинг и трекинг (в ручном режиме), не говоря уже о повороте текста на произвольный угол. Буквы можно заливать, накладывать на них всевозможные текстуры.
Поддерживаются форматы PCX, PCD, BMP, TGA, TIFF, GIF, JPEG, DXF, ICO. Редактор может быть полезен для решения многих задач, которые возникают при обработке Web графики. Среди недостатков хотелось бы отметить отсутствие возможности конвертации CMYK/RGB. Это сужает сферу применения данной программы. Программу не стоит применять для обработки картинок, которые надо вставлять в документы, предназначенные для печати.