Урправління мережою агентств з нерухомості



2

 

 

 

«Урправління мережою агентств з нерухомості»

Вступ

Сучасні умови ведення бізнесу, що характеризуються зростаючою жорсткою конкуренцією і нестабільністю економічних умов, пред'являють підвищені вимоги до оперативності і якості схвалюваних рішень на всіх рівнях управління підприємством або організацією. Підтримка ухвалення рішень передбачає володіння актуальною всеосяжною інформацією про стан і тенденції розвитку бізнесу. При цьому об'єм інформації, яку необхідно враховувати для формування оптимальних обґрунтованих рішень, неухильно росте. Це приводить до ситуації, коли стає неможливо ефективно управляти компанією без використання сучасних засобів інформаційного забезпечення, а саме, методів і засобів бізнес-аналітіки. Бізнес-аналітика - це такі технології, що дають можливість організаціям перетворювати накопичувані дані на інформацію про бізнес, а потім інформацію, - в знання для управління бізнесом.

Інструменти для поглибленої роботи з даними на основі технологій аналітичної обробки даних OLAP (On-line Analytical Processing), здобичі даних (Data Mining) і статистичних пакетів використовують різні організації — промислові, торгові, фінансові, наукові, сфери послуг та інші — для вирішення наступних типових задач.

Фінансові установи аналізують внутрішню звітність банку, бюджет, активи, пасиви і клієнтську базу, контролюють роботу філіалів. Торгові організації досліджують продажу в розрізі номенклатури товарів і торгових марок, аналізують тенденції динаміки продажу товарів за певний період часу. В Важливого значення набуває аналітика відносин з клієнтами і конкурентами, аналітика у сфері персоналу.

Державні організації, накопичуючи в сховищах даних величезні масиви, використовують ці дані для аналізу, наприклад, структури населення країни або регіону в різних розрізах, кадастру земель, паспортів підприємств.

Маркетингові і консалтингові фірми надають звіти про дослідження ринку, виконані за технологією OLAP, своїми клієнтами.

Відповідні інструменти дозволяють також аналізувати інформаційну поведінку відвідувачів сайту компанії, оцінювати інтерес користувачів до різних розділів сайту і продуктів компанії, рекламних матеріалів, тощо.

Вітчизняні та зарубіжні вчені досягли значних результатів у роз’взанні задач аналізу складних  систем ,однією з яких є ринок нерухомості, а також у прогнозуванні майбутніх сценаріїв їх розвитку. Зокрема, у роботах В.М Глушкова, М.М. Моісєєва, М.З Згуровского, Ю.П Зайченка, Т.Сааті розроблені моделі та методи ідентифікації та прогнозування процесів у динамічнх системах.

Актуальність теми:

Враховуючи сучасний стан і шляхи розвитку рішень для інтелектуального аналізу даних, можна спрогнозувати декілька тенденцій на майбутнє.

Розширення. Зростає кількість людей, які використовують процеси інтелектуального аналізу даних. І цим однозначно підтверджується факт, що ефективне використання отриманих даних представляє для фірм значну вигоду в процесі конкуренції. Технічні засоби для інтелектуального аналізу даних стають доступнішими. Все вищесказане дає привід сподіватися, що ці рішення поступово упроваджуватимуться не тільки в крупних компаніях, але і в компаніях середнього і малого бізнесу.

Поглиблення. Як правило, технології для інтелектуального аналізу даних в рамках фірми проходять випробування в пробному проекті. У тих компаніях, де рішення вже реалізовані і використовуються, вони поступово розповсюджуються далі на інші області діяльності.

Поява нових напрямів. Після остаточного затвердження інтелектуального аналізу даних в маркетингу, банківській справі, телекомунікаціях, спостерігається поступове проникнення технологій інтелектуального аналізу даних в інші галузі. Варто також пригадати про те, що, наприклад, цей метод можна використовувати в медицині, біохімії, генетиці і багатьох інших сферах діяльності сучасного суспільства.

 

 

 

 

 

 

 

 

 

 

 

 

Розділ 1. Аналіз бізнес інформації

 

Про аналіз інформації останнім часом говорять так багато й стільки всього, що можна остаточно заплутатися в проблемі. Це добре, що багато звертають увагу на таку актуальну тему. Погано тільки те, що під цим терміном кожний розуміє те, що йому потрібно, часто не маючи загальної картини по проблемі. Фрагментарність у такому підході є причиною нерозуміння того, що відбувається й що робити. Усе полягає зі шматків, слабко зв'язаних між собою й не що мають спільного стрижня. Напевно, ви часто чули фразу "клаптева автоматизація". Із цією проблемою вже неодноразово зустрічалися багато аналітиків та користувачів і можуть підтвердити, що основна проблема при такому підходові полягає в тому, що практично ніколи неможливо побачити картину в цілому. З аналізом ситуація аналогічна.

1.1. Технології аналізу даних

Для того щоб було зрозуміле місце й призначення кожного механізму аналізу, розглянемо задачу в цілому . Будемо відштовхуватися від того, як людина ухвалює рішення, оскільки пояснити, як народжується думка, ми не в змозі, сконцентруємося на тому, як можна в цьому процесі використовувати інформаційні технології. Перший варіант - особа, що приймає рішення  (ОПР.), використовує комп'ютер тільки як засіб добування даних, а висновки робить уже самостійно. Для розв'язку такого роду завдань використовуються системи звітності, багатомірний аналіз даних, діаграми та інші способи візуалізації. Другий варіант: програма не тільки витягує дані, але і проводить різного роду передобробку, наприклад, очищення, згладжування і інше. А до оброблених таким чином даним застосовує математичні методи аналізу – кластеризацію, класифікацію, регресію і т.д. В цьому випадку ОПР отримує не сирі, а такі, що пройшли серйозну обробку дані, тобто людина вже працює з моделями, підготовленими комп'ютером. Завдяки тому, що в першому випадку практично все, що пов'язане власне з механізмами ухвалення рішень, покладається на людину, проблема з підбором адекватної моделі і вибором методів обробки виноситься за межі механізмів аналізу, тобто базою для ухвалення рішення є або інструкція (наприклад, яким чином можна реалізувати механізми реагування на відхилення), або інтуїція. В деяких випадках цього цілком достатньо, але якщо ОПР цікавлять знання, що знаходяться достатньо глибоко, якщо так можна виразитися, то просто механізми витягання даних тут не допоможуть. Необхідна серйозніша обробка. Це і є той самий другий випадок. Всі вживані механізми попередньої обробки і аналізу дозволяють ОПР працювати на більш високому рівні. Перший варіант підходить для розв'язку тактичних і оперативних завдань, а другий - для тиражування знань і вирішення стратегічних проблем. Ідеальним випадком була б можливість застосовувати обидва підходу до аналізу. Вони дозволяють покрити майже всі потреби організації в аналізі бізнес інформації. Варіюючи методики залежно від завдань, ми будемо мати можливість отримати  максимум з наявної інформації.
Загальна схема роботи приведена нижче

 

Часто при описі того або іншого продукту, що аналізує бізнес інформацію, застосовують терміни типу ризик-менеджмент, прогнозування, сегментація ринку. Але насправді рішення кожним з цих завдань зводяться до застосування одного з описаних нижче методів аналізу. Наприклад, прогнозування – це завдання регресії, сегментація ринку – це кластеризація, управління ризиками – це комбінація кластеризації і класифікації, можливі і інші методи.

Тому даний набір технологій дозволяє вирішувати більшість бізнес завдань. Фактично, вони є атомарними (базовими) елементами, з яких збирається рішення тієї або іншої задачі. Тепер опишемо окремо кожен фрагмент схеми.

Як первинне джерело даних повинні виступати бази даних систем управління підприємством, офісні документи, Інтернет, тому що необхідно використовувати всі відомості, які можуть стати в нагоді для ухвалення рішення. Причому йдеться не тільки про внутрішню для організації інформацію, але і про зовнішні дані (макроекономічні показники, конкурентне середовище, демографічні дані і т.п.).

Хоча в сховищі даних не реалізуються технології аналізу, воно є тією базою, на якій потрібно будувати аналітичну систему. У відсутність сховища даних на збір і систематизацію необхідної для аналізу інформації йтиме велика частина часу, що в значній мірі зведе нанівець всі переваги аналізу. Адже одним з ключових показників будь-якої аналітичної системи є можливість швидко отримати результат.

Наступним елементом схеми є семантичний шар. Незалежно від того, яким чином аналізуватиметься інформація, необхідно, щоб вона була зрозуміла ЛПР, оскільки в більшості випадків аналізовані даних розташовуються в різних базах даних, а ЛПР не повинен вникати в нюанси роботи з СУБД, то потрібно створити якийсь механізм, що трансформує терміни предметної області  у виклики механізмів доступу до БД. Це завдання і виконує семантичний шар. Бажано, щоб він був один для всіх додатків аналізу, таким чином легше застосовувати до завдання різні підходи. Системи звітності призначені для того, щоб дати відповідь на питання "що відбувається". Перший варіант його використання: регулярні звіти використовуються для контролю оперативної ситуації і аналізу відхилень. Наприклад, система щодня готує звіти про залишки продукції на складі, і коли його значення менше середнього тижневого продажу, необхідно реагувати на це підготовкою замовлення на постачання, тобто в більшості випадків це стандартизовані бізнес операції. Найчастіше деякі елементи цього підходу в тому або іншому вигляді реалізовані в компаніях (нехай навіть просто на папері), проте не можна допускати, щоб це був єдиний з доступних підходів до аналізу даних. Другий варіант застосування систем звітності: обробка нерегламентованих запитів. Коли ОПР хоче перевірити яку-небудь думку (гіпотезу), йому необхідно отримати додаткову інформацію,що підтверджує або спростовує ідею, оскільки ці думки приходять спонтанно, і відсутнє точне уявлення про те, якого роду інформацію буде потрібно, необхідний інструмент, що дозволяє швидко і в зручному вигляді цю інформацію отримати. Отримані дані зазвичай представляються або у вигляді таблиць, або у вигляді графіків і діаграм, хоча можливі і інші представлення.

1.2. Сховище даних та OLAP

Хоча для побудови систем звітності можна застосовувати різні підходи, найпоширеніший на сьогодні - це механізм OLAP. Основною ідеєю є подання інформації у вигляді багатомірних кубів, де осі являють собою виміри (наприклад,час, продукти, клієнти), а в комірках містяться показники (наприклад, сума продажів, середня ціна закупівлі). Користувач маніпулює вимірами й одержує інформацію в потрібному розрізі.

1.2.1.Визначення

OLAP (англ. online analytical processing, аналітична обробка в реальному часі) — технологія обробки інформації, що включає складання і динамічну публікацію звітів і документів. Використовується аналітиками для швидкої обробки складних запитів до бази даних. Слугує для підготовки бізнес-звітів з продажу, маркетингу, в цілях управління. Причина використання OLAP для обробки запитів — це швидкість. Реляційні БД зберігають суть в окремих таблицях, які зазвичай добре нормалізовані. Ця структура зручна для операційних БД , але складні багато табличні запити в ній виконуються відносно повільно. Заявлений час обробки запитів в OLAP складає близько 0.1 % від аналогічних запитів до реляційної БД.

1.2.2.Схема роботи.

OLAP-структура, створена з робочих даних, називається OLAP-куб. Куб створюється із з'єднання таблиць із застосуванням схеми зірки. У центрі «зірки» знаходиться таблиця фактів, яка містить ключові факти, по яких робляться запити. Множинні таблиці з вимірюваннями приєднані до таблиці фактів. Ці таблиці показують, як можуть аналізуватися агреговані реляційні дані. Кількість можливих агрегацій визначається кількістю способів, якими первинні дані можуть бути ієрархічно відображені.

Алгоритм роботи наступний:

1.      Отримання даних у вигляді плоскої таблиці або результату виконання SQL запиту.

2.      Кешування даних і перетворення їх до багатовимірного куба.

3.      Відображення побудованого куба за допомогою крос-таблиці або діаграм і т.п.

У загальному випадку, до одного куба може бути підключена довільна кількість відображень. Загальну схему роботи настільної OLAP системи можна представити таким чином: Розглянемо як подібна система може бути влаштована всередині. Почнемо ми це з того боку, який можна подивитися, тобто з відображень. Відображення, використовувані в OLAP системах, найчастіше бувають двох видів – крос-таблиці і діаграми. Розглянемо крос-таблицю, яка є основним і найбільш поширеним способом відображення куба.

 

1.2.3.Крос-таблиця.

На приведеному нижче малюнку, жовтим кольором відображені рядки і стовпці, що містять агреговані результати, світло-сірим кольором відмічені комірки, в які потрапляють факти і темно-сірим комірки, що містять дані розмінностей.

Таким чином, таблицю можна розділити на наступні елементи, з якими ми і працюватимемо надалі:

Заповнюючи матрицю з фактами, ми повинні діяти таким чином: На підставі даних про вимірювання визначити координати елементу, що додається, в матриці. Визначити координати стовпців і рядків підсумків, на які впливає елемент, що додається. Додати елемент в матрицю і відповідні стовпці і рядки підсумків. При цьому потрібно відзначити те, що отримана матриця буде сильно розрідженою, тому її організація у вигляді двовимірного масиву (варіант, лежачий на поверхні) не тільки нераціональна, але, швидше за все, і неможлива у зв'язку з великою розмірністю цієї матриці, для зберігання якої не вистачить ніякого об'єму оперативної пам'яті. Наприклад, якщо наш куб містить інформацію про продажі за один рік, і якщо в нім буде всього 3 вимірювання – Клієнти (250), Продукти (500) і Дата (365), то ми отримаємо матрицю фактів наступних розмірів: К-ть елементів = 250 х 500 х 365 = 45 625 000.

1.2.4.Підготовка даних

Дані, що зберігаються в таблиці необхідно перетворити для їх використання. Так, в цілях підвищення продуктивності при побудові гіперкуба, бажано знаходити унікальні елементи, що зберігаються в стовпцях, що є вимірюваннями куба. Крім того, можна проводити попередню агрегацію фактів для записів, що мають однакові значення розмінностей. Як вже було сказано вище, для нас важливі унікальні значення, наявні в полях вимірювань. Тоді для їх зберігання можна запропонувати наступну структуру:

При використанні такої структури ми значно знижуємо потребу в пам'яті. Що досить актуально, оскільки для збільшення швидкості роботи бажано зберігати дані в оперативній пам'яті. Крім того, зберігати можна тільки масив елементів, а їх значення вивантажувати на диск, оскільки вони нам будуть потрібні тільки при виведенні крос-таблиці.

Завдяки простоті розуміння OLAP набув широкого поширення як механізм аналізу даних, але необхідно розуміти, що його можливості в області глибшого аналізу, наприклад, прогнозування, украй обмежені. Основною проблемою при рішенні, завдань прогнозування є побудова адекватної моделі. Далі все досить просто. На вхід наявної моделі подається нова інформація, пропускається через неї, а результат і є прогноз. Але побудова моделі є абсолютно нетривіальним завданням. Звичайно, можна закласти в систему декілька готових і простих моделей, наприклад, лінійну регресію або щось аналогічне, досить часто саме так і поступають, але це проблему не вирішує. Реальні завдання майже завжди виходять за рамки таких простих моделей. А отже, така модель виявлятиме тільки явні залежності, цінність виявлення яких незначна, або будуватимуть  неточні прогнози. Правильним підходом до побудови моделей є їх покрокове поліпшення. Почавши з першої, щодо грубої моделі, необхідно у міру накопичення нових даних і застосування моделі на практиці покращувати її. Власне завдання побудови прогнозів виходять за рамки механізмів систем звітності, тому і не варто чекати в цьому напрямі позитивних результатів при застосуванні OLAP.

1.3. Виявлення знань в базах даних

Для вирішення завдань глибшого аналізу застосовується абсолютно інший набір технологій, об'єднаних під назвою Knowledge Discovery in Databases.

Knowledge Discovery in Databases (KDD) – це процес перетворення даних в знання. KDD включає питання підготовки даних, вибору інформативних ознак, очищення даних, застосування методів Data Mining (DM), попередньої обробки даних, інтерпретації отриманих результатів.

Цими знаннями можуть бути правила, що описують зв'язки між властивостями даних (дерева рішень), шаблони (асоціативні правила), що часто зустрічаються, а також результати класифікації (нейронні мережі) і кластеризації даних (карти Кохонена) і так далі Процес Knowledge Discovery in Databases, складається з наступних кроків:

Підготовка вихідного набору даних. Цей етап полягає в створенні набору даних, у тому числі з різних джерел, вибору повчальної вибірки і так далі Для цього повинні існувати розвинені інструменти доступу до різних джерел даних. Бажано мати підтримку роботи з сховищами даних і наявність семантичного шару, що дозволяє використовувати для підготовки вихідних даних не технічні терміни, а бізнес поняття.

Попередня обробка даних. Для того, щоб ефективно застосовувати методи Data Mining, слід звернути увагу на питання попередньої обробки даних. Дані можуть містити пропуски, шуми, аномальні значення. Крім того, дані можуть бути надмірні, недостатні. У деяких завданнях потрібно доповнити дані деякою апріорною інформацією. Наївно припускати, що якщо подати дані на вхід системи в існуючому вигляді, то на виході отримаємо корисні знання. Дані повинні бути якісні і коректні з погляду використовуваного методу DM. Тому перший етап KDD полягає в попередній обробці даних. Більш того, іноді розмірність початкового простору може бути дуже великою, і тоді бажано застосовувати спеціальні алгоритми пониження розмірності. Це як відбір значущих ознак, так і відображення даних в простір меншої розмірності.

Трансформація, нормалізація даних. Цей крок необхідний для приведення інформації до придатного для подальшого аналізу вигляду. Для чого потрібно виконати такі операції, як приведення типів, квантування і інше. Крім того, деякі методи аналізу, які вимагають, щоб початкові дані були в якомусь певному вигляді. Нейронні мережі, скажімо, працюють тільки з числовими даними, причому вони повинні бути нормалізовані.

Data Mining. На цьому кроці застосовуються різні алгоритми для знаходження знань. Це нейронні мережі, дерева рішень, алгоритми кластеризації, встановлення асоціацій і т.д.

Попередня обробка даних. Інтерпретація результатів і застосування отриманих знань в бізнес додатках.

Knowledge Discovery in Databases не задає набір методів обробки або придатні для аналізу алгоритми, він визначає послідовність дій, яку необхідно виконати для того, щоб з початкових даних отримати знання. Даний підхід універсальний і не залежить від предметної області, що є його безперечною цінністю.

1.4. Добування даних

Розвиток методів запису і зберігання даних призвів до бурхливого зростання об'ємів інформації. Об'єми даних настільки значні, що людині просто не під силу проаналізувати їх самостійно, хоча необхідність проведення такого аналізу цілком очевидна, адже в цих "сирих" даних приховані знання, які можуть бути використані при ухваленні рішень. Для того, щоб провести автоматичний аналіз даних, використовується Data Mining.

Добування даних (англ. Data Mining) - виявлення прихованих закономірностей або взаємозв'язків між змінними у великих масивах необроблених даних. Як правило поділяється на задачі класифікації, моделювання та прогнозування.

Інформація, знайдена в процесі застосування методів Data Mining, повинна бути нетривіальною. Знання повинні описувати нові зв'язки між властивостями, передбачати значення одних ознак на основі інших і т.д. Знайдені знання повинні бути застосовні і на нових даних з деякою мірою достовірності. Корисність полягає в тому, що ці знання можуть приносити певну вигоду при їх застосуванні. Знання повинні бути в зрозумілому для користувача не математика вигляді. Наприклад, найпростіше сприймаються людиною логічні конструкції "якщо . то .". Більш того, такі правила можуть бути використані в різних СУБД як SQL-запити. У разі, коли витягнуті знання непрозорі для користувача, повинні існувати методи попередньої обробки , що дозволяють привести їх до вигляду, що інтерпретується.

1.4.1.Застосування методів data mining

Методи data mining поширені в багатьох організаціях через те, що вони можуть зробити істотний внесок в збільшення доходів. Ці методи можуть використовуватися для управління взаєминами з клієнтами. Визначаючи характеристики клієнтів, які можуть звернутися до конкурентів, компанія повинна їх утримати, оскільки зберегти клієнта завжди дешевше, ніж придбати нового.

Маркетинг даних – це інша область, в якій активно застосовується технології data mining. Визначаючи кандидатів для розсилки цільової реклами за допомогою методів data mining можна збільшити продажі, при цьому зменшивши витрати на проведення такої реклами.

Застосування технологій data mining поширено в широкому спектрі індустрій. Телекомунікаційні компанії і компанії, що випускають кредитні картки, є лідерами у вживанні цих технологій для визначення можливих втрат клієнтів. Страхові компанії і фондові біржі теж застосовують ці технології для визначення втрат клієнтів. Ще одна область застосування методів data mining – це медицина; тут передбачається ефективність застосування медикаментів, хірургічних процедур і медичних тестів. Компанії, що діють на фінансовому ринку, визначають ринкові і галузеві характеристики для прогнозу індивідуальних і фондових переваг в найближчому майбутньому. Супермаркети визначають, які продукти продавати і як їх розташувати усередині магазина для досягнення найбільшої кількості продажів. Фармацевтичні фірми використовують сховища даних по хімічних сполуках для знаходження таких комбінацій цих з'єднань, які надалі можна буде використовувати як ліків для лікування різних захворювань.

Ключем до успішного вживання методів data mining служить не просто вибір алгоритму, а майстерність людини, яка проводить побудову моделі, і можливості програми проводити процес моделювання. Інформативність реалізованого проекту data mining залежить від цих чинників більшою мірою, чим від алгоритмів. Існують дві сторони успіху в пошуку даних. По-перше – це чітке і ясне формулювання завдання, яке підлягає рішенню. По-друге – це використання правильних даних. Після вибору даних зі всіх доступних джерел (або навіть придбання даних із зовнішніх джерел) необхідно їх перетворити або згрупувати в певному порядку.

1.4.2.Види моделей

Розглянемо основні види моделей, які використовуються для знаходження нового знання на основі даних сховища. Метою технологи data mining є виробництво нового знання, яке користувач може надалі застосувати для поліпшення результатів своєї діяльності. Результат моделювання – це виявлені відносини в даних. Можна виділити принаймні шість методів виявлення і аналізу знань: класифікація, регресія, прогнозування тимчасових послідовностей (рядів), кластеризація, асоціація, послідовність. Перші три використовуються головним чином для прогнозу, тоді як останні зручні для опису існуючих закономірностей в даних.

 

Класифікація. Ймовірно, найбільш поширеною сьогодні операцією інтелектуального аналізу даних є класифікація. З її допомогою виявляються ознаки, що характеризують групу, до якої належить той або інший об'єкт. Це робиться за допомогою аналізу вже класифікованих об'єктів і формулювання деякого набору правил. У багатьох видах бізнесу першочерговою проблемою вважається втрата постійних клієнтів. Використовуючи класифікацію, можна визначити найефективніші види знижок і інших вигідних пропозицій, які будуть найбільш дієві для тих або інших типів покупців. Завдяки цьому вам вдасться утримати клієнтів, витративши рівно стільки грошей, скільки необхідно.

Регресійний аналіз використовується в тому випадку, якщо відносини між змінними можуть бути виражені кількісно у вигляді деякої комбінації цих змінних. Отримана комбінація далі використовується для прогнозу значення, яке може приймати цільова (залежна) змінна, що обчислюється на заданому наборі значень вхідних (незалежних) змінних .

Прогнозування тимчасових послідовностей дозволяє на основі аналізу поведінки тимчасових рядів оцінити майбутні значення прогнозованих змінних. Звичайно, ці моделі повинні включати особливі властивості часу: ієрархія періодів (декада-місяць-рік або місяць-квартал-рік), особливі відрізки часу (п’яти-шести або семиденний робочий тиждень, тринадцятий місяць), сезонність, свята та інше.

Кластеризація відносяться до проблеми сегментації. Цей підхід розподіляє записи в різні групи або сегменти. Кластеризація в чомусь аналогічна класифікації, але відрізняється від неї тим, що для проведення аналізу не потрібно мати виділеної цільової змінної.

Асоціація застосовується, головним чином, до класу проблем, типовим прикладом яких є аналіз структури покупок. Класичний аналіз структури покупок відноситься до представлення придбання якої-небудь кількості товарів як одиночної економічної операції (транзакції). Оскільки велика кількість покупок здійснюється в супермаркетах, а покупці для зручності використовують корзини або візки, куди і складається важливі товар, то найбільш відомим прикладом знаходження асоціацій є аналіз структури покупки (market-basket analysis).

Послідовність. Традиційний аналіз структури покупок має справу з набором товарів, що представляє одну транзакцію. Варіант такого аналізу зустрічається, коли існує додаткова інформація (номер кредитної карти клієнта або номер його банківського рахунку) для зв'язку різних покупок в єдину тимчасову серію.

Ці основні типи моделей використовуються для знаходження нового знання в сховищі даних. Звернемося тепер до методів, які використовуються для проведення інтелектуального аналізу даних.

1.4.3. Методи аналізу даних

Інтелектуальні засоби аналізу даних використовують наступні основні методи:

      нейронні мережі;

      дерева рішень;

      індукція правил.

Окрім цих методів існують ще декілька додаткових:

      системи міркування на основі аналогічних випадків;

      нечітка логіка;

      генетичні алгоритми;

      алгоритми визначення асоціацій і послідовностей;

      аналіз з виборчою дією;

      логічна регресія;

      еволюційне програмування;

      візуалізація даних.

Комбіновані методи. Часто виробники поєднують вказані підходи. Об'єднання в собі засобів нейронних мереж і технології дерев рішень повинне сприяти побудові точнішої моделі і підвищенню її швидкодії. Програми візуалізації даних в якомусь сенсі не є засобом аналізу інформації, оскільки вони тільки представляють її користувачеві.

Засоби data mining припускають надання допомоги організаціям в знаходженні прихованих залежностей в даних. Отримувані моделі можна використовувати як для прогнозу майбутніх значень, так і для опису поточного стану. Проте, засоби data mining не можуть працювати без супроводу користувачів, які добре розуміють ділову область, самі дані і загальний характер використовуваних аналітичних методів. Результат застосування методів знаходження нового знання може виявлятися в широкому спектрі, від збільшення доходів, до зменшення витрат.

Побудова моделі, це лише один крок в процесі знаходження нового знання. Для здобуття коректних результатів необхідно зібрати і підготувати дані і перевірити модель на реальних прикладах. Найкращу модель можна знайти після побудови моделей різних типів по різних технологіях.

 

Це и все, що необхідно зробити, щоб автоматизувати процес отримання знань. Подальші кроки вже робить експерт, він же ОПР . Интерпретация результатів комп'ютерної обробки покладається на людину. Просто різні методи дають різну інформацію для роздумів. У найпростішому випадку – це таблиці і діаграми, а в складнішому – моделі і правила. Повністю виключити участь людини неможливо, оскільки той або інший результат не має ніякого значення, поки не буде застосований до конкретної предметної області. Проте є можливість тиражувати знання. Наприклад, ОПР за допомогою якого-небудь методу визначив, які показники впливають на кредитоспроможність покупців, і представив це у вигляді правила. Правило можна внести до системи видачі кредитів і таким чином значно понизити кредитні ризики, поставивши їх оцінки на потік. При цьому від людини, що займається власне документами, не вимагається глибокого розуміння причин того або іншого висновку. Основна ідея – перехід від разових і не уніфікованих методів до конвеєрних.

 

 

Розділ 2. Аналітична система Deductor

Deductor - аналітична платформа що дозволяє в стислі терміни створити ефективну систему підтримки ухвалення бізнес-рішень. Завдяки потужному механізмам імпорту, за допомогою Deductor можливе створення єдиної аналітичної надбудови над всіма системами збору і зберігання даних, що існують в компанії (торгові системи, бухгалтерські системи, окремі бази і т.д.). Унікальність даного рішення полягає в тому, що Deductor, при необхідності, автоматично об'єднає дані з розрізнених джерел. Реалізовані в Deductor технології дозволяють на базі єдиної архітектури пройти всі етапи побудови аналітичної системи: від створення сховища даних до автоматичного підбору моделей і візуалізації отриманих результатів. Deductor надає інструментальні засоби, необхідні для вирішення самих різних аналітичних завдань.

Корпоративна звітність, прогнозування, сегментація, пошук закономірностей - ці і інші завдання, де застосовуються такі методики аналізу як OLAP, Knowldge Discovery in Databases і Data Mining.

2.1. Прикладні рішення

      Системи корпоративної звітності. Зручне у використанні сховище даних і гнучкі механізми попередньої обробки, очищення, завантаження, візуалізація дозволяє швидко створювати комплексні системи звітності в стислі терміни.

      Обробка нерегламентованих запитів. Кінцевий користувач може з легкістю отримати відповідь на питання типу "Скільки було продажів товару по групах в Київську область за минулий рік з розбиттям по місяцях?" і проглянути результати найбільш зручним для нього способом.