Вивчення параметрів за допомогою методу максимальної правдоподібності: дискретні моделі

Зміст

Вступ……………………………………………………………………………………….3

1. Вивчення параметрів за допомогою методу максимальної правдоподібності:

 дискретні моделі……………………………………………………..…………….4

2.  Наївні Байєсівські моделі………………………………………………………...7

     3. Нейронні мережі…………………………………………………………………..10

3.1. Структура нейронних мереж………………………………………...13

3.2. Багатошарові нейронні мережі з прямим розповсюдженням….......17

3.3. Визначення в процесі навчання структур нейронних мереж…….....20

3.4. Практичний приклад: розпізнавання рукописних ЦИФР………….21

     4. Програмна реалізація наївної байєсівської моделі……………………………24

4.1. Алгоритм навчання………………………………………………….24

4.2. Опис програми……………………………………………………….24

3. Інструкція користувачеві………………………………………….......25

Висновок………………………………………………………………………………..27

Список використаних джерел…………………………………………………………..28

Додаток…………………………………………………………………………………...29

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Вступ

Ідея створення штучної подоби людини для вирішення складних завдань і моделювання людського розуму зародилася ще в давні часи. Але родоначальником штучного інтелекту вважається Раймонд Раймунд, який в 9 столітті спробував створити механічну машину для вирішення різних завдань, на основі розробленої ним класифікації понять. І після нього було багато спроб продовження цієї ідеї створення щось схожого на розум.

Остаточне народження штучного інтелекту як наукового напрямку відбулося тільки після створення ЕОМ у 40-х роках ХХ століття, людям вже тоді було цікаво, чи можуть ЕОМ навчатися. Якщо ми зрозуміємо, як запрограмувати їх для навчання, щоб вони покращувались автоматично з досвідом, то результат може бути вражаючим. Уявіть комп'ютери, які навчаються за медичними рекомендаціями, можуть визначити, які види лікування більш ефективні для нових хвороб; або будинки, що навчаються оптимізовувати енергетичні витрати, грунтуючись на звичайних даних вживання енергії його мешканцями; або персональна комп'ютерна програма, яка вивчає зміни інтересів своїх користувачів, щоб помістити на передній план ті новини з сьогоднішніх ранкових газет, які б були доречні конкретному користувачеві. Уміння навчити комп'ютер могло б відкрити нові рівні знань, компетентності, продуктивності. І точне розуміння інформаційної обробки алгоритмів для машинного навчання могло б привести також до кращого розуміння людської навчальної спроможності.

Перед комп’ютером ставиться  наступна задача. Є безліч об'єктів (ситуацій) і   безліч можливих відповідей (відгуків, реакцій). Існує деяка залежність між відповідями і об'єктами, але вона невідома. Відома тільки кінцева сукупність прецедентів - пар «об'єкт, відповідь»,так звана навчальна вибірка. На основі цих даних потрібно відновити залежність, тобто побудувати алгоритм, здатний для будь-якого об'єкта видати досить точну відповідь. Для вимірювання точності відповідей певним чином вводиться функціонал якості.

Дана постановка є  узагальненням класичних задач  апроксимації функцій. У класичних задачах апроксимацій об'єктами є дійсні числа або вектори. У реальних прикладних задачах вхідні дані про об'єкти можуть бути неповними, неточними, нечисловими, різнорідними. Ці особливості призводять до великої різноманітності методів машинного навчання.

 

 

1. Навчання параметрів за допомогою методу максимальної правдоподібності: дискретні моделі.

 

Розглянемо один із методів  навчання – це навчання параметрів за допомогою методу максимальної правдоподібності: дескретної моделі. Цей метод попробуємо розглянути на основі елементарного прикладу із льодяниками.

Припустимо, що ми купуємо  пакет цукерок з лимонними  і вишневими льодяниками, випущений  новим виробником, співвідношення лимонних і вишневих льодяників в продукції якого повністю невідомо; це означає, що частка тих та інших льодяників може вимірюватися будь-яким значенням від 0 до 1. В даному випадку доводиться розглядати континіум гіпотез. Крім того, в цьому випадку параметром, який буде позначатися як 9, є частка вишневих льодяників, а гіпотезою є h0 (частка лимонних льодяників виражається як 1-9). Якщо прийнято припущення, що всі можливі значення часткового складу апріорно є рівно-імовірними, то стає обґрунтований підхід на основі гіпотези з максимальною правдо -подібністю. Якщо ми промоделюємо цю ситуацію за допомогою байєсівської мережі, то буде потрібна тільки одна випадкова змінна, Flavor(pізновид цукерки, випадково вибраної із пакета). Ця змінна приймає значення cherry і lime, де ймовірність cherry дорівнює Ө. Тепер припустимо, що розгорнуто N цукерок, з яких C виявились вишневими льодяниками, a l = N-c були лимонними льодяниками. Згідно рівнянню (1) , правдоподібність цього конкретного набору даних виражається наступною формулою:

 

                         P(d|hѲ ) =                                             (1)

   

Гіпотеза з максимальною правдоподібністю задається значенням , яке максимізує цей вираз. Таке ж значення може бути отримано шляхом максимізації значення логарифмічної правдоподібності:

 

L(d|hѲ )  = log P(d|hѲ ) = .                            (2)

 

Взявши логарифми, ми перетворили добуток в суму даних, які зазвичай легше максимізувати. Щоб знайти значення максимальної правдоподібності , диференціюємо L по і прирівняємо отриманий вираз до нуля наступним чином:

 

                            

                                                (3)

 

Таким чином, якщо описати цей вираз на природній мові, то гіпотеза з максимальною правдоподібністю hML стверджує, що фактична частка вишневих льодяників в пакеті дорівнює спостережуваній частці цих льодяників у цукерках, розгорнутих досі!

На перший погляд створюється  враження, що ми виконали великий обсяг роботи лише для того, щоб відкрити цей очевидний факт. Але в дійсності описаним вище шляхом був створений один із стандартних методів навчання параметрів з максимальною правдоподібністю, який описаний нижче.

 

1. Записати вираз для правдоподібності даних як функції від параметра (параметрів).
2. Знайти похідну логарифмічної правдоподібності по відношенню до кожного параметру.
3. Знайти такі значення параметрів, щоб похідні стали рівними нулю.

 

Зазвичай найскладнішим  є останній з цих етапів. У розглянутому прикладі він був найпростішим, але нижче буде показано, що в багатьох випадках доводиться вдаватися до використання ітераційних алгоритмів пошуку рішень або інших числових методів оптимізації. Крім того, цей приклад ілюструє важливу проблему, яка в цілому характерна для навчання з урахуванням максимальної правдоподібності: якщо набір даних досить малий і тому деякі події ще не спостерігалися (наприклад, не було виявлено ні однієї цукерки з вишневим льодяником), то гіпотеза з максимальною правдоподібністю присвоює цим подіям нульову ймовірність. Для запобігання виникнення цієї проблеми використовувалися різні прийоми, такі як ініціалізація лічильників для кожної події значенням 1, а не 0.

Розглянемо ще один приклад. Припустимо, що цей новий виробник цукерок хоче дати споживачеві невелику підсказку і використовує для цукерок обгортки червоного і зеленого кольорів. Значення змінної Wrapper ,  відповідний колір обгортки для кожної цукерки, вибирається по імовірним законам, в відповідності до деяких невідомих умов розподілу, але в залежності від різновидів цукерок. Відповідна імовірна модель показана на рис. 2,б. Зверніть увагу на те, що вона має три параметри: Ө, Ө1 і Ө2. З використанням цих параметрів правдоподібність події, пов'язаної, скажімо, з виявленням вишневого льодяника в зеленій обгортці, можна визначити на основі стандартної семантики для байєсівських мереж.

 

 

                               а)                                            б)

              Рис.1 Навчання параметра за допомогою Байєсівської мережі.

  

Тепер припустимо, що розгорнуто N цукерок, з яких с виявились вишневими

льодяниками, а l – лимонними, а кількість обгорток виявилася такою: rс вишневих льодяників мали червоні обгортки, а gс – зелені, тоді як rl – лимонних льодяників мали червоні обгортки, а gl – зелені. Правдоподібність цих даних виражається наступним чином:

 

    P(d | hӨ ,Ө1, Ө2 ) = .                                (4)

 

Рішення для Ө залишається  таким же, як і колись. Рішення  для Ө1, імовірності того, що вишневий льодяник має червону обгортку, являє собою спостережливу частку вишневих льодяників в червоних обгортках, і аналогічним чином визначається рішення для Ө2.

 Дані результати є дуже зручними, і легко показати, що їх можна поширити на будь-яку байєсівську мережу, умовні імовірності в якій представлені у вигляді таблиці. Найбільш важливий висновок полягає в тому, що при наявності повних даних задана навчання параметрів з максимальною правдоподібністю для байєсівської мережі розбивається на окремі завдання навчання, по одній для кожного параметра. Ще один важливий висновок полягає в тому, що значення параметра для будь якої змінної при наявності її батьківських значень являють собою частоти значень змінних для кожного набору батьківських значень.

 

2. Наївні Байєсівські моделі

 

 

Розглянемо  ще  один  метод  навчання  —  мультиноміальний  наївний  метод  Байеса(Naive Bayes — NB). У цьому методі імовірність того, що документ d належить класу c, обчислюється в такий спосіб. 

                                                                                      (5)

Тут  P(tk|c) — умовна  імовірність,того  що  термін  tk з'явиться в документі з класу c, P(tk |c) — міра  правильного розпізнавання класу c  по  терміну tk,  P(c) — апріорна  імовірність того,  що  документ  належить  класу c.  Якщо терміни документа не  дозволяють  чітко відокремити один  клас  від іншого,  то  варто вибрати той з них,  що  має більш високу апріорну імовірність. Послідовність < t1, t2, … tn >  складається з лексем документа d, що є частиною словника,  використаного  для класифікації,  а nd—  кількість  таких  лексем  у  документі d.  Наприклад, послідовність < t1, t2, … tnd > для документа Beijing and Taipei join the WTO,  що складається з одного  речення, може мати вигляд <Beijing, Taipei, join, WTO>, де nd= 4, якщо видалити стоп-слова and і the. Мета  класифікації  текстів — знайти  найкращий клас  для документа.  У методі  NB  найкращим  вважається найбільш ймовірний клас, чи клас сmap, що має максимальну апостеріорну імовірність(MAP).

 

                                                                                          

                                      

                                        (6)

                                                                                       

 

Ми пишемо , а не P, тому що не знаємо справжніх параметрів P(c) і , а можемо лише оцінити їх за допомогою навчальних множин.

У рівності (6) перемножуються кілька умовних імовірностей, по одній для кожного значення . Це може призвести до переповнення машинної пам'яті і втрати значущих розрядів. Отже, краще замінити добуток імовірностей додаванням їх логарифмів. Клас з найбільшим значенням логарифма імовірності залишається найбільш ймовірним, тому що log(xy) = log(x) + log(y) і логарифмічна функція монотонна. Отже, у наївному методі Байєса насправді потрібно знайти точку максимуму наступної функції

Рівність (7) допускає просту інтерпретацію. Кожен логарифм умовної імовірності |c) — це вага, що вказує, наскільки важливий термін t_k для класу c. Аналогічно, апріорна імовірність — це вага, що характеризує відносну частоту класу c. Ті класи, що зустрічаються більш часто, частіше є правильними, ніж рідкісні. Таким чином, клас, сума логарифмів імовірностей і вага термінів для якого має максимальне значення є аргументом на користь того, що документ належить цьому класу.

Як оцінити імовірності  і |c) ? Спочатку спробуємо одержати оцінку максимальної правдоподібності, яка є відносною частотою і відповідає найбільш вірогідній величині кожного параметру при заданих навчальних даних. Для апріорних імовірностей оцінка має наступний вигляд

                                                                                                             (8)

Тут — кількість документів у класі c, а — загальна кількість документів в колекції.

Оцінимо умовну імовірність  |c) як відносну частоту терміна t у документі, що належить класу c

                                                    

|c)= ,                                           (9)

Тут — кількість появ терміна t у навчальних документах із класу c з урахуванням багаторазових появ терміна в документі. Ця оцінка заснована на припущенні про позиційну незалежність: умовні імовірності появи терміну однакові незалежно від позиції цього терміну в документі і враховують тільки кількість появ терміну в документі.

З оцінкою максимальної правдоподібності пов'язана наступна проблема: якщо пара термін-клас не зустрічаються в навчальних даних, то відповідно і оцінка даного терміну для класу дорівнює нулю. Наприклад, якщо термін WTO у навчальних даних зустрічається тільки в документах класу China, то оцінка цього терміну для інших класів, наприклад, класу UK, дорівнюють нулю.

                                         

|UK)=0.                                                (10)

Тепер умовна імовірність  класу UK щодо документа Britain is a member of the WTO, що складається з одного речення, дорівнює нулю, оскільки в рівності (4.1) ми перемножуємо умовні імовірності для всіх термінів. Очевидно, що модель повинна привласнювати класу UK високу імовірність, оскільки в пропозиції зустрічається термін Britain. Втім, не можна просто відкинути нульову імовірність для терміна WTO, незалежно від того наскільки багато є свідчень на користь класу UK, забезпечених іншими ознаками. Ця оцінка дорівнює нулю через рідкість терміна. Навчальні дані ніколи не бувають великими настільки, щоб частота рідких термінів оцінювалася адекватно, як, наприклад, частота терміна WTO у документах класу UK.

Для того щоб позбутися від нуля, ми використовуємо згладжування Лапласа (Laplace smoothing), просто додаючи одиницю  до кожної частоти.

                                                                                   (11)

 

Тут = |V| — кількість термінів у словнику. Згладжування Лапласа можна інтерпретувати як апріорний рівномірний розподіл (кожен термін зустрічається в кожнім класі по одному разі), що потім уточнюється на основі навчальних даних, що надходять.

        Ґрунтуючись на зразках, приведених у табл. 1 і зазначених нижче параметрах, потрібно класифікувати тестовий документ.

Таблиця 1.

	DocID	Слова в документі	c=Chine
Навчальна множина	1	Chinese Beijing Chinese	так
	2	Chinese Chinese Shanghai	так
	3	Chinese Makao	так
	4	Tokio Japan Chinese	ні
Тестовий документ	5	Chinese Chinese Chinese Tokio Japan

 

(c)=3/4, ( 6/14=3/7,

(Tokio|c)= =1/14,

2/9,

(Tokio| )= =2/9/

Знаменники рівні (8 + 6) і (3 + 6), оскільки довжина тексту text_c і рівні 8 і 3 відповідно, а константа B дорівнює 6, тому що словник складається з шести термінів. Таким чином,

Отже, класифікатор віднесе  тестовий документ до класу c = China. Причина  такої класифікації полягає в тім, що три позитивних індикатори входження терміна Chinese у документ d₅ переважують негативні індикатори термінів Japan і Tokio.

 

3. Нейронні мережі

 

Здатність до навчання є  фундаментальною властивістю мозку. У контексті ШНМ (штучних нейронних  мереж) процес навчання може розглядатися як налаштування архітектури мережі і вагів зв’язків для ефективного  виконання спеціального завдання. Зазвичай нейронна мережа повинна настроїти ваги зв’язків за наявною навчальною вибіркою. Функціонування мережі покращується із ітеративним налаштуванням вагових коефіцієнтів. Властивість мережі навчатися на прикладах робить їх привабливішими в порівнянні із системами, які наслідують певну систему правил функціонування, сформульовану експертами.

Для конструювання процесу  навчання, перш за все, необхідно мати модель зовнішнього середовища, в  якій функціонує нейронна мережа, —  знати доступну для мережі інформацію. Ця модель визначає парадигму навчання. По-друге, необхідно зрозуміти, як модифікувати вагові параметри мережі — які правила навчання управляють процесом налаштування. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування вагів. Існують три парадигми навчання: «з вчителем», «без вчителя» (самонавчання) і змішана.

У першому випадку  нейронна мережа має в своєму розпорядженні  правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги настроюються так, щоб мережа проводила відповіді якомога ближчі до відомих правильних відповідей.

Посилений варіант навчання з вчителем передбачає, що відома тільки критична оцінка правильності виходу нейронної мережі, але не самі правильні  значення виходу. Навчання без вчителя  не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. В цьому випадку розкривається внутрішня структура даних або кореляції між зразками в системі даних, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина вагів визначається за допомогою навчання з вчителем, тоді як остання виходить за допомогою самонавчання.

Теорія навчання розглядає  три фундаментальні властивості, пов’язані  з навчанням за прикладами: ємність, складність зразків і обчислювальна  складність. Під ємністю розуміється, скільки зразків може запам’ятати мережа, і які функції і межі ухвалення рішень можуть бути на ній сформовані. Складність зразків визначає число навчальних прикладів, необхідних для досягнення здатності мережі до узагальнення. Дуже мале число прикладів може викликати «перенавчання» мережі, коли вона добре функціонує на прикладах навчальної вибірки, але погано — на текстових прикладах, які підлягають тому ж статистичному розподілу. Відомі 4 основних типи правил навчання: корекція за помилкою, навчання Больцмана, правило Хебба і навчання методом змагання.

Правило корекції за помилкою.

При навчанні з вчителем для кожного вхідного прикладу заданий  бажаний вихід d. Реальний вихід мережі  може не збігатися з бажаним. Принцип корекції за помилкою при навчанні полягає у використанні сигналу (d-y) для модифікації вагів, що забезпечує поступове зменшення помилки. Навчання має місце тільки у разі, коли перцептрон помиляється. Відомі різні модифікації цього алгоритму навчання.

Навчання Больцмана.

Є стохастичним правилом навчання, яке виходить з інформаційних теоретичних і термодинамічних принципів. Метою навчання Больцмана є таке налаштування вагових коефіцієнтів, при якому стани видимих нейронів задовольняють бажаний розподіл вірогідності. Навчання Больцмана може розглядатися як спеціальний випадок корекції за помилкою, в якому під помилкою розуміється розбіжність кореляцій полягань в двох режимах .

Правило Хебба.

Найстарішим навчальним правилом є постулат навчання Хебба. Хебб опирався на такі нейрофізіологічні  спостереження: якщо нейрони з обох боків синапсу активізуються одночасно і регулярно, то сила синаптичного зв’язку зростає. Важливою особливістю цього правила є те, що зміна синаптичної ваги залежить тільки від активності нейронів, які зв’язані даним синапсом. Це істотно спрощує ланцюги навчання в реалізації вертикально-випромінюючих лазерів.

Навчання методом  змагання.

На відміну від навчання Хебба, в якому безліч вихідних нейронів можуть збуджуватися одночасно, при  навчанні змагання вихідні нейрони  змагаються між собою за активізацію. Це явище відоме як правило «переможець бере все». Подібне навчання має місце в біологічних нейронних мережах. Навчання за допомогою змагання дозволяє кластеризувати вхідні дані: подібні приклади групуються мережею відповідно до кореляцій і подаються одним елементом. При навчанні модифікуються тільки ваги нейрона, що «переміг». Ефект цього правила досягається за рахунок такої зміни збереженого в мережі зразка (вектора вагів зв’язків нейрона, що «переміг»), при якому він стає трохи ближчим до вхідного прикладу

 

3.1. Структура нейронних мереж

Існують дві основні  категорії структур нейронних мереж: ациклічні мережі, або мережі з  прямим розповсюдженням, і циклічні, або рекурентні, мережі. Мережа з прямим розповсюдженням представляє певну функцію її поточних вхідних даних, тому не має внутрішнього стану, відмінного від самих ваг. Рекурентна мережа, з іншого боку, подає свої вихідні дані назад на свої власні входи. Це означає, що рівні активації мережі утворюють динамічну систему, яка може досягати стійкого стану, або переходити в коливальний режим, або навіть проявляти хаотичну поведінку. Більше того, відгук мережі на конкретні вхідні дані залежить від її початкового стану, який, у свою чергу, може залежати від попередніх вхідних даних. Тому рекурентні мережі (на відміну від мереж з прямим розповсюдженням) можуть моделювати короткочасну пам'ять. Це означає, що вони є більш цікавими об'єктами для використання в якості моделей мозку, але разом з тим є більш важкими для розуміння.

Рис. 1 – Базова архітектура нейронних мереж.

 

Проаналізуємо більш  уважно твердження про те, що мережа з прямим поширенням представляє  функцію від її вхідних даних. Розглянемо просту мережу, показану на рис.3 , яка складається з вхідних елементів, двох прихованих елементів і одного вихідного елемента (щоб спростити розглянуту схему, в даному прикладі видалені елементи, на які подається зсув). Якщо заданий вектор вхідних даних х = (xl,  х2), активації вхідних елементів приймають вид (а1, а2) = (х1, х2), а мережа обчислює таке значення:

 

а5 = g (W1, 5а3 + W4, 5а4 ) =

                                   =g(W3, 5g(W1, 3a1, + W2, 3a2) + W4, 5g(W1, 4a1, + W1, 4a2)).   (12)

 

Таким чином, виразивши  вихідне значення кожного прихованого  елементу як

функцію його вхідних  значень, ми показали, що вихід всієї мережі, а5, є функцією від її входів. Крім того, ми показали, що ваги в мережі діють як параметри цієї функції; якщо застосувати запис w для позначення параметрів, то можна стверджувати, що мережа обчислює функцію hw (x). Коректуючи ваги, можна змінювати функцію, представлену мережею. Саме так відбувається навчання в нейронних мережах.

Рис. 3 Дуже проста нейронна мережа.

Нейронна мережа може використовуватися для класифікації або регресії. Для булевої класифікації з безперервними вихідними даними (наприклад, формованими за допомогою сигмоїдальних елементів) зазвичай прийнято застосовувати один вихідний елемент, в якому значення, що перевищує 0.5, інтерпретується як приналежне до одного класу, а значення нижче 0.5 - як приналежне до іншого. Для k - сторонньої класифікації можна розділити діапазон одного вихідного елемента на до частин, але частіше використовується структура мережі з до окремими вихідними елементами, притому що значення на кожному з них являє відносне правдоподібність конкретного класу на підставі поточних вхідних даних. Мережі з прямим розповсюдженням зазвичай розміщуються по верствам, таким, що кожен елемент отримує вхідні дані тільки від елементів, що відносяться до безпосередньо попереднього шару. У наступних двох підрозділах розглядаються одношарові мережі, які не мають прихованих елементів, і багатошарові мережі, які мають один або декілька шарів прихованих елементів.

 

Одношарові  нейронні мережі з прямим розповсюдженням (персептрони)

 

Мережа, в якій всі  вхідні елементи з'єднані безпосередньо з вихідними елементами, називається одношаровою нейронною мережею, або мережею персептрона. Оскільки кожен вихідний елемент є незалежним від інших (кожна вага впливає тільки на один з виходів), в нашому дослідженні можна обмежитися розглядом персептронів з єдиним вихідним елементом, як показано на рис. 4, а. Почнемо з дослідження простору гіпотез, який може бути представлений за допомогою персептрона. Якщо застосовується порогова функція активації, то персептрон може розглядатися як  деяка булева функція. Крім елементарних булевих функцій AND, OR і NOT , персептрон дозволяє представляти дуже компактно деякі вельми "складні" булеві функції. Наприклад, мажоритарна функція, яка виводить 1, тільки якщо 1 присутній більше ніж на половині з її n входів, може бути представлена ​​з допомогою персептрона, в якому кожне значення wj = l, а порогове значення w0 = n / 2.

У дереві рішень для представлення  цієї функції треба було б O( ) вузлів.

 

 

Рис. 4 Властивості мережі персептрона:  мережа персептрона, що складається з трьох вихідних елементів персептрона, в яких спільно використовуються п'ять вхідних елементів.

На жаль, існує також  багато булевих функцій, які не можуть бути представлені за допомогою порогового персептрона. Розглядаючи рівняння (13), можна виявити, що порогів персептрон повертає 1 тоді і тільки тоді, коли зважена сума його вхідних даних (включаючи зсув) є позитивною:

 

                                   

                                         (13)

Отже, W ∙ х = 0 визначає гіперплоскість в просторі вхідних даних, тому персептрон повертає 1 тоді і тільки тоді, коли вхідні дані знаходяться з одного боку від цієї гіперплощини. За такої причини порогів персептрон називають лінійним роздільником. На рис. 5, а, б показана така гіперплоскість (яка у двох вимірах є лінією) для подання з допомогою персептрона функцій AND і OR від двох вхідних значень. Чорні кружки позначають точки в просторі вхідних даних, де значення цієї функції дорівнює 1, а білі кружки - точки, де це значення дорівнює 0. Персептрон здатний представити ці функції, оскільки є якась лінія, яка відокремлює всі білі гуртки від усіх чорних гуртків. Такі функції називаються  лінійно роздільні. На рис.5, в показаний приклад функції, яка не є лінійно роздільна, - функції XOR. Безумовно, що пороговий персептрон не дозволяє визначити в процесі навчання цю функцію. Взагалі кажучи, порогові персептрони здатні уявити тільки лінійно роздільні функції. Але такі функції складають лише невелику частину всіх функцій. Сигмоїдальні персептрони характеризуються аналогічними обмеженнями, з тією поправкою, що вони представляють тільки "м'які" лінійні роздільники.

 

 

Рис. 5. Ілюстрація властивості лінійно роздільних порогових персептронів.

 

Незважаючи на їх обмежену виразну потужність, порогові персептрони мають деякі переваги. Зокрема, існує простий алгоритм навчання, що дозволяє виконати підгонку ваг порогового персептрона до будь якої лінійно роздільної множини. В основі цього алгоритму, а в дійсності в основі більшості алгоритмів для навчання нейронних мереж, лежить така ідея, що в процесі навчання необхідно коригувати ваги в мережі для мінімізації деякого критерію вимірювання помилок у навчальній множині. Таким чином, задача навчання формулюється як деяка задача оптимізаційного пошуку в просторі ваг. "Класичним" критерієм виміру помилок є сума квадратичних помилок, яка використовувалася в тому числі  і в алгоритмі лінійної регресії. Квадратична помилка для єдиного навчального прикладу з вхідними даними х і істинними вихідними даними і визначається наступним чином: