Недостатки алгоритма обратного распространения ошибки

Машинное обучение искусственного интеллекта:

Несмотря на многочисленные успешные применения метода обратного распространения ошибки, оно не является универсальным решением. Больше всего неприятностей приносит неопределённо долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Причиной может быть одна из описанных ниже.

Паралич сети

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага η, но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные.

Локальные минимумы

Обратное распространение использует разновидность градиентного спуска, то есть осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться. Основную трудность при обучении нейронных сетей составляют как раз методы выхода из локальных минимумов: каждый раз выходя из локального минимума снова ищется следующий локальный минимум тем же методом обратного распространения ошибки до тех пор, пока найти из него выход уже не удаётся.

Размер шага

Внимательный разбор доказательства сходимости[3] показывает, что коррекции весов предполагаются бесконечно малыми. Ясно, что это неосуществимо на практике, так как ведёт к бесконечному времени обучения. Размер шага должен браться конечным. Если размер шага фиксирован и очень мал, то сходимость слишком медленная, если же он фиксирован и слишком велик, то может возникнуть паралич или постоянная неустойчивость. Эффективно увеличивать шаг до тех пор, пока не прекратится улучшение оценки в данном направлении антиградиента и уменьшать, если такого улучшения не происходит. П. Д. Вассерман[7] описал адаптивный алгоритм выбора шага, автоматически корректирующий размер шага в процессе обучения. В книге А. Н. Горбаня[8] предложена разветвлённая технология оптимизации обучения.

Следует также отметить возможность переобучения сети, что является скорее результатом ошибочного проектирования её топологии. При слишком большом количестве нейронов теряется свойство сети обобщать информацию. Весь набор образов, предоставленных к обучению, будет выучен сетью, но любые другие образы, даже очень похожие, могут быть классифицированы неверно.

Корпоратив Телекарты на берегу - вопросы без ответов



Понедельник. Берег моря. Шикандос. Перекрывая шум прибоя, в воздухе стрекочут и жужжат насекомые. После хорошего фуршета, в животе издает фуги маринованная рыба, плывущая куда-то вглубь салата из риса, вареных кореньев, трав и фруктов. Именно ради этого события, компании линейных VIP-TOP менеджеров кампании «Телекарта» пожертвовала своими выходным и оказалась здесь, за тысячу километров от родных пенатов и серверов. После десерта, я подхожу к их столику, представляюсь. Гости отвечают.
— Руководитель отделения.
— Руководитель региона, - улыбается в ответ единственная сидящая за столом девушка.
— Заместитель директора по продажам
— Директор по продажам.
— Знаете, мне скоро лететь в Москву по делу, я там буду выступать на хахатоне среди консультантов Интернет-магазинов. И у меня есть один вопрос, которые я бы хотел задать Вам, специалистам, которые наживую работают с клиентами. 
— А вопрос большой? — все так же улыбаясь, спрашивает меня Руководитель региона. 
В ее голосе чувствуется легкое раздражение гостеприимной хозяйки ресторана, которой стыдно перед гостями за поведение своей официантки, посмевшей вмешаться в разговор с высокочтимыми столичными гостями. Но терять мне нечего, отступать некуда - позади море, так что я продолжаю свою попытку заглянуть в таинственный мир настоящей офисной жизни.
— Не большой. Всего 140 знаков.
Руководитель региона, словно извиняясь, переглядывается с сидящими за столом мужчинами. Повисает неловкая тишина, в которой только слышно как жужжит назойливая муха. Я явно не вписываюсь со своим вопросом в их дорожную карту, но и прогнать меня без скандала тоже не можно. Сидящие смотрят друг на друга, Директор по продажам вздыхает, и я понимаю, что перешел с уровня «игнор» на более высокий уровень - «неизбежное зло». 

 — Какой у Вас вопрос?  — выпадает из ступора Руководитель отделения.  
— МТС - 200 каналов. 100 рублей в месяц. Берет не везде. НТВ+ 130 каналов. Те же 100 рублей в месяц. Берет везде. Телекарта. Также берет везде и 130 каналов. Но..
— тут я делаю паузу, потому что знаю, что они знают, что я сейчас скажу.
— ... Но 300 рублей. За что?
Кто-то наливают в свои стаканы сок, кто-то закуривает сигарету.
— Если говорить в конвенциональном контексте без учета текущей EBITDA... — пытается задавить меня терминологией Директор.
— Пардон..., — тут же останавливаю я его. Он замолкает и глядит на меня словно борец суммо, набравший скорость и вдруг наткнувшийся на стену. Мужчина явно отвык, что бы его прерывали на середине слова и упорно вспоминает, что же нужно делать в такой ситуации.
— Пардон. Я бы хотела получить ответ по старшинству снизу вверх. То есть вначале Руководитель отделения, потом Регион, потом с Вашего позволения зам, а потом уже Вы. Видите ли, как только Директор высказывает свой взгляд на вопрос, для нижестоящих это тут же становиться мейнстримом, и они вынуждены давать ответы только в границах заданного сверху ментального вектора. Меня же интересует не ангажированное, а не предвзятое мнение менеджеров «Телекарты». 

РЕМАРКА. Здесь в текст необходимо вставить ответы на поставленный вопрос. Дабы не отнимать драгоценное время во время семинара 5 июня 2017 г. Владивосток, хотелось бы получить ответы от менеджеров «Телекарты» заранее, на нижеуказанный e-mail. 
— Руководитель отделения.
— Руководитель региона.
— Заместитель директора по продажам
— Директор по продажам.

Пример:
Неожиданно к столику подходит мужчина в черном плаще. Он указывает мне на стул. 
— Присаживайтесь, пожалуйста, — он словно читает мысли, мои ноги устали, и я с удовольствием занимаю свободное место.
— Извините, я опоздал к началу. О чем разговор?
— МТС: 200 каналов 100 р. в месяц. Берет не везде. НТВ+ берет везде 130 каналов и 100 р. Телекарта: тоже везде и 130 каналов. Но 300 р за что? 
Он начинает говорить тоном человека, который в 1001 раз произносит одну и ту же мантру.
— У Вас есть телевизор? 
— Да.
— С жидкокристаллическим монитором?
— Да.
— Самый дешевый?
— Нет. - Я запинаюсь, не понимая, куда он клонит.
— У Вас есть телевизор, и при этом не самый дешевый. Это значит, что Вы не нищий человек. Потому что только нищий покупает все самое дешевое, цена для него - единственный определяющий фактор. И я с Вами полностью согласен, что МТС - это дешевый контент, но дешевый контент, это совсем не то, что нужно многим людям. Или возьмем НТВ - у них своя правда. Кто покупает спутниковое НТВ? - Кому НТВ в эфире маловато будет, то есть люди, которые ищут простые ответы на сложные вопросы. И там они их находят. 



— Вы смотрите наш «Корпоратив»? - он неожиданно сменил тему.
— Это где кухарка, сторож и водитель? 
— Да. Психологическое шоу на нулевом. 
— Интересный сериал, мне нравиться.
— Насколько он лучше «Кухни»?
— Ну... - я на мгновенье задумался. — он не лучше, он другой.
— Правильно. «Кухня», это  типичный ситком, как бы пустота в красивой обертке. А «Корпоратив», это мо́кьюментари, где обертки поменьше, а еды для мозга побольше.
 — Там где они в камеру говорят, что думают, вообще мозги сносит.
— А, понял, это где фичуретты, третий сезон. Сказать Вам, в чем главный секрет «Корпоратива»?
 — В телегиде?
Он улыбается. — Ну конечно, наш новый телегид это что-то с чем-то, не зря мы над его концептом целых три месяца работали - такого сейчас нет не у кого. Но главный секрет «Корпоратива» все же не в этих четырех цветных кнопках, а в людях. В данном конкретном случае - в актерах. Кухарка - это не просто добрая женщина. В реальной жизни это очень популярный психолог Татьяна Мужицкая. Водитель - Радислав Гандапас, также широко известная личность в узких кругах офисной богемы и интеллектуального гламура. Сторож - это....
К столику подходит официантка, мужчина замолкает и начинает с нескрываемым наслаждением пить принесенный шоколад. Наконец он откидывается на спинку стула.
— Вы спрашивали, кому нужна Телекарта? - Это те, кого во всем мире называют средний класс, он же - офисный планктон, он же интеллектуальная элита. Они не считают деньги злом, но и не молится на них. Эти люди готовы смотреть и переплачивать за пищу для мозга, не считая категориями: 7 или 8 рублей в день. Телекарта - это канал для тех, кто может себе позволить думать. Кто хочет готовить, любить и воспитывать детей не на древних инстинктах. а используя 50 оттенков серого вещества. Это телевидение тех, чей взор обращен не в прошлое, а кто желает смотреть четче в будущее.

Мужчина смотрит куда-то вдаль моря, затем неожиданно кому-то там машет, встает, дает мне визитку и уходит. Остальные также быстро покидают столик и идут следом. В одиночестве я быстро записываю только что услышанные ответы, пока они еще свежи. Подходит официантка и кладет передо мной счет. Я в недоумении смотрю на нее. Она так же смотрит на меня.
— Это счет. Поели, надо заплатить.
— Но... это не я. Это они. 
— Я не знаю. Они ушли, Вы остались. Кто-то должен заплатить. Или охрану позвать? 
Я беру и изучаю счет. Лобстеры?! Кто заказывал лобстеры?!!! Омары?!! Нога антилопы в ананасовом соку! Какао «Лев-и-а-фан»! - Я смотрю на ценник и понимаю, откуда взялось такое странное название у обыкновенного шоколада. И почему я должен платить за этого Левиафана??? Беру оставленную визитку и начинаю читать.

ТЕЛЕКАРТА
Арт директор
Речкабо Какухонингэн
E-mail: art@tron.ru

Не телефона, ни WhatsApp, ни Skype, ни Viber - ни-че-го. Смотрю на обратной стороне

АТРАКЕЛЕТ
роткерид трА
нэгнинохукаК обакчеР
ur.notr@tra :liam-E

Вот же.... сплошной пивот-атракелет какой-то! А как все хорошо начиналось: мне в Москву по делу... Ну что ж, остается только звонок другу. Смотрю контакты. Набираю КМ. Теперь осталось только ждать.

Коллайдер сломался, на Земле переполюсовка, электроника не работает

Я думаю, мы выполнили свою миссию - угрожающий планете астероид разрушен, планета осталась на своей орбите, океан Соляриса и дальше несет свои волны. Да, мы расколи астероид на несколько кусочков и спасли жизнь на планете. Но один из обломков врезался в Большой Андроидный Коллайдер, в результате чего произошла неконтролируемая кавитационная реакция трития и магнитные полюса земли изменили полярность. Вся электроника вышла из строя.


Вообще, что касается этого коллайдера, то к этому все шло. Помните ученые изначально говорили, что вероятность какой-то глобальной ошибки при его использовании равно одно тысячной процента. Я посчитал: на планете жило 7 мрд людей, 0,001% от этого числа получается 70 тысяч. То есть ученым изначально дали индульгенцию на уничтожение 70 тысяч человек и еще заплатили за это деньги. Веселая однако петрушка получилась... После переполюсовки начались техногенные катастрофы и аварии, пожары и эпедимии. прокатились по всей планете. Через год из 7 миллиардов в живых осталось 900 миллионов, или 16%. Что такое 16%? - Это когда от семьи в 6 человек остается только один. И он, этот один, завидует тем, кто умер.  

Большинство из людей не хотят думать о смерти, а если и думают, то не о своей или своих близких. Им нравятся мифы, где главный герой убивает 20 или 200 своих врагов и в конце-концов побеждает. Он один побеждает, а это 200 или 2000 погибают и никому до них нет дела - они же враги. При этом у этих врагов есть такие же мифы, о таких же своих Героях, убивающих врагов сотнями и даже тысячами. По итогу есть миллионы погибших и с той и с другой стороны. А как и ради чего погибли негеройские миллионы - разве кому-то, кроме их родственников, до этого есть дело? Каждый мечтает и видит себя живым Героем, и никто не хочет умирать глупо и в забвении. 

Смерть цивилизации - это еще страшнее. Все были уверенны, что если будет Аппокалипсис, мы останемся такие как прежде, но победим. Если будем Арамагедон - плохие погибнут, хорошие - нет. Когда придет время Рагнарека - мы выживем и покорим всю Вселенную. Маленькие издержки большого "углеродного шовинизма". Мы не смогли освоить пустыни здесь, и вкладывали огромные ресурсы в то, чтобы узнать, а как нам посадить яблоки на соседней планете. ОООО!!!! Наша планета - это колыбель, в которой нельзя жить вечно! Ну что ж, не хотели жить здесь вечно, было плохо, тесно и душно - теперь остается только умереть. И хотя бы перед смертью осознать - что это была единственная планета во всей Вселенной, предназначенная и предначертанная биологическому виду Homo Ludens. Что в любом другом месте был бы или не тот воздух, или не то притяжение, или какое-то другое магнитное поле, или и воздух, и притяжение, и магнитное поле - все сразу было бы не тем. У нас был свой дом, а мы все мечтали о чужом, надеясь, что там, где-то далеко-далеко есть место, где все слаще, толше и при этом никого в этом раю нет. И что мы сможем пролететь в своей чудовищной гордыни громадные расстояния и посееть в новом месте все доброе и светлое, то есть то, что так и не смогли взрастить у себя дома...

А возможно я не прав, и впереди нас ожидают события не планетарного, а иного, еще более глобального масштаба. На эту мысль наводит то, что за последние 200 лет цикл ближайшей к нам звезды изменился и составил не 12 а 10 лет. Такое ощущение, что оно, Солнце, словно бы готовиться к какому-то событию. И каким бы не было восприятие этого события с точки зрения звездной эволюции, любой качественный скачок в измении параметров звезды по имени Солнце приведет к полному уничтожению всей нашей цивилизации со всеми ее пророками.
Цифровое творчество Личный блог: 8 930 Р. Полезный и необходимый подарок себе любимому / любимой.
Или родным и близким.
Подробнее

Earthquakes can be predicted.

Earthquakes must be predicted.

Small donationTHANK YOU