Поволжский Государственный Университет Телекоммуникаций и Информатики Факультет ИСТ Кафедра ИВТ Современные проблемы информатики и вычислительной техники Учебное пособие Автор: Акчурин Э.А. д.т.н., профессор Самара 2012г. 2 ` Факультет информационных систем и технологий Кафедра «Информатика и вычислительная техника» Автор - д.т.н., профессор Акчурин Э.А. Другие материалы по дисциплине Вы найдете на сайте www.ivt.psuti.ru 3 ` Пособие по дисциплине " Современные проблемы информатики и вычислительной техники" направления 230100 – «Информатика и вычислительная техника».. Рекомендуемая литература: 1. Белов А. Самоучитель разработчика устройств на микроконтроллерах AVR. НиТ, СПб – 2008, 544с. 2. Хартов В.Я. Микроконтроллеры AVR. Практикум для начинающих. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. – 240с. 3. Иванова В.Г., Тяжев А.И. Цифровая обработка сигналов и сигнальные процессоры. Самара: ООО Офорт, 2008г., 262 с. 4. Микроконтроллеры семейства C2000. Texas Instruments. 2011г., 17 с. 5. Embedded Processing Guide. TI, 2009г., 129c 6. Blackfin_RUS. Analog Devices, 2012г., 65 с. 4 ` 1 Интеллектуальные системы 1.1 Методы Data Mining Data Mining (добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989г. Английское словосочетание «Data Mining» пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются словосочетания: просев информации, добыча данных, извлечение данных, а, также, интеллектуальный анализ данных. Более полным и точным является словосочетание «обнаружение знаний в базах данных». Основу Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении: деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам Data Mining нередко относят статистические методы дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов. Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний). Одно из важнейших назначений методов Data Mining состоит в наглядном представлении результатов вычислений, что позволяет использовать инструментарий Data Mining людьми, не имеющих специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой. 1.1.1 Искусственные нейронные сети Искусственные нейронные сети (ИНС) — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети Маккалока и Питтса. После разработки алгоритмов обучения, получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др. ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно 5 ` большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи. С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п. С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации. С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники. С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизма. А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных. Особый интерес ученых и разработчиков сложных управляющих систем к нейросетевым технологиям, как и к другим технологиям ИИ, возник в начале 1980-х (известный ≪японский вызов≫), когда остро встала проблема сверхвысокой производительности вычислительных средств. В основе стратегий ИИ лежит понятие парадигмы — взгляда (концептуального представления) на суть проблемы или задачи и принцип ее решения. Рассматривают две парадигмы искусственного интеллекта. Парадигма эксперта предполагает следующие объекты, а также этапы разработки и функционирования системы ИИ: формализация знаний — преобразование экспертом проблемного знания в форму, предписанную выбранной моделью представления знаний; формирование базы знаний (БЗ) - вложение формализованных знаний в программную систему; дедукция — решение задачи логического вывода на основе БЗ. Эта парадигма лежит в основе применения экспертных систем, систем логического вывода, в том числе на языке логического программирования ПРОЛОГ. Считается, что системы на основе этой парадигмы более изучены. Парадигма ученика, включающая следующие положения и последовательность действий: Обработка наблюдений, изучение опыта частных примеров — формирование базы данных (БД) системы ИИ. Индуктивное обучение — превращение БД в БЗ на основе обобщения знаний, накопленных в БД, и обоснование процедуры извлечения знаний из БЗ. Это означает, что на основе данных делается вывод об общности той зависимости между объектами, которую мы наблюдаем. Основное внимание здесь уделяется изучению аппроксимирующих, вероятностных и логических механизмов получения общих выводов из частных утверждений. Затем мы можем обосновать, например, достаточность процедуры обобщенной интерполяции (экстраполяции), или процедуры ассоциативного поиска, с помощью которой будем удовлетворять запросы к БЗ. Дедукция — по обоснованной или предполагаемой процедуре мы выбираем информацию из БЗ по запросу (например, оптимальную стратегию управления по вектору, характеризующему сложившуюся ситуацию). 6 ` Исследования в рамках этой парадигмы и ее разработка проведены пока слабо, хотя они лежат в основе построения самообучающихся систем управления (ниже будет приведен замечательный пример самообучающейся системы управления — правила стрельбы в артиллерии). Чем база знаний, общий и обязательный элемент системы ИИ, отличается от базы данных? Возможностью логического вывода! Теперь отбросив мистику, мы признаем, что мозг представляет собой нейронную сеть, нейросеть, - нейроны, соединенные между собой, со многими входами и единственным выходом каждый. Нейрон реализует достаточно простую передаточную функцию, позволяющую преобразовать возбуждения на входах, с учетом весов входов, в значение возбуждения на выходе нейрона. Функционально законченный фрагмент мозга имеет входной слой нейронов — рецепторов, возбуждаемых извне, и выходной слой, нейроны которого возбуждаются в зависимости от конфигурации и величины возбуждения нейронов входного слоя. Предполагается, что нейросеть, имитирующая работу мозга, обрабатывает не сами данные, а их достоверность, или, в общепринятом смысле, вес, оценку этих данных. Для большинства непрерывных или дискретных данных их задание сводится к указанию вероятности диапазонов, которым принадлежат их значения. Для большого класса дискретных данных — элементов множеств — целесообразно жесткое закрепление нейронов входного слоя. Распределение величин возбуждения нейронов выходного слоя, а чаще всего нейрон, обладающий максимальной величиной возбуждения, позволяют установить соответствие между комбинацией и величинами возбуждений на входном слое (изображение на сетчатке глаза) и получаемым ответом (что это). Таким образом, эта зависимость и определяет возможность логического вывода вида ≪если — то≫. Управление, формирование данной зависимости осуществляются весами синапсических связей нейронов, которые влияют на направления распространения возбуждения нейронов в сети, приводящие на этапе обучения к ≪нужным≫ нейронам выходного слоя, т.е. служат связыванию и запоминанию