Примеры построения регрессионных моделей

Пример географических наблюдений. Зависимость тем­пературы воздуха от широты города[28]

Определить зависимость температуры воздуха от широты города.

Статистические данные метеорологических наблюдений позволяют высказать гипотезу о том, что средняя темпера­тура зависит от широты города и может быть описана неко­торой математической формулой.

Регрессионный анализ показал, что зависимость средней температуры от широты города является квадратичной, так как R² = 0,98, что ближе к 1, чем R² для линейной за­висимости. Используя зависимость у = 0,0367je² - 4,9784л: + + 173,59 можно восстановить значение средней температу­ры для города, находящегося на 50-й широте (16,42 °С), и высказать прогноз средней температуры для города, находя­щегося на 70-й (4,9 °С) или 40-й (33,2 °С) широте. Если представится возможность получить данные о температуре на этих широтах, то можно проверить точность модели и убедиться в достоверности (или ошибочности) данных, кото­рые получены при ее использовании. Во втором случае новый набор статистических данных позволит уточнить мо­дель или ее коэффициенты и предоставит возможность для более точного прогноза температуры.

Экологический пример. Медицинская статистика

Определить зависимость частоты заболеваемости жителей города бронхиальной астмой от качества воздуха. Очевидно, чем хуже воздух, например, выше концентрация С угарного газа в атмосфере, тем больше хронических больных Р на 1000жителей.

Статистические данные являются усредненными и при­ближенными, их собирают в разных городах в течение дли­тельного времени. Далее данные анализируют и обобщают.

Квадратичная зависимость Р(С):

Далее регрессионная модель может быть использована для восстановления значений и для прогнозирования забо­леваний.

Экономический пример. Темпы прироста показателей банковского сектора

Представить экономические показатели в табличном виде и с помощью диаграмм (журнал «Итоги» 2005, № 47). Та­кую информацию анализируют специалисты банковского дела, финансисты и экономисты.

Социальные опросы

Опросы разных категорий населения страны проводят для того, чтобы выявить, например, проблемы трудоустрой­ства, места размещения магазинов, школ и детских садов, мнения избирателей перед выборами и т. п. Анализ резуль­татов опросов позволяет принять правильные решения по тому или иному вопросу. Выбор будущей профессии являет­ся одним из важных решений, принимаемых человеком в своей жизни. Поэтому ответы на вопрос: «Какой фактор яв­ляется для вас наиболее значимым при выборе профессии, и, соответственно, вуза?» (Журнал «Обучение и карьера», 2006, № 4) представляют интерес для многих специалистов.

Математический эксперимент

Для игрального кубика идеальной формы выпадение чи­сел от 1 до б будет равновероятным при числе опытов, стре­мящемся к бесконечности. То же справедливо для идеальной монеты, после подбрасывания она с одинаковой вероятно­стью Р = 1/2 будет падать на обе стороны (орел или решка). Чтобы убедиться в этом, можно провести эксперимент с боль­шим числом опытов. Результаты такого эксперимента приве­дены в следующей таблице. Ниже приведен фрагмент табли­цы одного из опытов. Всего было выполнено 14 серий опытов (с использованием случайной функции MS Excel).

В следующей таблице приведены результаты обработки результатов 14 серий опытов по 200 бросков в каждой се­рии. В последнем столбце вычислены среднее количество выпадений орла и решки и их средние вероятности. Дейст­вительно, вероятности событий близки — орел выпадал с ве­роятность 0,51, а решка — 0,49, что согласуется с теорети­ческими данными.

Естественно-научный эксперимент [28]

Пусть проводится эксперимент: последовательно бросают тяжелый шарик с 1, 2, 3, ..., 10 этажа, замеряют высоту на­чального положения шарика и фиксируют время падения. По результатам эксперимента составляют таблицу. В нее до­бавляют расчетные значения времени, вычисленные по из­вестной формуле:

где t_{расчетное} = - зависимость времени падения тела на землю от первоначальной высоты Н без учета сопротивле­ния воздуха, g - ускорение свободного падения.

Для вычисления t_{расчетноt} в MS Excel была использована функция извлечения квадратного корня из числа — КОРЕНЬ(Х):

=КОРЕНЬ((2*А2/9,81)),где А2 — адрес ячейки, содержащей значение высоты.

Сравнение опытных и расчетных данных таблицы позво­ляет сделать вывод об адекватности использованной модели зависимости времени падения тела на землю от первонача­льной высоты Н без учета сопротивления воздуха. Этот вы­вод можно сделать, проанализировав отклонение опытных данных от расчетных значений, полученных с помощью встроенной функции «Среднее отклонение» СРОТКЛ, кото­рая возвращает среднее абсолютных значений отклонений точек данных от среднего. СРОТКЛ является мерой разброса множества данных.

Понятие базы данных. Системы управления базами дан­ных. Создание, ведение и использование баз данных при решении учебных и практических задач.

Любой из нас, начиная с раннего детства, многократно сталкивался с бытовыми аналогами баз данных. Это — все­возможные справочники, энциклопедии и т. п., и самый по­пулярный из всех — телефонный. Записная книжка — тоже «база данных», которая есть у каждого из нас. Большая или маленькая, простая или многофункциональная, она — обя­зательный элемент деловой жизни любого человека. Где бы мы хранили имена, телефоны, адреса, даты рождения и пр. своих многочисленных друзей, знакомых, деловых партне­ров, непосредственных начальников, коллег и т. д., если бы не было записных книжек? В необходимых случаях мы об­ращаемся к ней, чтобы получить нужные сведения.

Потребность структурировать накопленную или накапли­вающуюся информацию (организовывать массивы данных в определенном порядке и последовательности, с определен­ной обработкой этих данных), содержащую совокупность сведений в какой-либо предметной области, возникла у че­ловечества давно. Всевозможные справочники и энциклопе­дии уже в прошлом веке были широко распространены. По­добные «базы данных» и базы данных настоящего време­ни — это принципиально разные вещи, но их объединяет одна главная идея — структурирование данных по како­му-либо основанию.

Другими словами, база данных(БД) — это организован­ная совокупность структурированных данных в какой-либо предметной области.

Развитие технологии «баз данных» привело к созданию компьютерных баз данных, которые являются основой упо­рядочивания, сортировки, хранения, математической и гра­фической обработки данных. Самый простой способ созда­ния баз данных для большинства пользователей — с помо­щью специальных программных сред, которые называются системами управления базами данных(СУБД). Все совре­менные компьютерные базы данных можно разделить на

иерархические, реляционные и сетевые, т. е. в основе любой СУБД лежит один из трех указанных типов моделей дан­ных. Дадим краткую характеристику этим моделям.

Иерархическая модель графически представляет собой перевернутое дерево. Основные параметры этой модели - это уровни, узлы, связи. Первый уровень занимает централь­ный узел, второй — узлы второго уровня и т. д. Между узла­ми установлены связи, причем эти связи фиксированы, т. е. каждый узел связан со своим подмножеством узлов следую­щего уровня, и эти подмножества не пересекаются. Данная модель может быть представлена на примере школы: парал­лели, классы, учащиеся.

Сетевая модель подобна иерархической модели. Она представлена теми же компонентами: уровнями, узлами, связями, но характер их взаимодействия другой. В этой мо­дели все связи между элементами различных уровней явля­ются свободными, т. е. каждый элемент вышестоящего уровня может быть связан одновременно с любыми элемен­тами следующего уровня. Пример — Всемирная паутина (WWW).

Что же такое реляционная база данных? Прежде, чем от­ветить на этот вопрос, сделаем краткий исторический экс­курс по наиболее ярким представителям реляционных баз данных разных поколений. Первые компьютерные базы данных появились в 80-х годах XX века. Это были «непово­ротливые» среды, с достаточно примитивным инструментом обработки данных, который создавал множество файлов, не­обходимых для полноценного функционирования базы дан­ных в целом. Для создания более гибких структур в подоб­ных БД необходимо было использовать их внутренний язык. Интерфейс таких сред напоминал экран MS DOS. Все команды БД вводились в командной строке, точно так же, как и в MS DOS. Подобными особенностями обладали базы данных семейств dBase II, dBase III (например, база данных «Карат»). Базы данных FoxPro и Paradox различных версий были представлены улучшенным (более удобным и много­функциональным) интерфейсом, а также имели усовершен­ствованные Мастера для создания отчетов и среды для напи­сания процедур.

Обычно базу данных, состоящую из двумерных таблиц, принято называть реляционной. Тогда все базы данных се­мейства dBase II, dBase III, FoxPro и т. п. — реляционные, так как данные в них представляются в виде таблиц.

Понятно, что с усовершенствованием и развитием БД но­вого поколения, сам термин «реляционная база данных» расширился, т. е. говоря о реляционных БД недостаточно упоминать только о представлении в ней данных в виде дву­мерных таблиц.

Характерные особенности реляционных баз данных:

• табличное представление данных;

• все реляционные СУБД обрабатывают большие объемы информации, намного больше, чем те, с которыми справляются электронные таблицы;

• реляционная СУБД может легко связывать таблицы так, что для пользователя они будут представляться од­ной таблицей (создание сложных информационных мо­делей);

• реляционная СУБД минимизирует общий объем базы данных. Для этого таблицы, содержащие повторяющи­еся данные, разбиваются на несколько связанных таб­лиц;

• реляционная СУБД отличается от традиционных СУБД тем, что в единственном файле базы данных находятся не только таблица с данными, но и различные другие объекты (пример — файл базы данных Access). Хотя идеальный вариант в реляционной СУБД — два файла базы данных. В одном находятся данные, в другом -объекты, модули. Такое разбиение позволяет сделать защиту базы данных более эффективной: защита ин­формации (файл с таблицами) и защита объектов и про­грамм (файл с объектами и модулями).

Объекты БД

Таблица.В СУБД вся информация хранится в таблицах. Это базовый объект БД, все остальные объекты создаются на основе существующих таблиц (производные объекты). Каж­дая строка в таблице — запись БД, а столбец — поле. Запись содержит набор данных об одном объекте, а поле — однород­ные данные обо всех объектах.

Запросы.В СУБД запросы являются важнейшим инстру­ментом. Они служат для выборки записей, обновления таб­лиц и включения в них новых записей. С помощью запросов можно просматривать и изменять данные из нескольких таблиц. Они также используются в качестве источника дан­ных для форм и отчетов. Но главное предназначение запро­сов — это отбор данных на основании критериев и математи­ческая обработка данных (вычисляемые поля). В любой мо­мент можно выбрать из БД необходимую информацию и создать вычисляемое поле. Запрос — производный объект БД.

Формы.Они предназначены для ввода данных в таблицу, для открытия других форм и отчетов (кнопочные формы), а также с их помощью можно ограничить объем информации, доступной пользователям, обращающимся к БД (маска). Другими словами, форма представляет собой бланк, подле­жащий заполнению, или маску, накладываемую на набор данных. Большая часть данных, представленных в форме, берется из таблицы или запроса. Другая информация, не связанная ни с таблицей, ни с запросом, хранится в макете формы (например, кнопки, вычисляемые поля и т. п.). Фор­ма также является производным объектом БД.

Отчеты.Они служат для отображения итоговых данных из таблиц и запросов в удобном для просмотра виде. В отче­тах, так же, как и в формах, часть данных берется из табли­цы и запроса, другая часть информации хранится в макете отчета. Отчет — производный объект БД.

Разработчик— это человек (опытный пользователь или программист), которой самостоятельно создает новую БД. Прежде, чем приступить к созданию БД, необходимо проду­мать ее проект.

Проект— это абстрактная (теоретическая) модель буду­щей БД, состоящая из объектов и их связей, необходимых для выполнения поставленных задач.

Процесс проектирования включает, прежде всего, созда­ние структуры таблиц, установку связей между этими таб­лицами, создание производных объектов (запросы, формы, отчеты, макросы, модули).

Компьютерные телекоммуникации: назначение, структу­ра. Информационные ресурсы в телекоммуникационных сетях. Комплексы аппаратных и программных средств организации компьютерных сетей. Представления о те­лекоммуникационных службах: электронная почта, чат, телеконференции, форумы, Интернет-телефония. Инфор­мационно-поисковые системы. Организация поиска ин­формации в сетях.

Одной из наиболее полезных возможностей, предоставля­емых современным компьютером, является возможность ис­пользования его для автоматизированного обмена информа­цией с другими компьютерами по линиям связи. Реализует­ся эта возможность с помощью компьютерных сетей — объединений компьютеров.

Под компьютерной телекоммуникационной (вычисли­тельной)сетью понимается программно-аппаратный комп­лекс, обеспечивающий автоматизированный обмен данными между компьютерами по линиям связи. Любые информаци­онные ресурсы в том или ином виде можно передавать по сети. Современная сеть, состоящая из компьютеров (воз­можно специализированных), представляет собой некий комплекс узлов и каналов связи — аппаратуры и программ, обеспечивающих прием и передачу данных.

Большая часть возможностей, обеспечиваемых современ­ными телекоммуникационными сетями, опирается на то, что эти сети могут обмениваться данными между собой, со­здавая межсетевую среду. Самое крупное такое объединение общедоступных сетей — это межсетевая среда Интернет (In­ternet).

Огромная распространенность сетей, их многофункцио­нальность, в первую очередь, опираются на ряд принципов, соблюдение которых обеспечивает:

• открытость, т. е. возможность разработки различных сетевых приложений, в том числе не предусмотренных ранее;

• использование для обмена данными сетей на базе раз­личных технологий, с самыми разными каналами связи;

• возможность подключения новых абонентов и новых сетей, а также расширения существующих без принци­пиальной перестройки;

• возможность обеспечения автоматического переплани­рования схемы обмена (изменение маршрутизации) при возникновении технической необходимости (например, отказе канала связи);

• контроль обмена данными и минимизацию потерь в случае возникновения ошибок.

Основным принципом, лежащим в основе современных телекоммуникационных сетей, является принцип пакетной коммутации.

Этот принцип состоит в том, что для доставки данные разбиваются на независимые фрагменты (пакеты), каждый пакет снабжается служебной информацией и передается от­дельно от других пакетов. Итоговое сообщение (последовате­льность пакетов) восстанавливается при необходимости в конечной точке.

Основой конструирования и функционирования совре­менных сетей являются их модели. Модель сети— это схе­ма разделения функций между компонентами сети, опреде­ляющая основы их взаимодействия.

В основе Интернета лежит сетевая модель DOD(Depart­ment of Defence, министерство обороны США). Эта модель подразумевает, что все функции делятся на четыре уров­ня — от непосредственных клиентских программ до средств обмена сигналами. За каждым уровнем закреплены опре­деленные задачи, выполняя их, уровень обменивается дан­ными только с выше- и нижележащими уровнями.

С логической точки зрения каждый уровень одного узла посылает данные такому же уровню другого узла.

За каждым уровнем закреплены следующие функции: 1. За уровнем доступа к среде — функции приема и пере­дачи сигналов, преобразования их в цифровую форму и/или перекодирование. Этот уровень характеризует каждую сетевую технологию, применяемую для созда­ния отдел: чой сети. Именно здесь осуществляется фактические прием и передача сигнала.

2. За сетевым уровнем закреплены функции организа­ции межсетевого взаимодействия, он связывает отде­льные сети. Протоколы этого уровня определяют мар­шруты следования пакетов (т. е. выполняют операцию перенаправления пакетов из одной сети в другую) и об­мениваются необходимой технической информацией о пересылке. Узлы, выполняющие пересылку, называ­ются шлюзами; выполняющие обработку пакетов и маршрутизацию, — маршрутизаторами. У таких спе­циализированных узлов могут не задействоваться дру­гие уровни, кроме первых двух.

3. За транспортным уровнем — задачи транспорта дан­ных. Этот уровень связывает между собой программы, запущенные на конкретных узлах, т. е. позволяет определить, какая конкретно программа должна обра­ботать полученный поток данных или обеспечить про­грамме возможность отправки данных. Некоторые протоколы этого уровня позволяют также опреде­лять, получены ли отправленные данные.

4. К прикладному уровню отнесены все программы, взаи­модействующие с пользователем и формирующие по­ток данных для обмена.

Основным набором протоколов, реализующих эту модель и обеспечивающим работу среды Интернет, является стек протоколов TCP/IP.Этот набор протоколов не предусматри­вает никаких стандартов на уровень доступа к среде, что по­зволяет использовать любые каналы передачи данных. Стек протоколов предусматривает механизм, позволяющий раз­рабатывать различные сетевые приложения и использовать для их работы существующую инфраструктуру без модерни­зации. На основе этого стека протоколов уже разработано большое количество программ, реализующих разнообразные сервисы (службы, программы для предоставления специали­зированных услуг).

Большинство телекоммуникационных служб предполага­ют обмен данными между двумя основными типами про­грамм: клиентом(программа, взаимодействующая с пользо­вателем) и сервером(программа, обслуживающая запросы).

Наиболее популярны следующие сетевые службы:

1. Служба электронной почты.Этот сервис позволяет об­мениваться сообщениями в асинхронном режиме, т. е. отправить сообщение можно даже если адресат не рабо­тает с сетью в момент отправки и получит его только через некоторое время. Основу инфраструктуры элект­ронной почты составляют почтовые отделения — серве­ры, принимающие почту и обрабатывающие ее (либо пересылая, либо помещая в хранилище до обращения пользователя). Индивидуальный «раздел» пользователя в такой системе называется почтовым ящиком.Для об­ращения к содержимому своего почтового ящика или при отправке новой почты пользователь должен исполь­зовать специальную программу-клиент. Во многих слу­чаях этот клиент реализован как web-приложение.

2. Служба World Wide Web(Всемирная паутина). В этой службе информация представляется в виде отдельных объектов, связанных между собой. Структура такого рода называется гипертекстом. Для описания отдель­ных объектов и связей между ними применяется спе­циальный язык разметки гипертекста — HTML. Осно­ву функционирования этой службы составляют про­граммы, выдающие объекты-страницы (и/или их составляющие) по запросу клиента (web-серверы), и программы, демонстрирующие полученные страницы (браузеры). Содержимое такой страницы может быть подготовлено заранее, а может быть создано WEB-cep-вером по запросу, с помощью специальных программ. Это позволяет применять эту службу как универсаль­ное средство создания интерфейсов к большинству дру­гих служб, а также как средство создания специализи­рованных приложений.

В качестве примера таких приложений можно привес­ти форумы (приложения, в которых посетители обмениваются мнениями по различным вопросам, оставляя в выделенных разделах, хранящихся в БД на серверах, свои комментарии), чаты (приложения, по­зволяющие организовать беседу в режиме реального времени, непосредственно передавая всем пользовате­лям отправляемые каждым сообщения). 3. Телеконференции и Интернет-телефония.Эти серви­сы опираются на возможность передавать по сети пото­ки (т. е. не сообщения фиксированной длины, а неко­торое количество данных за определенное время) аудио- и видеоинформации. С помощью телеконферен­ций организуется обсуждение в режиме реального вре­мени (это проще и эффективнее во многих случаях ча­тов и пр.), а с помощью Интернет-телефонии — переда­ча звуковой информации телефонной сети между узлами Интернет в виде потока IP-пакетов. Такими уз­лами могут быть специальные телефонные станции или просто компьютеры. Передача такого потока обхо­дится значительно дешевле междугородного канала связи.

Служба WWW, выполняя роль универсального интер­фейса к большей части современных сетевых служб, позво­ляет добиться сходства в представлении информации из са­мых разных источников.

Тем не менее, поскольку сам язык подготовки страниц ориентирован на оформление текста (а не на отражение его логической структуры), и в каждом конкретном случае ав­торы отдельных наборов страниц сами принимают решение о том, что и как отображать на своих страницах, не уведомляя об этом никого, то возникает проблема поиска информа­ции в среде Интернет. С ростом общего количества страниц и объема представленной в такой форме информации, эта проблема становится все острее.

Для поиска нужной информации в среде Интернет приме­няют несколько способов:

1. Применение классификации и каталогизации. В соот­ветствии с этим подходом создаются специальные ресур­сы-рубрикаторы, на которых аннотированные ссылки разносят по некоторым категориям. Поиск информации в этом случае осуществляется постепенным уточнением области до тех пор, пока набор страниц не будет сокра­щен до обозримого минимума. К сожалению, сам поис­ковый рубрикатор должен пополняться с помощью лю­дей. В результате, в таких рубрикаторах просто не упо­мянуто подавляющее большинство страниц.

2. Применение методов полнотекстового поиска и поис­ка по ключевым словам. В этом случае автоматизиро­ванными средствами готовится поисковый индекс — фактически, база данных, содержащая информацию о наполнении страниц. Пользователь, обращаясь к это­му индексу, просит найти страницу, на которой содер­жатся определенные слова. Постепенно уточняя об­ласть поиска, снова получаем обозримый набор доку­ментов. Поисковый индекс формируется, в основном, автоматически, что резко увеличивает количество уча­ствующей в поиске информации. К сожалению, это также увеличивает и количество «мусора», попадаю­щего в результаты обработки запросов. Для борьбы с этим применяют систему ранжирования результатов на основе релевантности — некоторого вычисленного коэффициента «соответствия» найденной страницы за­просу.

3. Поиск информации в специализированных источни­ках. Если точно известна область поиска, то вполне возможно, что существуют специализированные хра­нилища информации, имеющие специально разрабо­танные поисковые системы. Такая система позволит найти нужное существенно быстрее, чем использова­ние поисковых систем общего назначения.