Разработка подсистема импорта отраслевых новостей из внешних источников для ОАО «Центр развития экономики»

На сегодняшний день B2B-Center объединяет более 30 торговых пло-щадок, работающих для различных отраслей экономики. В их число, помимо энергетики, входят нефтехимия, металлургия, машиностроение, автомобильная промышленность, телекоммуникационный сектор, жилищно-коммунальный сектор, гражданская авиация, агропромышленный комплекс, нано-технологии и многие другие отрасли. Система для проведения электронных торгов B2B-Center позволяет каждой компании выступать как организатором, так и участником процедур любого уровня сложности (более 40 вариантов процедур): конкурентные переговоры, запросы цен/предложений, аукционы продавца/покупателя, все виды конкурсов.

Количество участников системы В2В-Center на данный момент превышает 81 000. Участники системы - это заказчики и поставщики из 79 стран мира.

Поэтому, регулярно производится совершенствование разделов сайта. На сайте предприятия ОАО «Центр Развития Экономики» имеется раздел новости. Добавление новостей в базу данных производится вручную. Это крайне неудобно и отнимает много времени. Т.к. помимо своих новостей на сайте компании имеются новости, взятые с других сайтов в сфере экономики. Таких сайтов на данный момент в компании 46. Администратор попросту не успевает обновлять новости.

Можно было бы решить эту проблему наймом дополнительных сотрудников, но если количество сайтов будет расти, то и количество сотрудников надо увеличивать, а это также ведет к денежным затратам. Было решено автоматизировать процесс с помощью парсера новостей. Имеются сторонние аналоги, но было решено написать свой парсер, оптимизированный под движок системы компании.

По заявке предприятия была разработана подсистема импорта новостей.

D № ?\ Лента = Заголовок новостей О Дата публикации г

• 16 31 ИА РосБалт техасском городе, разрушенном взрывом, задержали мужчину с бомбой

  11.05.2013 00:28

Система установлена на веб-сервере компании, и запускается автоматически, при помощи Крона. Cron – демон-планировщик задач в UNIX-подобных ОС, использующийся для периодического выполнения заданий в определённое время. Регулярные действия описываются инструкциями, помещенными в файлы crontab, которые находятся в каталоге.

Далее запускается исполняемый файл и система начинает импорт новостей, из указанных источников. Источники задаются прямо в коде программы в виде массива, так как обновляются они очень редко. Следующим ключам присваиваем следующие значения

‘name’ => Имя источника,

‘url’ => url адрес страницы с которой берутся новости, ‘cannonical_name’ => Имя для ссылки, ‘cannonical_url’ => Адрес сайта, ‘type’ => Тип новостной ленты,

‘checking_period’ => Период обновления в секундах,

‘file_name’ => Имя файла с параметрами, ‘class_name’ => Имя класса,

‘logo_url’ =>Ссылка на логотип,

Просмотреть источники можно в разделе «Источники новостей»

• 1.    Сначала происходит загрузка настроек из базы данных для лент новостей. Если лента удалена, то настройки удаляются.

• 2.    После подгружаются заголовки новостей и ставятся в очередь на обработку.

• 3.    Далее новостям присваивается статус «В ожидании» и новость заносится в базу данных и отображается в панели администратора (Рисунок 11).

В Текст                                                            О Статус

Американские правоохранительные органы задержали жителя города Вест, где 17 апреля Q В произошел...                                                                         ожидании

Рис. 1 Новость в панели администратора в статусе «В ожидании»

4) Администратор просматривает новости и применяет к ним действия по своему усмотрению (Рисунок 12).

ЮНИе Действие...

Действие...

Принять новость Быстрое подтверждение Отвергнуть новость Поместить в отобранные

Рис. 2. Действия для новостей

Принять новость – после подтверждения новости появится список с категориями, и нужно указать в какую категорию отправить данную новость . После этих действий новость появляется на сайте.

Быстрое подтверждение – новость отправляется в «Подтвержденные» напрямую, без указания категории.

Отвергнуть новость – новость отправляется в «Отвергнутые», и не появляется на сайте. Затем на страничке отвергнутых новостей можно удалить все ненужные новости.

Поместить в отобранные – новость помещается в «Отобранные».

Тестирование разрабатываемого программного продукта проводилось с помощью сквозного примера, охватывающего всю область применения системы.

Тестирование проводилось в условиях, максимально приближенных к реальным. СУБД была помещена на сервер сети, взаимодействие с клиентским модулем проводилось при помощи сетевого соединения на основе протоко- ла TCP/IP. Целью тестирования системы было выявление ошибок работы программы, связанных с обработкой полученных новостей, применения к ним действий, общего функционирования программы; проверка функциональных характеристик программы. Проводилась проверка основных функций системы. Весь процесс тестирования системы классификации проводился в нормальных условиях.

Тестирование программного комплекса в нормальных условиях проводилось с целью определения его соответствия требованиям технического задания и подтверждения корректности работы программы в характерных ситуациях. Проверка на соответствие техническому заданию проводилась с целью определения функциональной полноты разрабатываемого комплекса и соответствия требованиям качества результатов работы системы. Основными направлениями экспериментальных испытаний были исследования работы системы с парсингом входящих новостей, а так же корректная работа c базой данных.

Для проверки надежности и функциональности системы были проведены различные эксперименты.

Система безукоризненно прошла тест по сбору информации с различных новостных лент, таких как RSS, Атом и просто html-страниц. Сервисные функции также были протестированы. Были протестированы функции системы фильтрации. Результаты сортировки представлены на рисунке 12.

В результате проведенной проверки работы программы в нормальных условиях, было установлено детальное соответствие функций системы заявленным требованиям технического задания. Эксперимент позволил провести широкий анализ модулей и подсистем комплекса. Результаты тестирования показывают надежность и корректность системы.

Рис. 3. Результаты работы системы