Быстрый поиск

Реферат: Структура пошукових систем, показники ефективності пошуку

Міністерство освіти і науки, молоді та спорту України

Державний вищий навчальний заклад

Київський національний економічний університет імені Вадима Гетьмана

Кафедра інформаційного менеджменту

Реферат

на тему: Структура пошукових систем, показники ефективності пошуку

Київ 2011

Вступ

Завдання будь-якої пошукової системи – доставляти людям ту інформацію, яку вони шукають. Навчити людей робити “правильні” запити, тобто запити, відповідні принципам роботи пошукових систем неможливо. Тому розробники створюють такі алгоритми і принципи роботи пошукових систем, які б дозволяли знаходити користувачам саме ту інформацію, яку вони шукають. Це означає, пошукова система повинна “думати” так, як думає користувач при пошуку інформації.

Автоматичні системи інформаційного пошуку використовують для зменшення так званого "інформаційного перевантаження". Найвідомішим прикладом систем ІП можна назвати пошукові системи в Інтернеті.

Об’єктом інформаційного пошуку є текстова інформація, зображення, аудіо, відео інформація.

З інформаційним пошуком змикаються проблеми: розсилки інформації (information routing); сортування інформації (information filtering); упорядкування (класифікація) інформації (information categorization); відбір інформації (information extraction).

1. Поняття «пошукова система»

Пошукова система це — онлайн-служба, яка надає можливість пошуку інформації на сайтах в інтернеті, а також (можливо) у групах обговорення та ftp-серверах.

Індексація в пошукових системах сайтів здійснюється пошуковим роботом. Робот – це невелика програма, що ходить по посиланнях на сайті й індексує (збирає і запам'ятовує) зустрінуту на шляху інформацію. Також інформація з веб-сайтів збирається за допомогою «спайдерів» та «кроуберів».

Основними критеріями якості роботи пошукової системи є релевантність, повнота бази, врахування морфології мови.

Сьогодні Інтернет поєднує безліч різних мереж, мільйони комп'ютерів, близько 800 мільйонів користувачів усіх континентів і, за різними оцінками, число таких користувачів збільшується на 15-80% щорічно. Можна виділити два основних напрямки у використанні Інтернет у бізнесі. Це оперативний доступ до воістину неозорих джерел інформації з будь-якої тематики (на сотнях тисяч інформаційних серверів), пошук і інтерактивне спілкування з партнерами, практично в будь-якій спеціалізації і географічному розташуванні. Як зорієнтуватися в настільки масштабному інформаційному просторі? Для цього існують спеціалізовані пошукові сервера. Їх можна розділити на тематичні каталоги, роботи індексів (пошукові машини). Також, для пошуку необхідної інформації в Інтернет дуже корисні системи пошуку в конференціях Usenet і служби пошуку людей.

2. Методи організації пошуку

Методи організації пошуку можуть бути розділені на дві групи. До першої з них відноситься так званий атрибутивний пошук. Він заснований на тому, що кожен документ характеризується певним набором атрибутів (полів). Ці поля заповнені конкретною інформацією, яка змінюється для різних видань. При пошуку перевіряється збіг значень, що містяться в запиті, із значеннями у відповідних полях кожного з видань. Такий метод організації пошуку характерний для фактографічної моделі.

До атрибутів видань відносять: назву, автора (авторів), час створення, ISBN (індивідуальний номер видання по універсальній книжковій класифікації) і так далі. Останнім часом набір атрибутів все частіше називають метаінформацією.

До другої групи засобів відноситься повнотекстовий пошук і вибірка видань. Дійсно, будь-яка книга, зокрема – в електронному вигляді, є слабо структурований набір символів, організованих в слова, пропозиції, розділи, параграфи і розділи. Для організації повнотекстового пошуку необхідно спочатку провести індексацію видань, скласти для них так званий повнотекстовий індекс. У простому випадку він є списком всіх значущих слів в текстовій базі даних з вказівкою, в яких виданнях зустрічаються ці слова. Зустрічаються багаторівневі індекси, в яких на верхньому рівні розташований словник або пошуковий індекс слова. В ньому кожному значущому слову відповідає покажчик розташований на наступному рівні, список місцезнаходжень або індекс посилань, в якому містяться адреса видання і, іноді, позиція слова усередині документа.

Багато хто з читачів, ймовірно, використовував повнотекстовий пошук, працюючи в мережі Інтернеті пошуковими серверами. В цьому випадку в спеціальне поле пошуку вводиться конструкція з деякої кількості слів або фраз, іноді зв'язаних один з одним знаками логічних операцій. Відповідний механізм на сервері автоматично перевіряє вміст посилань на документи, що містяться в його базі даних і видає результат пошуку у вигляді списку відповідних або релевантних документів.

Можна сформулювати чотири основні відмінності повнотекстової вибірки від атрибутивної:

· повнотекстова вибірка відповідає на запити з меншою точністю;

· вибірка імовірнісна, а не детермінована;

· критерієм правильності вибірки є не точний збіг, а лише придатність видання, що витягує з бази;

· час пошуку і витягання видання більше залежить не від технічних засобів, а від якості формулювання запиту і швидкості аналізу користувачем придатності видань, що витягують з бази.

Неважко зрозуміти, що першій моделі найкраще відповідає атрибутивний пошук, а другий – повнотекстовий. Принципова відмінність між цими двома методами пошуку полягає в тому, що результат застосування атрибутивного пошуку детермінований, тоді як повнотекстовий пошук слід характеризувати як імовірнісний, тобто його результат містить набір документів, що характеризуються певним рівнем релевантності, придатності.

Історично першими використовувалися бази даних для зберігання структурованої інформації з жорстким набором атрибутів. Потім виникла необхідність зберігання документів, включаючи журнали і книги, які є набором неструктурованої або майже неструктурованої інформації. Останніми роками виникла певна тенденція до розмітки або структуризації текстових документів. Для цього створені спеціальні мови, зокрема XML.

Атрибутивний пошук простіший і швидший, а також дозволяє отримати точний, а не імовірнісний, результат. Для його реалізації не потрібно створювати повнотекстовий індекс, що займає значний дисковий простір, а також складні пошукові механізми. До речі, в останні роки в мережі Інтернет взятий курс на пошукові системи, заснований на частковому використанні метаінформації, принаймні в тих випадках, коли ця інформація відома користувачеві. Вводиться і відповідний стандарт на зміст атрибутів на кожній Web-сторінці для реалізації такого пошуку. Проте повнотекстові бази і пошук поки що достатньо широко використовуються у видавничих інформаційних системах. Атрибутивний пошук не завжди застосовний, оскільки користувач може не знати жодного атрибуту.

Відомо декілька методів пошуку в текстових базах даних. Першою і найбільш простою моделлю пошуку є перегляд, тобто процес схожий із звичайною роботою з книгою. В цьому випадку з бази даних витягується певне електронне видання і користувач знайомиться з його змістом. Використовуючи сучасні засоби навігації, можна переміщатися по каталогу видань, розкривати потрібні книги і проглядати їх зміст і анотації. Для великих баз даних такий спосіб неефективний і може використовуватися тільки у поєднанні з іншими моделями.

Варіантом цієї моделі є зв'язане читання, яке використовує концепцію гіпертексту і переходи по гіперпосиланнях усередині одного видання або навіть між виданнями, включаючи малюнки, звукові- і відеофрагменти.

Найчастіше застосовується Булеві моделі пошуку, логічні конструкції, що використовують як основу, тобто слова або фрази (останні полягають зазвичай в круглі дужки), об'єднані знаками логічних операцій І (AND &), АБО (OR) і НЕ (NO). Вхідні в конструкцію смислові елементи, тобто слова і фрази, якщо останні розглядаються як єдине ціле, зазвичай називають термами. Якщо в результаті запиту пошукова система видала надмірно великий список документів, запит можна спробувати ускладнити, включивши в нього більшу кількість термів і операторів І, що припускають одночасну наявність в документі базових слів і фраз. Навпаки, якщо знайдена невелика кількість придатних (релевантних) документів, запит можна спростити, виключивши з нього окремі конструкції з оператором І (або додавши конструкції з оператором АБО).

Спеціальне програмне забезпечення може забезпечити автоматичну оцінку ступеня корисності кожного з видань, що витягують. Ця оцінка робиться на основі частоти, з якою зустрічаються у виданні терми, використовувані в запиті. Результати зазвичай сортуються по ступеню релевантності. Така модель пошуку використовується, зокрема, на пошуковому сервері Rambler.

Векторна модель пошуку заснована на представленні кожного окремого видання деяким вектором в N-вимірному просторі. Запит також представляється у вигляді вектора. Ступінь корисності документа, визначається як його близькість у вказаному N-вимірному просторі до вектора запиту. Кількісна оцінка близькості виражається косинусом кута між цими векторами і змінюється в межах від 0 до 1.

Векторна модель пошуку обов'язково має на увазі послідовні ітерації. На початку пошуку користувач зі всієї безлічі вибраних видань визначає деякі як потрібні, корисні. На підставі цього вибору виробляється уточнене положення вектора запиту.

Ефективність – головний критерій при визначенні вживаного методу повнотекстової вибірки. Ефективність пошуку видання можна описати двома характеристиками: точність і обхват. Точність «P» визначається відношенням числа релевантних документів R до загальної кількості документів у вибірці

Страницы: 1, 2