Верховна Рада України
Портал відкритих даних

Доступ та оновлення

Робота з даними в складних інформаційних системах, таких, наприклад, як Законодавство України Верховної Ради, потребує особливих підходів до формування та оновлення інформації. Навіть, якщо обсяги її відносно не великі (кількість об’єктів не рахується мільйонами), але складність самих об’єктів (текстів нормативних документів, редакцій, поділених на складові частини) велика, як і частота їх оновлення, то підготовка відкритих даних по цьому масиву має відповідні складнощі.

Перш за все, потрібно визначити формат і вигляд, в якому краще подавати відкриті дані. Це буде набір окремих таблиць в CSV (довідників, перелік документів, їх карток, посилань на тексти тощо) чи один великий архів документів, сформованих у форматі XML? Для кожної конкретної задачі потрібні власні набори даних, тому на це питання нададуть відповідь тільки потенційні користувачі та програмісти систем.

По-друге, якщо сумарні дані дуже великі, а формування їх з нуля займає більше часу, ніж період поновлення, то для зручності передачі тільки оновленої частини інформації, дані краще поділити. Постають такі питання: як ділити, на які групи, за якими критеріями (за датою прийняття, редакції, за видавникам, видам, номерам тощо), як і з якою періодичністю передавати оновлену інформацію (це будуть сумарні версії наборів чи множини розділені на змінену і незмінену частини)?

По-третє, якщо міняються не тільки дані, а і їх структура чи кількість наборів, з’являються нові можливості та об’єкти тощо, то потрібно також мати механізми опису цих змін. Для цього в кожній системі існують файли реєстру наборів, а до кожного набору – паспорт метаданих, який описує реквізити набору і пов’язані файли: описи структури та дані. Доступ до реєстру наборів має бути організований, як для автоматичних запитів (оригінали файлів за визначеними адресами), так і для перегляду людиною через браузер (в HTML представленні, можливо з пошуком).

Якщо дані змінюються постійно і формуються «на льоту», то їх взагалі можна не записувати у вигляді файлів. Достатньо вказувати доступ до них через адреси в Інтернет чи описаний алгоритм формування цих адрес на основі необхідних реквізитів та параметрів.

Для забезпечення надійного безперебійного доступу як до систем, так і до відкритих даних, частину наборів потрібно сформувати у вигляді статичних файлів та викласти на окремий сервер, який автоматично оновлюється за узгодженою процедурою. Таким чином зменшити навантаження на робочі пошукові сервери інформаційних систем за рахунок налаштування там веб-серверу типу nginx або іншого, який краще обробляє саме статичні запити. А щоб уникнути DDoS-атак у разі використання запитів до відкритих даних через API робочих серверів, контролювати доступ до БД за допомогою реєстрації, спеціального ключа чи інших механізмів впорядкування доступу.



вгору