Главная » Программное обеспечение » Архитектура системы управления знаниями
Дек
10

Построение архитектуры системы управления знаниями с учетом неуправляемости больших объемов данных

Проведен анализ технологий по управлению объемами данных и предложены ключевые аспекты разработки архитектуры системы управления знаниями

 

В настоящее время большинство компаний, так или иначе, пытаются реализовать и внедрить у себя системы управления знаниями на базе различных технологий, при этом возникает проблема неуправляемости больших объемов данных, обусловленная: устареванием информации, публикациями избыточной, дублирующей, личной не производственной информации (например, фото, видео) и др.

 

С повышением объема хранимой информации затрудняется поиск и увеличивается вероятность утери критически нужной информации; аппаратные ресурсы используются не оптимально, что приводит к увеличению затрат на техническое сопровождение системы.


На текущий момент на IT рынке представлены несколько классов технологий:

 

Технологии по работе с файловым хранилищем позволяют отслеживать сроки использования и обращения к файлам, накладывать квоты дискового пространства и управлять блокировкой файлов. (Например, система Sysinternals Process Monitor)

 

Основное преимущество таких систем состоит в возможности управления нагрузкой на аппаратное обеспечение.

Недостатком является отсутствие возможности анализа содержимого самих файлов.

 

Технологии для создания крупномасштабных систем по обработке больших объемов данных в режиме реального времени позволяют осуществлять массово- параллельную обработку, классификацию и анализ больших массивов данных.

 

Целесообразны при объеме данных, измеряемом в терабайтах. Используются для анализа содержимого данных, построения статистических моделей и прогнозной аналитики и др. (например, технология Hadoop)

 

Основное преимущество использования состоит в возможности управления и анализа содержимого данных.

Недостатком являются большие требования к аппаратному обеспечению и его сопровождению.


При построении архитектуры системы управления знаниями важно учитывать как оптимизацию физического размещения информации на аппаратном обеспечении, так и использование методов обработки больших массивов информации.

 

Для проектирования архитектуры системы управления знаниями с учетом решения проблемы неуправляемости больших объемов данных необходимо осуществить:

  • Анализ текущего и потенциального объема хранимой и обрабатываемой информации
  • Выделить виды хранимой информации, сроков хранения, критичности утери, частоты использования информации
  • Определение и согласование единой структуры и правил хранения корпоративной информации
  • Определение порядка репликации и восстановления данных с учетом критичности данных и частоты использования
  • Определение архитектуры и правил формирования архивных данных

Наилучшим вариантом при построении архитектуры системы управления знаниями является построение комбинированного решения, обеспечивающего оптимизацию и использования аппаратного обеспечения, и поддерживающего при этом технологию по организации и обработке больших объемов данных на базе технологии Hadoop или аналога, позволяющего обрабатывать большой объем данных с использованием распределенной файловой системы.

 

———–
Автор: Рожкова Елена Сергеевна
Научный руководитель – С.В. КИРЕЕВ, профессор, д.ф.-м.н.
Национальный исследовательский ядерный университет «МИФИ»
Для телеконференции МИФИ 2013
ПОСТРОЕНИЕ АРХИТЕКТУРЫ СИСТЕМЫ УПРАВЛЕНИЯ ЗНАНИЯМИ С УЧЕТОМ НЕУПРАВЛЯЕМОСТИ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ

Дорогие читатели, если Вы нашли ошибку в тексте, пожалуйста, сообщите мне об этом, выделив ошибку и нажав комбинацию Shift + Enter или же нажмите сюда, чтобы сообщить нам.

GD Star Rating
loading...
Архитектура системы управления знаниями, 5.0 out of 5 based on 1 rating

Поделиться в соц. сетях

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники

, ,

Добавить ответ