Компьютеры научат понимать и анализировать блогосферу

Исследователи из университета Конкордии разработали инструменты, которые разбираются в социальных медиа.

Способен ли компьютер читать и понимать содержание блога? Несколько программистов решили обучить этому машину.

Доцент Лейла Коссейм и докторант Шамима Митхун разработали систему под названием BlogSum, обладающую потенциально обширным применением. Это позволит компании задавать вопрос, а затем автоматически выяснять, как много людей обсуждают тему. Система способна измерять такие направления, как потребительские предпочтения и намерения избирателей, сортируя сайты, исследуя реальные самовыражения и беседы, и составляя резюме, сосредоточенные на целевом вопросе.

«В интернете в свободном доступе находится великое множество текстов, однако самостоятельно человеку будет сложно разобраться в этом многообразии и выделить что-то действительно полезное», пояснила Коссейм.

Анализ неформального языка блогосферы ставит уникальные проблемы по сравнения с анализом новостей, к примеру. Блоги, форумы и другие социальные медиа содержат мнения, эмоции, предположения, не говоря уже о грамматических ошибках. Инструмент резюмирования должен решать две неспецифические проблемы — неуместности вопроса и несвязности беседы.

BlogSum решает эти проблем с удивительной эффективностью. Исследователи разработали и протестировали инструмент, исследовав ряд блогов и сайтов с обзорами. BlogSum использовал „связные рассуждения“ для разбора данных — методы фильтрации и упорядочивания предложений в последовательное резюме. По сравнению с предыдущим аналитическим сервисом BlogSum добился превосходных результатов, что подтвердили и живые человеческие оценки. Составленные резюме снижали неуместность вопроса и бессвязность беседы, успешно дистиллируя большой объем текста в удобочитаемое резюме.

Исследование — пример естественной обработки языка (Natural Language Processing), в чем университет Конкордии уверенно лидирует. Естественная обработка языка стоит на пересечении искусственного интеллекта и лингвистики, стремясь позволить компьютерам улавливать смысл в человеческой письменной речи.

„Эта область становится фундаментальной в информатике и предусматривает ежедневное применение для компьютерного поиска более релевантных документов или создания еще более умных смартфонов“, пояснила Коссейм.

07.09.2012