探索测度基于视听信息视频语义与检索技术

论文导读：能评估312下一页
摘要：随着计算机技术、视频压缩技术和互联网技术的迅猛进展,人们可访问的信息资源空前丰富。视频资料因其具有直观性、信息综合性的特点,在数据库中的地位日渐增强,其数量增加更是惊人。但同时,由于视频结构的复杂性、数据内容的多样性以及时空多维性的特点,致使如何有效地组织视频数据、快速地检索和浏览用户需求的视频信息等成为视频领域内亟待解决的重大课题。在这种背景之下,基于内容的视频检索技术应运而生,它综合了图像处理、人工智能、方式识别及计算机视觉等领域的相关论述知识,并对视频特点和视频对象进行深入浅析和探讨,旨在获得蕴含在视频中的高层语义信息,建立可用的视频检索系统。由此,对视频语义的浅析和检索技术的探讨具有广阔的前景和现实作用。本论文以影视类视频、球拍类体育视频和新闻类视频为探讨对象,融合了视频中的视觉、音频等多模态信息,对各种视频进行了有针对性的语义浅析和检索策略探讨。影视类视频语义浅析以情感角度展开,浅析了此类视频的视觉低层情感特点与音频的情感特点,基于未确知测度模型对影视类视频场景的情感类型进行了检测和识别。通过浅析球拍类体育视频的视觉、音频特点,对视频中的感兴趣事件进行语义识别和检索探讨。基于条件随机场模型,比较系统的探讨了新闻类视频故事场景的检测和分割策略。主要工作如下：(1)通过浅析影视类视频的低层视觉情感特点和音频情感特点,基于未确知测度论述,提出了一种视频情感内容识别的新算法。该策略先浅析了影视类视频的场景亮度、镜头切变率、色调效能三个视觉类情感特点和多种音频情感特点,介绍了每种视频情感特点的数据提取策略,并分别构建了影视类视频场景的视觉情感特点向量和音频情感特点向量。其次,定义了视频情感识别的对象空间和指标空间,构造了各视听情感特点的未确知测度函数和未确知测度矩阵。最后,采取信息熵确定情感特点向量中各分量的权位,用置信度识别准则对视频场景的情感类型进行识别和判定。实验结果表明所捉算法是有效的、可行的。(2)提出一种融合视觉、音频特点信息的球拍类体育视频精彩片段检索的算法。首先,基于支持向量机(Support Vector Machine, SVM)视频镜头分类与帧图像边缘特点的策略,将视频流中的镜头分为比赛镜头(Court View Shot)和非比赛镜头(Non-Court View Shot)两类；然后,浅析了球拍类体育视频中声音和感兴趣事件之间的内在联系,构建了一个基于击球声和掌声的SVM分类器模型；最后,将镜头分类与声音事件分类进行融合,并建立了视频中精彩片段的提取规则,并对检索结果进行了排序处理。(3)提出了一种基于条件随机场模型的新闻故事识别和检索策略。该策略首先对新闻视频的音频内容和结构特点进行浅析,运用规则分类和隐马尔可夫模型(Hidden Markov Model, HMM)分类相结合的策略将新闻视频中的音频数据进行分层、细化处理,并按照语义将其分类为男主播语音、女主播语音、交替播报、现场声音、介分音乐和有效静音六种。接着,通过浅析新闻视频中镜头的特点,将新闻类视频按照语义分为主播镜头、静态画面镜头、现场访录镜头、广告镜头和其它类镜头五种,辅以音频语义信息对视频中的镜头进行了识别和分类。在完成新闻类视频音频语义分类和镜头语义识别的基础之上,通过相应的关键词序列的转换,构建了新闻故事场景的条件随机场(Conditional Random Fields, CRFs)分割提取模型,对新闻类视频进行了较为成功的语义识别和检索。(4)设计并初步实现了一个基于内容的视频语义识别和检索的实验平台,验证了上面陈述的所提算法的性能。关键词：视频检索论文多模态信息融合论文未确知测度论文情感类型论文球拍类体育视频论文条件随机场论文新闻故事分割论文
本论文由www.7ctime.com,需要论文可以联系人员哦。摘要4-6
Abstract6-11
第一章 绪论11-24

1.1 课题的背景和探讨作用11-12

1.2 基于内容的视频检索探讨近况12-16

1.3 视频语义浅析和检索探讨中有着的不足16-17

1.4 论文的主要探讨工作和革新点17-20

1.5 论文的组织结构20

1.6 本章参考文献20-24

第二章 视频语义浅析与检索的关键技术24-34

2.1 视频的结构化处理24-28

2.

1.1 基本概念25-26

2.

1.2 视频浅析技术26-28

2.2 视频流的音频信息28-31

2.1 音频帧特点28-30

2.2 音频段特点30

2.3 音频的分类策略30-31

2.3 视频片段检索与性能评估31-32

2.3.1 视频检索的概念31

2.3.2 视频片段检索的性能评估3论文导读：

1-32

2.4 本论文参考文献32-34

第三章 基于未确知测度的视频情感语义识别34-75

3.1 视频情感内容数据库的构建34-41

3.

1.1 电影情感内容数据集的采集35-36

3.

1.2 视频场景初始数据库的建立36-38

3.

1.3 视频场景的有意性检验38-40

3.

1.4 电影场景情感测试数据库40-41

3.2 视频场景视觉情感特点的浅析与提取41-50
3.

2.1 场景亮度41-44

3.

2.2 镜头切变率44-46

3.

2.3 色调效能46-50

3.3 视频场景音频情感特点的浅析与提取50-63

3.1 语音情感特点浅析51-57

3.2 音乐情感特点57-59

3.3 音频情感特点的降维59-63

3.1 因子浅析的数学模型59-60

3.2 主成分法估计因子载荷60-61

3.3 因子得分的计算步骤61-62

3.4 视频场景音频情感特点降维62-63

3.4 视频场景的未确知情感测度判定模型63-68

3.4.1 不确定信息与未确知数学63

3.4.2 视频场景的未确知情感测度矩阵63-65

3.4.

2.1 单指标未确知情感测度64-65

3.4.

2.2 多指标综合测度65

3.4.3 视频对象的未确知情感测度函数65-67

3.4.4 置信度情感类型判定67-68

3.5 实验和性能浅析68-71

3.6 本章小结71-72

3.7 本章的参考文献72-75

第四章 基于多模态的球拍类体育视频检索75-98

4.1 球拍类体育视频精彩片段检索的探讨架构76-77

4.2 球拍类体育视频镜头的分类77-86

4.

2.1 SVM的基本原理78-80

4.

2.2 镜头关键帧边缘特点的提取80-84

4.

2.1 Hough变换81-82

4.

2.2 视频帧边缘特点的提取82-84

4.

2.3 基于SVM的球拍类体育视频镜头分类算法84-86

4.3 球拍类体育视频中精彩事件的检测86-93
4.

3.1 镜头事件的音频特点浅析87-90

4.3.

1.1 音频特点的选择提取87-88

4.3.

1.2 音频特点选择与音频信号时长88-90

4.3.2 视频中感兴趣事件检测的启发式规则90-91
4.

3.3 球拍类体育视频中精彩片段的检索算法91-93

4.4 实验结果与浅析93-95

4.5 本章小结95-96

4.6 本论文参考文献96-98

第五章 基于内容的新闻类视频语义浅析与检索98-133

5.1 新闻类视频的分层音频分类算法98-108

5.

1.1 新闻视频中的音频内容和结构99-100

5.

1.2 基于规则的新闻视频音频分类100-103

5.

1.2.1 静音的识别101-102

5.

1.2.2 语音和音乐的识别102-103

5.

1.3 基于隐马尔可夫模型的音频分类103-107

5.

1.3.1 隐马尔可夫模型HMM103-105

5.

1.3.2 基于HMM的音频分类105-107

5.

1.4 实验结果及浅析107-108

5.2 辅以音频的新闻镜头语义分类108-120
5.

2.1 主播镜头、静态画面镜头和其它类镜头的检测110-114

5.2.

1.1 主播镜头和静态画面镜头中帧间相似度111-114

5.2.

1.2 主播镜头和静态画面镜头的检测114

5.2.

1.3 新闻视频中其它类镜头的检测114

5.2.2 广告镜头和现场访录镜头的检测114-117
5.

2.3 辅以音频的新闻镜头语义分类算法117-119

5.

2.4 实验与性能浅析119-120

5.3 新闻视频的CRFs故事场景分割120-129
5.

3.1 条件随机场121-124

5.3.

1.1 条件随机场的定义121-123

5.3.

1.2 条件随机场模型的训练与标注123-124

5.3.2 关键词序列转换124-125
5.

3.3 基于CRF的新闻故事场景的分割125-126

5.

3.4 实验与性能浅析126-129

5.4 本章小结129

5.5 本章参考文献129-133

第六章 视频语义浅析与检索的系统实现133-140

6.1 实验平台的总体架结构133-135

6.2 影视类视频情感语义的浅析和识别135-137

6.3 球拍类体育视频精彩片段的检索137-138

6.4 新闻类视频的语义浅析与检索子系统138-140

第七章 总结与展望140-143

7.1 论文工作总结140-141

7.2 进一步的探讨工作141-143

致谢143-144
发表或已录用论文144-145