探究以用户为中心社会多媒体计算
最后更新时间：2024-01-19
作者：用户投稿
本站原创
点赞:4883
浏览:14805
本站原创
点赞:4883
浏览:14805
论文导读：放课堂（MOOC）在2011—2013年经历了10倍的增长，作为远程教育的新形式，为大学开放教育资源提供了新的解决思路。人们在信息获取时对UGC的偏好甚至还体现在医疗领域，一项来自ORCInternatinal的统计显示，有67%的受调查者曾在网上搜索UGC评论，借此了解和比较所使用的药品。在社会多媒体背景下，网络用户既是信息的贡献者，又是信
1009-6868 （2014） 01-0026-005
User-Centric Social Multimedia Computing
摘要：从用户的角度解读社会多媒体计算框架，提出一种以用户为中心的社会多媒体计算框架。在这个框架下，重新探讨了以用户为中心的社会多媒体计算3方面的任务：用户感知的多媒体内容理解、基于网络行为的用户建模、社会媒体网络用户关系分析。
关键词： 社会多媒体计算；以用户为中心；多媒体内容分析；用户建模；用户关系分析
Abstract： A user-centric social multimedia computing framework is proposed in this paper. We look at three example works in order to propose three fundamental tasks in user-centric social multimedia computing： understanding user-aware social multimedia content， modeling online activity of users， and analyzing social relationships.
Key words： social multimedia computing； user-centric analysis； multimedia content analysis； user modeling； social relationship analysis
近10年的网络发展见证了社会媒体（Social Media）信息的爆炸式增长。据统计，每分钟有超过100 h的视频被上传到视频分享网站YouTube，每个月观看的视频数量超过了60亿小时。根据维基百科的定义，广义的社会媒体涵盖了时下几乎所有流行的Web2.0网站和服务，其包括社交网站、图片分享、视频分享、签到网站、微博、博客、实时通讯、社交游戏、虚拟世界、RSS订阅等。
社会媒体具有典型的多媒体特性，大多社会媒体服务都与多媒体数据进行深度交互，如图像分享（Flickr、Picasa提供）、视频共享（YouTube、Vimeo、优酷提供）、音频音乐共享（last.fm、ccMixter、FreeSound提供）。此外，一些新兴的社会媒体应用还包括虚拟世界（Second Life提供）、网络游戏（World of Warcraft、WarHammer Online提供）等新模态数据。多媒体数据已经成为社会媒体最主要的分享和交互媒介。GlobalWebIndex公布的2013年第一季度最活跃的15家社会媒体网站中，有4家专注于多媒体内容分享，其他则为以多媒体内容为重要交互媒介的社交网络服务（SNS）和微博类网站。社会媒体呈现出明显的多媒体化趋势。如短文本服务Twitter增加了对图片和视频分享的支持，并在近日全力推出了短视频分享服务Vine；其在Andorid平台上线仅仅一周便排名免费应用（APP）榜第4位，上线一个月后外链分享数量就超过Instagram。而腾讯推出的语音聊天工具微信，两年内用户突破3亿，已经超越中国第一聊天工具，并有取代短信的趋势。
Mor Naaman[1]第一次将社会多媒体定义为“支持个体参与、社区形成和社会交互的在线多媒体资源”。从这一定义看出，社会多媒体可简单理解为社会媒体和多媒体的综合体。社会多媒体由3个基本元素构成：多媒体内容、网络用户和社会交互。社会多媒体计算是社会学与多媒体技术深度融合后产生的跨学科研究[2]，其目的是通过分析和利用社会交互，将多媒体内容与网络用户连接，以应用于信息服务、网络通信、多媒体娱乐、医疗健康、安全监控等。对应于社会多媒体的3要素，社会多媒体计算包含3个主要任务：社会多媒体内容理解、网络用户建模和社会媒体网络分析。
在社会多媒体的3要素中，网络用户尤为重要。与一般的网络多媒体不同，社会多媒体包含了重要的用户参与，更注重用户间的交互，用户从信息的被动接受者转变为信息的主动贡献者。网络用户是社会媒体中基本的数据采集单元，一定程度上，是用户的积极参与和社会交互-用户贡献内容（UGC）促成了社会媒体的发展和社会多媒体内容的繁荣。将网络用户理解为数据感知器，社会多媒体实际是由用户所见、所听、所说、所想组成的。据EMC公司统计，平均每个人贡献的社会媒体数据已经接近45 GB，而这其中主要是多媒体数据。将个体贡献的社会多媒体数据进行整合，可以挖掘出极具价值的群体智能。如经典的ESP游戏将用户协作完成任务时的知识应用于图像标注和图像分割；最近被Google收购的导航应用通过收集并分析用户提交的出行时间和路线状况生成实时路况信息。UGC不仅是社会多媒体的主要组成部分，还成为了人们获取信息的主要渠道。杂志类社交应用Flipboard将网络用户在各社交网站上贡献的信息根据个体喜好加以，并以电子杂志形式输出。其获得了2013年全球移动通信大会最佳整体移动应用程序奖。据AccuStream统计，互联网视频浏览总量中有77.9%聚焦于用户上传视频，专业视频所拥有的浏览量只占22.1%；这一比例在最大的视频分享和浏览网站YouTube上更是达到了悬殊的9以用户为中心的社会多媒体计算相关范文由写论文的好帮手www.7ctime.com提供,转载请保留.4%比6%。在教育领域，大规模在线开放课堂（MOOC）在2011—2013年经历了10倍的增长，作为远程教育的新形式，为大学开放教育资源提供了新的解决思路。人们在信息获取时对UGC的偏好甚至还体现在医疗领域，一项来自ORCInternatinal的统计显示，有67%的受调查者曾在网上搜索UGC评论，借此了解和比较所使用的药品。
在社会多媒体背景下，网络用户既是信息的贡献者，又是信息的服务对象。社会多媒体有显著的消费化趋势。iUserTracke论文导读：上所述可知，在社会多媒体背景下，用户既是基本的数据采集单元，又是最终的信息服务对象。本文从用户的角度重新解读社会多媒体计算，结合我们最近的研究工作，提出以用户为中心的社会多媒体计算框架。一般社会多媒体计算的3个任务，在以用户为中心的社会多媒体计算框架下本文重新解读为：用户感知的社会多媒体内容理解、基于网络行
r显示，2013年1月份中国网络用户使用量前4位的网络服务分别是搜索、视频浏览、社交网络和新闻。可以看出，信息服务已经成为中国最主要的网络服务应用，内容涵盖日常生活、工作和娱乐。然而，社会媒体的发展为基于社会多媒体的信息服务带来的不仅是机遇，同时还有挑战。在信息爆炸面前，网络用户很容易迷失在丰富繁多的社会媒体内容里。传统的一对多式的信息服务已经无法满足用户的需求，越来越多的信息服务应用开始探索个性化的一对一式服务。例如，Google搜索利用用户在Google+中的+1行为对搜索结果进行个性化重排序，豆瓣电台分析用户的收听历史和喜好专属电台等。个性化信息服务的关键是准确、及时的用户建模，即通过分析用户行为，理解用户意图和喜好，从而将最相关的内容推送给最需要的用户。综上所述可知，在社会多媒体背景下，用户既是基本的数据采集单元，又是最终的信息服务对象。本文从用户的角度重新解读社会多媒体计算，结合我们最近的研究工作，提出以用户为中心的社会多媒体计算框架。一般社会多媒体计算的3个任务，在以用户为中心的社会多媒体计算框架下本文重新解读为：用户感知的社会多媒体内容理解、基于网络行为的用户建模、社会媒体网络用户关系分析。
1 用户感知的社会多媒体
内容理以用户为中心的社会多媒体计算由优秀论文网站www.7ctime.com提供,助您写好论文.解
网络用户积极参与到社会多媒体内容的创建、共享、浏览、标注、评论等交互活动中。用户与多媒体内容的交互体现了用户对内容的理解，比如用户对图像的标注反映了图像的语义[3]，用户浏览视频过程中的暂停等行为提供了视频的结构信息[4]等。分析这些用户-内容交互为解决多媒体内容理解中的语义鸿沟理由提供了新的思路，下面我们以基于用户标注的图像标注增强为例介绍用户感知的社会多媒体内容理解。
多媒体搜索大致经历了基于多媒体内容、基于周围文本信息、和基于标注信息3个阶段。相比基于内容对视觉特征的依赖、基于周围文本对噪声的敏感，基于标注的多媒体搜索被认为是最接近语义搜索的。然而，大规模的原始用户标注存在着不准确、不完整和主观模糊等理由，限制了基于标注的多媒体检索的实际效果[5]。
现有的针对社会标注的分析工作大致可分为自动标注、标注增强、标注到区域等，旨在对原始标注进行处理，去除噪音、补充缺失标注、得到区域层语义等，使其更好地为多媒体内容理解和多媒体检索等任务服务。这些工作解决思路的核心都是利用和分析多媒体文档与标注之间的二元关系。实际上，多媒体分享网站中有3类基本元素：多媒体文档、标注和用户。图1以图像分享网站Flickr为例，展示了图片分享网站的典型生态结构，其中用户作为标注行为的发起者，与图像和标注产生多种交互行为，挖掘用户信息将有助于理解原始标注数据，从而提高社会标注分析的效果。
我们提出将用户信息引入社会标注分析[6]，利用三阶张量对用户、图像和标注3种因子同时建模，并提出基于排序的多关联因子分析模型（RMTF）用于提取改善的因子表示。其中，为了充分利用标注数据，有效减少用户原始标注不完整和噪声的影响，我们提出一种基于排序的张量重构优化框架，同时利用标注的上下文关系和语义关系来构造训练正样本集和负样本集。另外，为了解决原始标注张量严重稀疏的理由，用户、图片、标注之间的二元相似性被作为平滑约束项加入到优化方程中。张量重构得到图像、标注和用户3个因子矩阵，分别定义了对应实体的隐含子空间。通过对因子矩阵进行空间转换，可以分别得到改善的二元和三元关系，应用于不同的理由。实际上，所提出的RMTF模型将3种实体有机结合在一个框架下，考虑不同实体之间的异质或同质关系，可以应用到如个性化图片检索（用户-图片）、用户建模（用户-标注）、好友推荐（用户-用户）等理由中。另外，社会媒体网站中存在各种各样的元数据，如描述、评论、评分等，沿着这一工作，另一个有作用的拓展方向是将各种元数据统一到一个新的框架中，可以更深刻地理解社会媒体不同实体的交互，更好地服务于协同搜索和推荐理由。
2 基于网络行为的用户建模
社会媒体上能直接得到的用户信息非常有限，其准确性和丰富程度不足以用来分析用户兴趣并进行信息服务。一方面，大多数用户没有耐心在注册时将主动提供给在线服务，这导致了用户注册信息的稀疏性和噪声；另一方面，目前的社会媒体对于用户隐私的保护机制不够健全，用户不愿将在网络上公开。基于Google+上最活跃的20万用户统计发现，只有22.5%的用户提供了个人婚姻状况，而提供年龄信息的用户比例则只有12.4%。然而，优质的个性化信息服务需要准确完整的用户信息。用户丰富的在线活动，如搜索记录、博客、推文、签到记录、评论等，反映了用户的基本属性信息和兴趣偏向。因而，解决用户信息稀疏和噪声理由的主要思路是基于用户的网络行为进行用户建模[7]，下面我们介绍如何通过分析Google+用户的网络行为来推断用户的基本属性信息。
用户的基本属性包括性别、年龄、婚姻状况、职业、兴趣等，它们之间不是独立的。图2显示了基于1亿Google+用户统计的用户基本属性之间的关系。从图2（1）可以看出，年龄小于24岁的用户中多数为单身，且有更大比例为学生；从图2（2）可以看出，男性用户的职业多集中在工程师以及IT行业等，而女性用户则有较大比例从事老师、护士等职业。由此可见，用户的属性之间存在正相关或负相关的关系。因而，本工作将利用用户属性之间的关联性质来进行用户属性的协同推断。
我们考虑了性别、年龄、婚姻状况、职业、兴趣、情感倾向等7种基本用户属性，并根据Google+用户的实际属性分布为每种属性定义了若干类别，如性别包括男性和女性两个类别，年龄包括青年（小于30岁）和中老年（大于30岁）两个区间等。我们提出的基于关联属性推断的用户建模框架如图3所示。首先基于用户在线行为内容提取多模态的用户特征，包括3种视觉特征：用户上传图片中检测到的人脸、Profile图像、创建Post中的图像，以及3种文本特征：一元文本特征、语法论文导读：态概率生成式模型，将图片内容和标注的生成过程反推来进行推断。以用户为节点，用户-影响用户的社会链接为边，模型的输出包括主题空间、节点的主题分布、以及主题敏感的边强度。边的强度对应了主题敏感的影响力数值，而节点的主题分布表示了对应用户的特长。通过挖掘联系人网络中的主题敏感影响用户，可以将其应用到个性化检索理
文本特征、主题语义特征。模型部分包括3步：支持向量机（SVM）分类器学习为每一种特征训练独立的SVM分类器，然后通过堆SVM[8]将单个SVM分类器的输出进行融合。为了利用用户属性之间的关系，我们提出关联隐SVM模型（RLSVM）[9]进行最终的属性推断和关联属性挖掘。基本思路是：当推断一种用户属性（主属性）时，将其他用户属性（辅助属性）作为模型的隐变量，不同的势能函数反映了用户特征向量、主属性和辅助属性两两共生的概率。模型优化的目标是使各种势能函数在观测到的用户数据集上最小（即概率最大）。模型求解采用最大化间隔框架，转化为二次规划理由，模型参数采用割平面策略获得，进而通过标签的信念传播得到各隐变量的数值。我们提出的关联隐SVM模型在得到用户属性推断结果的同时，获得了用户各类属性之间的关联强度。通过结合用户属性和属性关联强度，我们设计了基于结构化属性的用户搜索应用，例如可以查找属性同时为“年龄：年轻”、“职业：IT”、“情感倾向：积极”的用户。
3 社会媒体网络用户关系
分析
社会媒体中的用户彼此连接构成社会网络，社会关系加速了多媒体信息在社会媒体网络的交换和传播。截至2012年10月，Facebook上单个用户的平均好友数已经达到190位，而根据Dunbar’ number统计，平均每个人在真实世界中的好友上限为150。这显示了用户社会关系在社会媒体网站中的重要作用，用户关系分析对于社会多媒体分析和应用至关重要。
社会网络中的用户关系包括双向的链接如LinkedIn中的“Connect”、Facebook中的“Add Friend”，以及单向的链接如Twitter中的“Follow”、Flickr中的“Contact”和Youtube中的“Subscribe”。这些社会链接影响着用户的行为和社会网络的动态发展。比如，LinkedIn上的同事会影响一个人在工作上的选择，Facebook上的好友则会影响一个人在生活中的喜好。分析和理解这些社会链接可以促生很多重要的应用，如病毒式营销、协同信息检索和推荐[10]。下面我们将以图片分享网站Flickr中的单向社会链接，即影响力关系为例，介绍用户关系分析在社会媒体应用中的作用[11]。
社会影响力分析已经吸引了很多研究者的兴趣，如研究影响力是否存在、最大化影响力传播、以及影响用户演化等。基于社会影响力进行信息检索的基本思路是，通过分析对搜索者有影响的其他用户的偏好，可以预测搜索者的偏好。影响用户和搜索者之间的影响关系有两个本质特点：
（1）影响力是连续的
这一点很好理解，因为离散二值化的影响关系（即影响与否）不足以描述社会关系的强度。近年，已有工作对连续的影响关系进行建模[12]。
（2）影响关系是主题敏感的
给定一个单向的影响关系网络，真正的影响用户随任务变化而变化。我们用图4中的示例来解释这一点，Bob在Flickr上的联系人（Contact）网络包括3个影响用户：Tom、Emily和Jason。每个影响用户的右边显示了他们在Trel、Fashion和Technology 3个主题上的以用户为中心的社会多媒体计算论文资料由论文网www.7ctime.com提供,转载请保留地址.特长。假设Bob在为他的蜜月旅行搜索“Tahiti”的照片，很显然Tom的偏好会对他影响最大；而当Bob搜索“D&G Fashion Show”的图片时，他应该更多地借鉴Emily的意见。这说明在某些主题上，有些影响用户更为值得信任，即影响力是主题敏感的。目前很少有相关工作对主题敏感的影响力关系进行建模，尤其在社会多媒体领域。
在Flickr中，用户可以添加其他用户为联系人，即潜在的影响用户。除了用户之间显性的单向影响关系链接，还可以利用的资源，包括用户上传的图片和添加的标注信息。图片分享网站上的多模态信息为主题敏感的影响用户挖掘理由同时带来了机会和挑战。我们将多模态的主题敏感影响关系挖掘理由定义如下：输入用户的联系人网络、标注集合和上传图片集合。通过本文提出的一种多模态概率生成式模型，将图片内容和标注的生成过程反推来进行推断。以用户为节点，用户-影响用户的社会链接为边，模型的输出包括主题空间、节点的主题分布、以及主题敏感的边强度。边的强度对应了主题敏感的影响力数值，而节点的主题分布表示了对应用户的特长。通过挖掘联系人网络中的主题敏感影响用户，可以将其应用到个性化检索理由中。借鉴基于风险最小化的信息检索策略，我们提出了一种个性化检索的通用框架。新提出的框架可以在建模时结合影响用户的偏好和标注的置信度信息。主题敏感的影响关系和用户特长可以直接融合进对查询词和图像文档语言模型（LM）的拓展中。
4 结束语
用户既是基本的社会媒体数据采集单元，又是社会媒体信息服务的最终对象。对应社会多媒体计算的3个基本任务，我们提出了以用户为中心的社会多媒体计算框架，并结合具体研究工作介绍了用户感知的社会多媒体内容理解、基于网络行为的用户建模和社会媒体网络用户关系分析3方面的任务。
未来社会多媒体计算的一个重要研究方向是结合网络空间信息的综合性和便捷性和物理空间的本地性设计应用。用户在这一过程中担任着连接二元空间的重要作用。如图5所示，用户相关交互构成社会网络，即社会空间；社会空间连接网络和物理空间。网络-社会-物理空间数据通过事件进行组织，用户是网络-社会-物理计算的基本研究线索，事件则是网络-社会-物理计算的主要研究对象。以用户为中心的网络-社会-物理计算有着广泛的应用潜力，以基于用户的二元空间事件跟踪为例，物理和网络空间数据通过用户连接，定义事件空间中的一个点；用户彼此交互构成社会网络，将不同时空的社会网络定义的事件团进行关联，构成在二元空间进行的事件全貌。
参考文献
[1] NAAMAN M. Social multimedia： highlighting opportunities for search and mining of multimedia data论文导读：recommendation//Proceedingsofthe32ndinternationalACMSIGIRconferenceonResearchanddevelopmentininformation，2009，NewYork，NY，USA：ACM，2009：195-202.doi：10.1145/1571941.1571977.SANGJT，XUCS.Rightbuddymakesthedifference：anearlyexplorationofsocialrelationanalysis
in social media applications [J]. Multimedia Tools and Applications， 2012，56（1）： 9-3
[6] SANG J T， XU C S， LIU J. User-Aware Image Tag Refinement via Ternary Semantic Analysis [J]. IEEE Transactions on Multimedia， 2012，14（3）： 883-895. doi： 10.1109/TMM.201
[8] WOLPERT D H. Stacked generalization [J]. Neural Networks， 1992，5（2）：241-259.
[9] WANG Y， MORI G. A discriminative latent model of object classes and attributes [C] //Proceedings of the ECCV， September 5-11， 2010， Heraklion， Crete， Greece， 2010：155-168. doi： 10.1007/978-3-642-15555-0_12.
[10] KONSTAS I， STATHOPOULOS V， JOSE J M. On social networks and collaborative recommendation [C] //Proceedings of the 32nd international ACM SIGIR conference on Research and development in information， 2009， New York， NY， USA：ACM， 2009：195-202. doi： 10.1145/157194
[12] XIANG R J， NEVILLE J， ROGATI M. Modeling relationship strength in online social networks [C] //Proceedings of the 19th international conference on World wide web， 2010， New York， NY， USA：ACM， 2010：981-990. doi： 10.1145/1772690.1772790.
作者简介
桑基韬，中国科学院自动化研究所助理研究员、博士；主要研究领域为社会多媒体计算、网络数据挖掘等；已发表论文30余篇。
查正军，中国科学院论文导读：合肥智能机械研究所研究员、博士；主要研究方向为多媒体分析、计算机视觉、模式识别等；已发表论文90余篇。徐常胜，中国科学院自动化研究所研究员、博士；主要研究领域为多媒体分析、计算机视觉、模式识别、图像处理等；已主持基金项目3项；已发表论文200余篇。上一页12345
合肥智能机械研究所研究员、博士；主要研究方向为多媒体分析、计算机视觉、模式识别等；已发表论文90余篇。
徐常胜，中国科学院自动化研究所研究员、博士；主要研究领域为多媒体分析、计算机视觉、模式识别、图像处理等；已主持基金项目3项；已发表论文200余篇。
1009-6868 （2014） 01-0026-005
User-Centric Social Multimedia Computing
摘要：从用户的角度解读社会多媒体计算框架，提出一种以用户为中心的社会多媒体计算框架。在这个框架下，重新探讨了以用户为中心的社会多媒体计算3方面的任务：用户感知的多媒体内容理解、基于网络行为的用户建模、社会媒体网络用户关系分析。
关键词： 社会多媒体计算；以用户为中心；多媒体内容分析；用户建模；用户关系分析
Abstract： A user-centric social multimedia computing framework is proposed in this paper. We look at three example works in order to propose three fundamental tasks in user-centric social multimedia computing： understanding user-aware social multimedia content， modeling online activity of users， and analyzing social relationships.
Key words： social multimedia computing； user-centric analysis； multimedia content analysis； user modeling； social relationship analysis
近10年的网络发展见证了社会媒体（Social Media）信息的爆炸式增长。据统计，每分钟有超过100 h的视频被上传到视频分享网站YouTube，每个月观看的视频数量超过了60亿小时。根据维基百科的定义，广义的社会媒体涵盖了时下几乎所有流行的Web2.0网站和服务，其包括社交网站、图片分享、视频分享、签到网站、微博、博客、实时通讯、社交游戏、虚拟世界、RSS订阅等。
社会媒体具有典型的多媒体特性，大多社会媒体服务都与多媒体数据进行深度交互，如图像分享（Flickr、Picasa提供）、视频共享（YouTube、Vimeo、优酷提供）、音频音乐共享（last.fm、ccMixter、FreeSound提供）。此外，一些新兴的社会媒体应用还包括虚拟世界（Second Life提供）、网络游戏（World of Warcraft、WarHammer Online提供）等新模态数据。多媒体数据已经成为社会媒体最主要的分享和交互媒介。GlobalWebIndex公布的2013年第一季度最活跃的15家社会媒体网站中，有4家专注于多媒体内容分享，其他则为以多媒体内容为重要交互媒介的社交网络服务（SNS）和微博类网站。社会媒体呈现出明显的多媒体化趋势。如短文本服务Twitter增加了对图片和视频分享的支持，并在近日全力推出了短视频分享服务Vine；其在Andorid平台上线仅仅一周便排名免费应用（APP）榜第4位，上线一个月后外链分享数量就超过Instagram。而腾讯推出的语音聊天工具微信，两年内用户突破3亿，已经超越中国第一聊天工具，并有取代短信的趋势。
Mor Naaman[1]第一次将社会多媒体定义为“支持个体参与、社区形成和社会交互的在线多媒体资源”。从这一定义看出，社会多媒体可简单理解为社会媒体和多媒体的综合体。社会多媒体由3个基本元素构成：多媒体内容、网络用户和社会交互。社会多媒体计算是社会学与多媒体技术深度融合后产生的跨学科研究[2]，其目的是通过分析和利用社会交互，将多媒体内容与网络用户连接，以应用于信息服务、网络通信、多媒体娱乐、医疗健康、安全监控等。对应于社会多媒体的3要素，社会多媒体计算包含3个主要任务：社会多媒体内容理解、网络用户建模和社会媒体网络分析。
在社会多媒体的3要素中，网络用户尤为重要。与一般的网络多媒体不同，社会多媒体包含了重要的用户参与，更注重用户间的交互，用户从信息的被动接受者转变为信息的主动贡献者。网络用户是社会媒体中基本的数据采集单元，一定程度上，是用户的积极参与和社会交互-用户贡献内容（UGC）促成了社会媒体的发展和社会多媒体内容的繁荣。将网络用户理解为数据感知器，社会多媒体实际是由用户所见、所听、所说、所想组成的。据EMC公司统计，平均每个人贡献的社会媒体数据已经接近45 GB，而这其中主要是多媒体数据。将个体贡献的社会多媒体数据进行整合，可以挖掘出极具价值的群体智能。如经典的ESP游戏将用户协作完成任务时的知识应用于图像标注和图像分割；最近被Google收购的导航应用通过收集并分析用户提交的出行时间和路线状况生成实时路况信息。UGC不仅是社会多媒体的主要组成部分，还成为了人们获取信息的主要渠道。杂志类社交应用Flipboard将网络用户在各社交网站上贡献的信息根据个体喜好加以，并以电子杂志形式输出。其获得了2013年全球移动通信大会最佳整体移动应用程序奖。据AccuStream统计，互联网视频浏览总量中有77.9%聚焦于用户上传视频，专业视频所拥有的浏览量只占22.1%；这一比例在最大的视频分享和浏览网站YouTube上更是达到了悬殊的9以用户为中心的社会多媒体计算相关范文由写论文的好帮手www.7ctime.com提供,转载请保留.4%比6%。在教育领域，大规模在线开放课堂（MOOC）在2011—2013年经历了10倍的增长，作为远程教育的新形式，为大学开放教育资源提供了新的解决思路。人们在信息获取时对UGC的偏好甚至还体现在医疗领域，一项来自ORCInternatinal的统计显示，有67%的受调查者曾在网上搜索UGC评论，借此了解和比较所使用的药品。
在社会多媒体背景下，网络用户既是信息的贡献者，又是信息的服务对象。社会多媒体有显著的消费化趋势。iUserTracke论文导读：上所述可知，在社会多媒体背景下，用户既是基本的数据采集单元，又是最终的信息服务对象。本文从用户的角度重新解读社会多媒体计算，结合我们最近的研究工作，提出以用户为中心的社会多媒体计算框架。一般社会多媒体计算的3个任务，在以用户为中心的社会多媒体计算框架下本文重新解读为：用户感知的社会多媒体内容理解、基于网络行
r显示，2013年1月份中国网络用户使用量前4位的网络服务分别是搜索、视频浏览、社交网络和新闻。可以看出，信息服务已经成为中国最主要的网络服务应用，内容涵盖日常生活、工作和娱乐。然而，社会媒体的发展为基于社会多媒体的信息服务带来的不仅是机遇，同时还有挑战。在信息爆炸面前，网络用户很容易迷失在丰富繁多的社会媒体内容里。传统的一对多式的信息服务已经无法满足用户的需求，越来越多的信息服务应用开始探索个性化的一对一式服务。例如，Google搜索利用用户在Google+中的+1行为对搜索结果进行个性化重排序，豆瓣电台分析用户的收听历史和喜好专属电台等。个性化信息服务的关键是准确、及时的用户建模，即通过分析用户行为，理解用户意图和喜好，从而将最相关的内容推送给最需要的用户。综上所述可知，在社会多媒体背景下，用户既是基本的数据采集单元，又是最终的信息服务对象。本文从用户的角度重新解读社会多媒体计算，结合我们最近的研究工作，提出以用户为中心的社会多媒体计算框架。一般社会多媒体计算的3个任务，在以用户为中心的社会多媒体计算框架下本文重新解读为：用户感知的社会多媒体内容理解、基于网络行为的用户建模、社会媒体网络用户关系分析。
1 用户感知的社会多媒体
内容理以用户为中心的社会多媒体计算由优秀论文网站www.7ctime.com提供,助您写好论文.解
网络用户积极参与到社会多媒体内容的创建、共享、浏览、标注、评论等交互活动中。用户与多媒体内容的交互体现了用户对内容的理解，比如用户对图像的标注反映了图像的语义[3]，用户浏览视频过程中的暂停等行为提供了视频的结构信息[4]等。分析这些用户-内容交互为解决多媒体内容理解中的语义鸿沟理由提供了新的思路，下面我们以基于用户标注的图像标注增强为例介绍用户感知的社会多媒体内容理解。
多媒体搜索大致经历了基于多媒体内容、基于周围文本信息、和基于标注信息3个阶段。相比基于内容对视觉特征的依赖、基于周围文本对噪声的敏感，基于标注的多媒体搜索被认为是最接近语义搜索的。然而，大规模的原始用户标注存在着不准确、不完整和主观模糊等理由，限制了基于标注的多媒体检索的实际效果[5]。
现有的针对社会标注的分析工作大致可分为自动标注、标注增强、标注到区域等，旨在对原始标注进行处理，去除噪音、补充缺失标注、得到区域层语义等，使其更好地为多媒体内容理解和多媒体检索等任务服务。这些工作解决思路的核心都是利用和分析多媒体文档与标注之间的二元关系。实际上，多媒体分享网站中有3类基本元素：多媒体文档、标注和用户。图1以图像分享网站Flickr为例，展示了图片分享网站的典型生态结构，其中用户作为标注行为的发起者，与图像和标注产生多种交互行为，挖掘用户信息将有助于理解原始标注数据，从而提高社会标注分析的效果。
我们提出将用户信息引入社会标注分析[6]，利用三阶张量对用户、图像和标注3种因子同时建模，并提出基于排序的多关联因子分析模型（RMTF）用于提取改善的因子表示。其中，为了充分利用标注数据，有效减少用户原始标注不完整和噪声的影响，我们提出一种基于排序的张量重构优化框架，同时利用标注的上下文关系和语义关系来构造训练正样本集和负样本集。另外，为了解决原始标注张量严重稀疏的理由，用户、图片、标注之间的二元相似性被作为平滑约束项加入到优化方程中。张量重构得到图像、标注和用户3个因子矩阵，分别定义了对应实体的隐含子空间。通过对因子矩阵进行空间转换，可以分别得到改善的二元和三元关系，应用于不同的理由。实际上，所提出的RMTF模型将3种实体有机结合在一个框架下，考虑不同实体之间的异质或同质关系，可以应用到如个性化图片检索（用户-图片）、用户建模（用户-标注）、好友推荐（用户-用户）等理由中。另外，社会媒体网站中存在各种各样的元数据，如描述、评论、评分等，沿着这一工作，另一个有作用的拓展方向是将各种元数据统一到一个新的框架中，可以更深刻地理解社会媒体不同实体的交互，更好地服务于协同搜索和推荐理由。
2 基于网络行为的用户建模
社会媒体上能直接得到的用户信息非常有限，其准确性和丰富程度不足以用来分析用户兴趣并进行信息服务。一方面，大多数用户没有耐心在注册时将主动提供给在线服务，这导致了用户注册信息的稀疏性和噪声；另一方面，目前的社会媒体对于用户隐私的保护机制不够健全，用户不愿将在网络上公开。基于Google+上最活跃的20万用户统计发现，只有22.5%的用户提供了个人婚姻状况，而提供年龄信息的用户比例则只有12.4%。然而，优质的个性化信息服务需要准确完整的用户信息。用户丰富的在线活动，如搜索记录、博客、推文、签到记录、评论等，反映了用户的基本属性信息和兴趣偏向。因而，解决用户信息稀疏和噪声理由的主要思路是基于用户的网络行为进行用户建模[7]，下面我们介绍如何通过分析Google+用户的网络行为来推断用户的基本属性信息。
用户的基本属性包括性别、年龄、婚姻状况、职业、兴趣等，它们之间不是独立的。图2显示了基于1亿Google+用户统计的用户基本属性之间的关系。从图2（1）可以看出，年龄小于24岁的用户中多数为单身，且有更大比例为学生；从图2（2）可以看出，男性用户的职业多集中在工程师以及IT行业等，而女性用户则有较大比例从事老师、护士等职业。由此可见，用户的属性之间存在正相关或负相关的关系。因而，本工作将利用用户属性之间的关联性质来进行用户属性的协同推断。
我们考虑了性别、年龄、婚姻状况、职业、兴趣、情感倾向等7种基本用户属性，并根据Google+用户的实际属性分布为每种属性定义了若干类别，如性别包括男性和女性两个类别，年龄包括青年（小于30岁）和中老年（大于30岁）两个区间等。我们提出的基于关联属性推断的用户建模框架如图3所示。首先基于用户在线行为内容提取多模态的用户特征，包括3种视觉特征：用户上传图片中检测到的人脸、Profile图像、创建Post中的图像，以及3种文本特征：一元文本特征、语法论文导读：态概率生成式模型，将图片内容和标注的生成过程反推来进行推断。以用户为节点，用户-影响用户的社会链接为边，模型的输出包括主题空间、节点的主题分布、以及主题敏感的边强度。边的强度对应了主题敏感的影响力数值，而节点的主题分布表示了对应用户的特长。通过挖掘联系人网络中的主题敏感影响用户，可以将其应用到个性化检索理
文本特征、主题语义特征。模型部分包括3步：支持向量机（SVM）分类器学习为每一种特征训练独立的SVM分类器，然后通过堆SVM[8]将单个SVM分类器的输出进行融合。为了利用用户属性之间的关系，我们提出关联隐SVM模型（RLSVM）[9]进行最终的属性推断和关联属性挖掘。基本思路是：当推断一种用户属性（主属性）时，将其他用户属性（辅助属性）作为模型的隐变量，不同的势能函数反映了用户特征向量、主属性和辅助属性两两共生的概率。模型优化的目标是使各种势能函数在观测到的用户数据集上最小（即概率最大）。模型求解采用最大化间隔框架，转化为二次规划理由，模型参数采用割平面策略获得，进而通过标签的信念传播得到各隐变量的数值。我们提出的关联隐SVM模型在得到用户属性推断结果的同时，获得了用户各类属性之间的关联强度。通过结合用户属性和属性关联强度，我们设计了基于结构化属性的用户搜索应用，例如可以查找属性同时为“年龄：年轻”、“职业：IT”、“情感倾向：积极”的用户。
3 社会媒体网络用户关系
分析
社会媒体中的用户彼此连接构成社会网络，社会关系加速了多媒体信息在社会媒体网络的交换和传播。截至2012年10月，Facebook上单个用户的平均好友数已经达到190位，而根据Dunbar’ number统计，平均每个人在真实世界中的好友上限为150。这显示了用户社会关系在社会媒体网站中的重要作用，用户关系分析对于社会多媒体分析和应用至关重要。
社会网络中的用户关系包括双向的链接如LinkedIn中的“Connect”、Facebook中的“Add Friend”，以及单向的链接如Twitter中的“Follow”、Flickr中的“Contact”和Youtube中的“Subscribe”。这些社会链接影响着用户的行为和社会网络的动态发展。比如，LinkedIn上的同事会影响一个人在工作上的选择，Facebook上的好友则会影响一个人在生活中的喜好。分析和理解这些社会链接可以促生很多重要的应用，如病毒式营销、协同信息检索和推荐[10]。下面我们将以图片分享网站Flickr中的单向社会链接，即影响力关系为例，介绍用户关系分析在社会媒体应用中的作用[11]。
社会影响力分析已经吸引了很多研究者的兴趣，如研究影响力是否存在、最大化影响力传播、以及影响用户演化等。基于社会影响力进行信息检索的基本思路是，通过分析对搜索者有影响的其他用户的偏好，可以预测搜索者的偏好。影响用户和搜索者之间的影响关系有两个本质特点：
（1）影响力是连续的
这一点很好理解，因为离散二值化的影响关系（即影响与否）不足以描述社会关系的强度。近年，已有工作对连续的影响关系进行建模[12]。
（2）影响关系是主题敏感的
给定一个单向的影响关系网络，真正的影响用户随任务变化而变化。我们用图4中的示例来解释这一点，Bob在Flickr上的联系人（Contact）网络包括3个影响用户：Tom、Emily和Jason。每个影响用户的右边显示了他们在Trel、Fashion和Technology 3个主题上的以用户为中心的社会多媒体计算论文资料由论文网www.7ctime.com提供,转载请保留地址.特长。假设Bob在为他的蜜月旅行搜索“Tahiti”的照片，很显然Tom的偏好会对他影响最大；而当Bob搜索“D&G Fashion Show”的图片时，他应该更多地借鉴Emily的意见。这说明在某些主题上，有些影响用户更为值得信任，即影响力是主题敏感的。目前很少有相关工作对主题敏感的影响力关系进行建模，尤其在社会多媒体领域。
在Flickr中，用户可以添加其他用户为联系人，即潜在的影响用户。除了用户之间显性的单向影响关系链接，还可以利用的资源，包括用户上传的图片和添加的标注信息。图片分享网站上的多模态信息为主题敏感的影响用户挖掘理由同时带来了机会和挑战。我们将多模态的主题敏感影响关系挖掘理由定义如下：输入用户的联系人网络、标注集合和上传图片集合。通过本文提出的一种多模态概率生成式模型，将图片内容和标注的生成过程反推来进行推断。以用户为节点，用户-影响用户的社会链接为边，模型的输出包括主题空间、节点的主题分布、以及主题敏感的边强度。边的强度对应了主题敏感的影响力数值，而节点的主题分布表示了对应用户的特长。通过挖掘联系人网络中的主题敏感影响用户，可以将其应用到个性化检索理由中。借鉴基于风险最小化的信息检索策略，我们提出了一种个性化检索的通用框架。新提出的框架可以在建模时结合影响用户的偏好和标注的置信度信息。主题敏感的影响关系和用户特长可以直接融合进对查询词和图像文档语言模型（LM）的拓展中。
4 结束语
用户既是基本的社会媒体数据采集单元，又是社会媒体信息服务的最终对象。对应社会多媒体计算的3个基本任务，我们提出了以用户为中心的社会多媒体计算框架，并结合具体研究工作介绍了用户感知的社会多媒体内容理解、基于网络行为的用户建模和社会媒体网络用户关系分析3方面的任务。
未来社会多媒体计算的一个重要研究方向是结合网络空间信息的综合性和便捷性和物理空间的本地性设计应用。用户在这一过程中担任着连接二元空间的重要作用。如图5所示，用户相关交互构成社会网络，即社会空间；社会空间连接网络和物理空间。网络-社会-物理空间数据通过事件进行组织，用户是网络-社会-物理计算的基本研究线索，事件则是网络-社会-物理计算的主要研究对象。以用户为中心的网络-社会-物理计算有着广泛的应用潜力，以基于用户的二元空间事件跟踪为例，物理和网络空间数据通过用户连接，定义事件空间中的一个点；用户彼此交互构成社会网络，将不同时空的社会网络定义的事件团进行关联，构成在二元空间进行的事件全貌。
参考文献
[1] NAAMAN M. Social multimedia： highlighting opportunities for search and mining of multimedia data论文导读：recommendation//Proceedingsofthe32ndinternationalACMSIGIRconferenceonResearchanddevelopmentininformation，2009，NewYork，NY，USA：ACM，2009：195-202.doi：10.1145/1571941.1571977.SANGJT，XUCS.Rightbuddymakesthedifference：anearlyexplorationofsocialrelationanalysis
in social media applications [J]. Multimedia Tools and Applications， 2012，56（1）： 9-3
4. doi： 10.1007/s11042-010-0538-7.
[2] TIAN Y H， SRIVASTA J， HUANG T J， et al. Contractor： Social Multimedia Computing [J]. IEEE Computer， 2010，43（8）： 27-36. doi： 10.1109/MC.2010.188.[3] ZHA Z J， YANG L J， MEI T， et al. Visual Query Suggestion [C] //Proceedings of the 17th ACM international conference on Multimedia， 2009， New York， NY， USA：ACM， 2009：25-24. doi： 10.1145/1631272.1631278.
[4] YAMAMOTO D， MASUDA T， OHIRA S， et al. Video Scene Annotation Based on Web Social Activities [J]. IEEE MultiMedia， 2008，15（3）： 22-32. doi： 10.1109/MMUL.2008.67.
[5] LIU D， HUA X S， YANG L J， et al. Tag ranking [C] //Proceedings of the 18th international conference on World wide web， 2009， New York， NY， USA：ACM， 2009：351-360. doi： 10.1145/1526709.1526757.[6] SANG J T， XU C S， LIU J. User-Aware Image Tag Refinement via Ternary Semantic Analysis [J]. IEEE Transactions on Multimedia， 2012，14（3）： 883-895. doi： 10.1109/TMM.201
2.218878
[7] BI B， SHOKOUHI M， KOSINSKI M， et al. Inferring the demographics of search users： social data meets search queries [C] //Proceedings of the 22nd international conference on World Wide Web， 2013， Republic and Canton of Geneva， Switze以用户为中心的社会多媒体计算由专注毕业论文与职称论文的www.7ctime.com提供,转载请保留.rland， 2013： 131-140.[8] WOLPERT D H. Stacked generalization [J]. Neural Networks， 1992，5（2）：241-259.
[9] WANG Y， MORI G. A discriminative latent model of object classes and attributes [C] //Proceedings of the ECCV， September 5-11， 2010， Heraklion， Crete， Greece， 2010：155-168. doi： 10.1007/978-3-642-15555-0_12.
[10] KONSTAS I， STATHOPOULOS V， JOSE J M. On social networks and collaborative recommendation [C] //Proceedings of the 32nd international ACM SIGIR conference on Research and development in information， 2009， New York， NY， USA：ACM， 2009：195-202. doi： 10.1145/157194
1.1571977.
[11] SANG J T， XU C S. Right buddy makes the difference： an early exploration of social relation analysis in multimedia applications [C] //Proceedings of the 20th ACM international conference on Multimedia， 2012， New York， NY， USA：ACM， 2012： 19-28. doi： 10.1145/2393347.2393358.[12] XIANG R J， NEVILLE J， ROGATI M. Modeling relationship strength in online social networks [C] //Proceedings of the 19th international conference on World wide web， 2010， New York， NY， USA：ACM， 2010：981-990. doi： 10.1145/1772690.1772790.
作者简介
桑基韬，中国科学院自动化研究所助理研究员、博士；主要研究领域为社会多媒体计算、网络数据挖掘等；已发表论文30余篇。
查正军，中国科学院论文导读：合肥智能机械研究所研究员、博士；主要研究方向为多媒体分析、计算机视觉、模式识别等；已发表论文90余篇。徐常胜，中国科学院自动化研究所研究员、博士；主要研究领域为多媒体分析、计算机视觉、模式识别、图像处理等；已主持基金项目3项；已发表论文200余篇。上一页12345
合肥智能机械研究所研究员、博士；主要研究方向为多媒体分析、计算机视觉、模式识别等；已发表论文90余篇。
徐常胜，中国科学院自动化研究所研究员、博士；主要研究领域为多媒体分析、计算机视觉、模式识别、图像处理等；已主持基金项目3项；已发表论文200余篇。