分布式环境下话题发现算法性能分析

doi:10.11959/j.issn.1000-436x.2018136

通信学报 ›› 2018, Vol. 39 ›› Issue (8): 176-184.doi: 10.11959/j.issn.1000-436x.2018136

分布式环境下话题发现算法性能分析

邓璐¹,贾焰¹,方滨兴²,周斌¹,张涛¹,刘心¹

¹ 国防科技大学计算机学院，湖南长沙 410073
² 北京邮电大学计算机学院，北京 100876

修回日期:2018-07-03 出版日期:2018-08-01 发布日期:2018-09-13
作者简介:邓璐（1989-），女，湖北松滋人，国防科技大学博士生，主要研究方向为社交网络分析、数据挖掘、复杂网络等。|贾焰（1960-），女，四川成都人，国防科技大学教授、博士生导师，主要研究方向为社交网络分析、信息安全等。|方滨兴（1960-），男，江西万年人，中国工程院院士，北京邮电大学教授、博士生导师，主要研究方向为计算机体系结构、计算机网络与信息安全。|周斌（1971-），男，江西南昌人，国防科技大学教授、博士生导师，主要研究方向为社交网络分析、信息安全等。|张涛（1993-），女，湖南常德人，国防科技大学硕士生，主要研究方向为社交网络分析。|刘心（1993-），女，湖南长沙人，国防科技大学硕士生，主要研究方向为社交网络分析。
基金资助:
国家自然科学基金资助项目(61502517);国家自然科学基金资助项目(61472433);国家自然科学基金资助项目(61732004);国家自然科学基金资助项目(61732022);国家重点研发计划课题基金资助项目(0708068118002);国家重点研发计划课题基金资助项目(2017YFB0803303)

Performance analysis of topic detection algorithms in distributed environment

Lu DENG¹,Yan JIA¹,Binxing FANG²,Bin ZHOU¹,Tao ZHANG¹,Xin LIU¹

¹ College of Computer,National University of Defense Technology,Changsha 410073,China
² College of Computer,Beijing University of Posts and Telecommunications,Beijing 100876,China

Revised:2018-07-03 Online:2018-08-01 Published:2018-09-13
Supported by:
The National Natural Science Foundation of China(61502517);The National Natural Science Foundation of China(61472433);The National Natural Science Foundation of China(61732004);The National Natural Science Foundation of China(61732022);The National Key Research and Development Program of China(0708068118002);The National Key Research and Development Program of China(2017YFB0803303)

摘要/Abstract

摘要：

社交网络成为现在人们生活的一种重要方式，越来越多的人选择通过社交网络表达观点、抒发心情。在海量的数据下，快速发现讨论的内容得到越来越多的研究者的关注，随即出现了大量的话题发现算法。在大规模新浪微博数据环境下，针对3种经典分布式话题发现算法，结合社交网络平台的特点提出了分析性能的测试方案，并根据测试方案比较与分析了3种算法的性能，指出了各算法的优缺点，为后续应用提供参考。

关键词: 话题发现, 分布式环境, 社交网络, 性能分析

Abstract:

Social network has become a way of life,therefore more and more people choose social network to express their views and feelings.Quickly find what people are talking about in big data gets more and more attention.And a lot of related methods of topic detection spring up in this situation.The performance analysis project was proposed based on the characteristics of social network.According to the project,the performances of some typical topic detection algorithms were tested and compared in large-scale data of Sina Weibo.What’s more,the advantages and disadvantages of these algorithms were pointed out so as to provide references for later applications.?

Key words: topic detection, distributed environment, social network, performance analysis

中图分类号:

TP391

邓璐,贾焰,方滨兴,周斌,张涛,刘心. 分布式环境下话题发现算法性能分析[J]. 通信学报, 2018, 39(8): 176-184.

Lu DENG,Yan JIA,Binxing FANG,Bin ZHOU,Tao ZHANG,Xin LIU. Performance analysis of topic detection algorithms in distributed environment[J]. Journal on Communications, 2018, 39(8): 176-184.

图/表 12

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

表2

表3

参考文献 18

[1]	中国互联网络信息中心第41次《中国互联网络发展状况统计报告》[R]. 2018.
	China Internet Network Information Center The 41th statistical report on Internet development in China[R]. 2018.
[2]	DHILLON I S , MODHA D S . Concept decompositions for large sparse text data using clustering[C]// Machine Learning. 2001: 143-175.
[3]	KUMMAMURU K , DHAWALE A , KRISHNAPURAM R . Fuzzy co-clustering of documents and keywords[C]// The IEEE International Conference on Fuzzy Systems. 2003: 772-777.
[4]	ZHAO Y , KARYPIS G . Soft clustering criterion functions for partitional document clustering:a summary of results[C]// Thirteenth ACM International Conference on Information ＆ Knowledge Management. 2004: 246-247.
[5]	MAKKONEN J , AHONENMYKA H , SALMENKIVI M . Topic detection and tracking with spatio-temporal evidence[C]// European Conference on Ir Research. 2003: 251-265.
[6]	WU C , WANG B . Extracting topics based on Word2Vec and improved jaccard similarity coefficient[C]// IEEE Second International Conference on Data Science in Cyberspace. 2017: 389-397.
[7]	HOFMANN T , . Probabilistic latent semantic indexing[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. 1999: 50-57.
[8]	BLEI D M , NG A Y , JORDAN M I . Latent dirichlet allocation[J]. J Machine Learning Research Archive, 2003,3: 993-1022.
[9]	STEYVERS M , GRIFFITHS T . Probabilistic topic models[J]. Handbook of Latent Semantic Analysis, 2007,427(7): 424-440.
[10]	BLEI D , CARIN L , DUNSON D . Probabilistic topic models[C]// ACM SIGKDD International Conference Tutorials. 2011:1.
[11]	BERNHARD S , JOHN P , THOMAS H . A collapsed variational bayesian inference algorithm for latent dirichlet allocation[C]// The Twentieth Conference on Neural Information Processing Systems. 2006: 1353-1360.
[12]	GRIFFITHS T L , STEYVERS M . Finding scientific topics[J]. National Academy of Sciences of the United States of America, 2004: 5228-5235.
[13]	RAMAGE D , . Characterizing microblogs with topic models[C]// International AAAI Conference on Weblogs and Social Media. 2010: 130-137.
[14]	CHEN Z , LIU B . Mining topics in documents:standing on the shoulders of big data[C]// ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2014: 1116-1125.
[15]	LIN T , TIAN W , MEI Q ,et al. The dual-sparse topic model:mining focused topics and focused terms in short text[C]// International Conference on World Wide Web. 2014: 539-550.
[16]	ZHAI K , BOYD G J , ASADI N ,et al. MrLDA:a flexible large scale topic modeling package using variational inference in MapReduce[C]// International Conference on World Wide Web. 2012: 879-888.
[17]	ARONSSON F . Large scale cluster analysis with Hadoop and Mahout[J]. Technology ＆ Engineering, 2015.
[18]	MENG X R , BRADLEY J , BURAK Y ,et al. MLlib:machine learning in apache spark[J]. Journal of Machine Learning Research, 2015,17(1): 1235-1241.

集群规模	迭代次数
	10			30			50
	MrLDA/min	Mahout LDA/min	SparkLDA/min	MrLDA/min	Mahout LDA/min	SparkLDA/min	MrLDA/min	Mahout LDA/min	SparkLDA/min
4	632.73	16.90	1.30	1 981.47	27.52	3.10	2 714.32	44.21	4.80
8	303.60	9.99	1.30	807.37	25.95	3.30	1 334.95	41.06	6.50
16	73.33	10.92	1.50	220.90	27.20	3.40	252.38	44.25	5.60
32	41.63	11.26	1.60	126.50	28.33	4.50	145.78	45.40	5.60

集群规模	迭代次数
	10		30		50
	Mahout LDA/min	Spark LDA/min	Mahout LDA/min	Spark LDA/min	Mahout LDA/min	Spark LDA/min
4	159.07	5.30	244.13	14.00	684.24	22.00
8	71.55	5.60	187.18	14.00	293.10	22.00
16	62.52	6.50	164.67	16.00	260.21	25.00
32	57.19	7.40	164.09	17.00	271.38	28.00

集群规模	迭代次数
	10		30		50
	Mahout LDA/min	Spark LDA/min	Mahout LDA/min	Spark LDA/min	Mahout LDA/min	Spark LDA/min
4	338.07	34.00	903.15	84.00	1454.67	138.00
8	145.56	33.00	384.55	84.00	618.98	138.00
16	125.15	38.00	329.17	96.00	493.88	150.00
32	82.71	44.00	233.39	108.00	378.67	216.00

分布式环境下话题发现算法性能分析

Performance analysis of topic detection algorithms in distributed environment

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 18

相关文章 15

Metrics

推荐阅读 0

[1]	王璿, 张瑜, 周军锋, 陈子阳. 基于社交网络的影响力最大化算法[J]. 通信学报, 2022, 43(8): 151-163.
[2]	彭滔, 钟文韬, 王国军, 罗恩韬, 熊金波, 刘忆宁, Hao Wang. 移动社交网络中面向隐私保护的精确好友匹配[J]. 通信学报, 2022, 43(11): 90-103.
[3]	黎赛, 杨亮, 崔琪楣, 于思源. RIS辅助的混合RF/THz系统性能分析[J]. 通信学报, 2022, 43(1): 49-58.
[4]	王文鼐, 张延贺, 吴炜, 柏琛, 王斌. 分布式排队中退避树的深度优先遍历算法[J]. 通信学报, 2021, 42(2): 72-80.
[5]	刘真,王娜娜,王晓东,孙永奇. 位置社交网络中谱嵌入增强的兴趣点推荐算法[J]. 通信学报, 2020, 41(3): 197-206.
[6]	顾秋阳, 琚春华, 吴功兴. 基于子图演化与改进蚁群优化算法的社交网络链路预测方法[J]. 通信学报, 2020, 41(12): 21-35.
[7]	陈晶,祁子怡. 基于时序关系的社交网络影响最大化算法研究[J]. 通信学报, 2020, 41(10): 211-221.
[8]	毕俊蕾,李致远. 机会社交网络中基于时变兴趣社区的查询消息路由算法[J]. 通信学报, 2019, 40(9): 86-94.
[9]	李凤华,孙哲,牛犇,曹进,李晖. 跨社交网络的隐私图片分享框架[J]. 通信学报, 2019, 40(7): 1-13.
[10]	黄海平,王凯,汤雄,张东军. 基于边介数模型的差分隐私保护方案[J]. 通信学报, 2019, 40(5): 88-97.
[11]	王晓萌, 方滨兴, 张宏莉, 王星. TSL：基于连接强度的Facebook消息流行度预测模型[J]. 通信学报, 2019, 40(10): 1-9.
[12]	闫光辉, 张萌, 罗浩, 李世魁, 刘婷. 融合高阶信息的社交网络重要节点识别算法[J]. 通信学报, 2019, 40(10): 109-118.
[13]	付钰, 俞艺涵, 吴晓平. 大数据环境下差分隐私保护技术及应用[J]. 通信学报, 2019, 40(10): 157-168.
[14]	朱敬华,明骞. LBSN中融合信任与不信任关系的兴趣点推荐[J]. 通信学报, 2018, 39(7): 157-165.
[15]	曾勇,周灵杰,蒋忠元,刘志宏,马建峰. 基于奇异值分解的含权网络匿名化的安全性分析[J]. 通信学报, 2018, 39(5): 23-33.