众包综述——关于众包的一些研究方向

文章目录

    • 准备
    • 1. 结果汇聚（真值推理）
    • 2. 激励机制
    • 3. 空间众包（移动众包）
    • 4. 任务标价
    • 5. 任务分解与分配
    • 6. 众包与社交网络
    • 7. 质量控制
    • 8. 众包安全与隐私保护
    • 9. 众包软件工程
    • 10. 众包数据管理
    • 11. 众包推荐
    • 12. 众包应用

​ 本文主要从结果汇聚（真值推理）、激励机制、空间众包（移动众包）、任务标价、任务分解与分配、众包与社交网络、质量控制、众包安全与隐私保护、众包软件工程、众包数据管理、众包推荐、众包应用这十二个方面介绍众包的整体知识架构。

准备

（1）众包定义：

​ 2006年美国《wired》杂志记者JeffHowe首次在该杂志上使用crowd sourcing(众包)一词，并对其概念做了阐述。他认为“众包”是一场商业变革，即企业通过互联网将工作分包给大众，任何参与者(业余爱好者)都能够借助网络平台来提高创意、解决问题并获取相应的酬金，其实施的关键前提是网络平台的搭建和潜在参与者的网络连接。

（2）众包产生的理论分析：

  • 多样化、差异化的顾客需求为众包提供了市场需求条件
  • 广大企业从封闭式创新走向开放式创新以应对挑战
  • 互联网的出现为众包双方的沟通提供了最有利的条件
  • 社会发展为众包产业的发展提供了最广泛的人力资源供给基础

（3）众包特征：

  • 众包影响并改变着传统的商业模式
  • 众包蕴含着“携手用户协同创新”的理念和有效降低新产品风险的做法
  • 众包模糊了员工和消费者之间的界限，延伸了创新边界
  • “草根”的创新越发成为主流

（4）众包对产业和社会产生的影响：

  • 众包改变了组织架构和颠覆了传统的组织边界
  • 众包改变了传统的创新模式
  • 众包打破了专业化的门槛
  • 众包加速了竞争

（5）众包与外包的相同点：

  • 它们都是是竞争日益激烈的市场经济产物
  • 延伸了组织边界
  • 两者都是网络时代的产物
  • 企业的创新不再局限于企业内部，企业开始向外寻求创新能力，这是对传统创新模式的最大突破

（6）众包与外包的不同点：

外包 众包
实施时间 20世纪80年代开始 21世纪初
实施条件 不局限于互联网 局限于互联网
实施动机 降低成本 解决难题，寻求创意
实施绩效 提高效率 挖掘创意
实施风险 实施风险大 实施风险小
文化基础 合作式文化 参与式文化
体现关系 雇佣关系 合作关系
发包对象选择 专业人士和机构 草根阶层
发包对象数量 对象数量有限 对象数量无限
产品生产者 生产商 消费者、潜在用户
付费情况 关系一旦确定，需不断付出成本 对结果满意时才付费

（7）常见的众包平台：

  • 巨头类：亚马逊AMT、CrowdFlower、阿里众包、百度众包（MKT）、京东众包（尤在物流）、腾讯优测等；
  • IT软件类：Topcoder、Freelancer、oDesk、Guru、空心、码市、威客、快码众包 、中国软件外包平台、开源中国众包平台、程序员客栈 、中软国际旗下—解放号等；
  • 测试类：乌云众测、空心科技、SOBUG、TestBird等；
  • 信息收集及流程管控类：Easyshift、Gigwalk、Istockphoto、微差事、点点赚、敲宝网等；
  • 地图类：DigitalGlobe Tomnod(基于地理信息数据挖掘众包，非营利性)、Moovit（公共交通地图数据众包）、Waze等；
  • 其他：科研类、图书编辑类、创意设计类、维基百科、百度百科、字幕组、知道等等等。

1. 结果汇聚（真值推理）

研究内容：

​ 任务结果的质量很大程度上取决于结果推理，这是一个通过将候选答案聚合而生成任务结果的过程。由于众包受到工人能力、任务难度、激励和其他因素的显著影响，单个候选人的回答质量通常不可靠。因此，从一组不可靠的答案中获得高质量的结果是一个非常重要的问题。这个过程称为众包结果汇聚，也叫真值推理，指的是为了容忍错误，我们可以把一个任务分给多个人，然后整合他们的答案并推导出正确答案。

​ 众包任务大多采用冗余分发的形式，然后通过对结果的比较分析得到可信的结果。如何从众多结果中剔除无用信息和错误信息，最终汇聚或推理出可信结果是非常具有挑战性的问题。主要分为基于投票（多数投票、加权投票）、基于统计知识（ZenCrowd、Dawid&Skene、Naive Bayes、GLAD等）和二次众包的结果协同等结果汇聚算法。

后续可研究方向：

​ 上下文相关任务推理；多数投票算法的改进；设计概率模型使用极大似然估计添加潜在变量（贝叶斯，EM算法）；聚类方法改进；除噪技术改进后进行推理

研究人员：

孙海龙（北航）
Jing Zhang（安徽大学）
Xindong Wu（University of Louisiana at Lafayette）
Victor S. Sheng（University ofCentral Arkansas）
Dapeng Tao，Jun Cheng（云南大学）
Jeronimo Hernandez-Gonzalez ，Inaki Inza（University of the Basque Country）
Yao Ma，Alex Olshevsky（Boston University）

该方向的一些文献：

  • [1] Yili F , Hailong S , Guoliang L , et al. Context-aware result inference in crowdsourcing[J]. Information Sciences, 2018, 460-461:346-363.
  • [2] Chen P P , Sun H L , Fang Y L , et al. Collusion-Proof Result Inference in Crowdsourcing[J]. Journal of Computer Science and Technology, 2018, 33(2):351-365.
  • [3] Jing Zhang and Xindong Wu. 2018. Multi-Label Inference for Crowdsourcing. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '18). ACM, New York, NY, USA, 2738-2747. DOI: https://doi.org/10.1145/3219819.3219958
  • [4] Zhang J , Sheng V S , Wu J . Crowdsourced Label Aggregation Using Bilayer Collaborative Clustering[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019:1-14.
  • [5] Dapeng T , Jun C , Zhengtao Y , et al. Domain-Weighted Majority Voting for Crowdsourcing[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018:1-12.
  • [6] Zhang J , Sheng V S , Li T , et al. Improving Crowdsourced Label Quality Using Noise Correction[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(5):1675-1688.
  • [7] J. Hernández-González, I. Inza, and J. A. Lozano, “A note on the behavior of majority voting in multi-class domains with biased annotators,” IEEE Trans. Knowl. Data Eng., vol. 31, no. 1, pp. 195–200, Jan. 2018, doi: 10.1109/TKDE.2018.2845400.
  • [8] Y. Ma, A. Olshevsky, C. Szepesvari, and V. Saligrama, “Gradient descent for sparse rank-one matrix completion for crowd-sourced aggregation of sparsely interacting workers,” in Proc. ICML, 2018, pp. 3341–3350.

2. 激励机制

研究内容：

​ 众包的激励机制不是纯粹的机器学习问题了，而是商业问题，或者说博弈问题。众包的标注需求方可以设计奖惩规则(Rules)，从而影响标注提供方的趋利行为，而这个博弈问题存在一个对抗： 1. 需求方希望尽量“少付出资金投入，多得到优质标注” 2. 提供方希望尽量“少付出标注劳力，多得到资金回报”。为了解决上述问题，激励机制一般使用两个朴素准则： 1. “真实”（truthful）准则：引导标注提供方，只在有足够的自信前提下才提供标注。 2. “没有免费午餐”（no-free-lunch）准则：如果标注提供方所作的标注都是错的，就不给任何回报。

​ 如何激励工作者尽力完成任务，从而保障在众包平台中结果数据的质量，成为优化众包服务的重要环节。

后续可研究方向：

​ 结合雾计算物联网移动众包的激励机制；使用斯塔克伯格游戏来确定最佳奖励；反向拍卖来设计激励机制；基于博弈论的激励模型；金钱以外的激励因素研究；利用社交社交网络传播；基于用户特征的激励机制；基于区块链加密货币的安全激励机制研究

研究人员：

Ying Hu, Yingjie Wang（烟台大学）
Wei Li, Cheng Zhang（早稻田大学）
Hongwei Wang （上海交通大学）
Song Guo（香港理工大学）
Jia Xu，Chengcheng Guan（南京邮电大学）
Jinliang Xu，Shangguang Wang（北京邮电大学）
Yingjie Wang（华南理工大学）
Zhipeng Cai（哈尔滨工程大学）
Yanru Zhang，Hong Xie，John C. S. Lui（香港中文大学）
Yunan Gu（华为IP技术研究部）

该方向的一些文献：

  • [1] R. Zhao, L. Jiang and J. Zhang, ““An Insurance-based Incentive Mechanism for Mobile Crowdsourcing to Improve System Security,”” 2018 IEEE 22nd International Conference on Computer Supported Cooperative Work in Design ((CSCWD)), Nanjing, 2018, pp. 377-383.
  • [2] W. Li, C. Zhang, Z. Liu and Y. Tanaka, ““Incentive Mechanism Design for Crowdsourcing-Based Indoor Localization,”” in IEEE Access, vol. 6, pp. 54042-54051, 2018.
  • [3] Wang H , Guo S , Cao J , et al. MeLoDy: A Long-Term Dynamic Quality-Aware Incentive Mechanism for Crowdsourcing[J]. IEEE Transactions on Parallel & Distributed Systems, 2018, PP(99):1-1.
  • [4] Xu J , Guan C , Wu H , et al. Online Incentive Mechanism for Mobile Crowdsourcing Based on Two-Tiered Social Crowdsourcing Architecture[C]// 2018 IEEE International Conference on Sensing, Communication and Networking(SECON2018). IEEE, 2018.
  • [5] Xu J , Wang S , Zhang N , et al. Reward or Penalty: Aligning Incentives of Stakeholders in Crowdsourcing[J]. IEEE Transactions on Mobile Computing, 2019, 18(4):974-985.
  • [6] Wang Z , Hu J , Wang Q , et al. Task Bundling Based Incentive for Location-dependent Mobile Crowdsourcing[J]. IEEE Communications Magazine, 2019:1-6.
  • [7] Hong H , Li X , He D , et al. Crowdsourcing Incentives for Multi-Hop Urban Parcel Delivery Network[J]. IEEE Access, 2019, 7:26268-26277.
  • [8] L. Pang, G. Li, X. Yao and Y. Lai, ““An Incentive Mechanism Based on a Bayesian Game for Spatial Crowdsourcing,”” in IEEE Access, vol. 7, pp. 14340-14352, 2019.
  • [9] Yao Q , Chen Z , Quek T Q S , et al. Crowdsourcing in Wireless-powered Task-oriented Networks: Energy Bank and Incentive Mechanism[J]. IEEE Transactions on Wireless Communications, 2018:1-1.
  • [10] Wang Y , Cai Z , Tong X , et al. Truthful incentive mechanism with location privacy-preserving for mobile crowdsourcing systems[J]. Computer Networks, 2018, 135:32-43.
  • [11] Zhang Y , Gu Y , Pan M , et al. Multi-Dimensional Incentive Mechanism in Mobile Crowdsourcing with Moral Hazard[J]. IEEE Transactions on Mobile Computing, 2017:1-1.
  • [12] W. Li, C. Zhang, Z. Liu and Y. Tanaka, ““Incentive Mechanism Design for Crowdsourcing-Based Indoor Localization,”” in IEEE Access, vol. 6, pp. 54042-54051, 2018.
  • [13] Xie H , Lui J C S . Incentive Mechanism and Rating System Design for Crowdsourcing Systems: Analysis, Tradeoffs and Inference[J]. IEEE Transactions on Services Computing, 2016:1-1.

3. 空间众包（移动众包）

研究内容：

​ 随着配备高保真传感器的移动设备的普及以及无线网络资费的快速下降，空间众包作为一种问题解决框架被用于解决将位置相关的任务（如路况报告、食品配送）分配给工人（配备智能设备并愿意完成任务的人）的问题。空间众包基于地理位置和时间的空间众包任务，属于特定类型的任务众包。

​ 空间众包在许多领域都有应用，如新闻、旅游、情报、灾害响应和城市规划等。 在国内，滴滴出行、饿了么、美团众包、蜂鸟众包等空间众包平台对人们的生活产生着重要影响。在空间众包的研究中，任务分配问题是其核心问题之一，此外，基于空间众包的研究也包括激励机制、任务分配、推荐等问题。但是，目前基于空间众包的研究主要还是基于时空数据的路径优化问题以及与传感器等一些硬件相结合的众包研究。

后续可研究方向：

移动众包和物联网结合；空间众包综合成本（时间，距离）评估；空间众包隐私安全模型；基于空间众包空间，时间等特征分配任务；空间众包的激励机制；将空间众包与云计算、边缘计算结合，提高计算性能。

研究人员：

OscarUrra，SergioIlarri（University of Zaragoza）
Yan Liu ; Bin Guo ，Liang Wang，Zhiwen Yu（西北工业大学）
Xinglin Zhang（华南理工大学）
Zheng Yang（清华大学）
LuShen Pang， GuoQing Li（中国科学院）
Jiangang Shu，Ximeng Liu（Singapore Management University）
PengkunWu（哈尔滨工业大学）
Eric W.T.Ngai（香港理工大学）
Luan Tran（University of Southern California）

该方向的一些文献：

  • [1] Oscar Urra, Sergio Ilarri, Spatial crowdsourcing with mobile agents in vehicular networks, Vehicular Communications, Volume 17, 2019,
  • [2] Liu Y , Guo B , Chen C , et al. FooDNet: Toward an Optimized Food Delivery Network based on Spatial Crowdsourcing[J]. IEEE Transactions on Mobile Computing, 2018:1-1.
  • [3] Zhang X , Yang Z , Liu Y , et al. On Reliable Task Assignment for Spatial Crowdsourcing[J]. IEEE Transactions on Emerging Topics in Computing, 2016, PP(99):1-1.
  • [4] L. Pang, G. Li, X. Yao and Y. Lai, ““An Incentive Mechanism Based on a Bayesian Game for Spatial Crowdsourcing,”” in IEEE Access, vol. 7, pp. 14340-14352, 2019.
  • [5] Shu, Jiangang & Liu, Ximeng & Zhang, Yinghui & Jia, Xiaohua & Deng, Robert. (2018). Dual-side privacy-preserving task matching for spatial crowdsourcing. Journal of Network and Computer Applications. 123. 10.1016/j.jnca.2018.09.007.
  • [6] Wang L , Yu Z , Han Q , et al. Multi-Objective Optimization Based Allocation of Heterogeneous Spatial Crowdsourcing Tasks[J]. IEEE Transactions on Mobile Computing, 2018.
  • [7] Guo B , Liu Y , Wang L , et al. Task Allocation in Spatial Crowdsourcing: Current State and Future Directions[J]. IEEE Internet of Things Journal, 2018:1-1.
  • [8] Wu P , Ngai E W T , Wu Y . Toward a real-time and budget-aware task package allocation in spatial crowdsourcing[J]. Decision Support Systems, 2018:S0167923618300587.
  • [9] Tran L , To H , Fan L , et al. A Real-Time Framework for Task Assignment in Hyperlocal Spatial Crowdsourcing[J]. Acm Transactions on Intelligent Systems & Technology, 2017, 9(3).

4. 任务标价

研究内容：

​ 一个任务的价格过高或者过低都会对任务的完成带来一定影响。如果价格过高可以吸引更多的工人来回答该任务，但是并不会提高任务的完成质量，反而会增加任务请求人的金钱负担；此外，任务价格过高容易吸引欺诈 者 来 完 成 任 务，导 致 任 务 的 结 果 质 量 不高；而如果任务价格过低，工人则不感兴趣，导致任务很难被及时完成。

​ 由于工人的目标是得到更多的报酬，而任务请求人的目标是花最少的钱最快、最好地完成任务，因此，如何在任务花费与任务质量之间做出平衡是研究重点。任务的难度和任务的颗粒是任务定价中两个重要的因素，任务请求人需要综合这两方面因素为任务定价。

后续可研究方向：

预算约束下的任务分配；动态定价机制；多维度成本标准（时间，空间）定价；移动众包定价

研究人员：

Yongxin Tong, Libin Wang（北航）
Shuo Guan（同济大学）
Huiyang Wang（中国三星研究院）

该方向的一些文献：

  • [1] Yongxin Tong, Libin Wang, Zimu Zhou, Lei Chen, Bowen Du, and Jieping Ye. 2018. Dynamic Pricing in Spatial Crowdsourcing: A Matching-Based Approach. In Proceedings of the 2018 International Conference on Management of Data (SIGMOD '18). ACM, New York, NY, USA, 773-788.
  • [2] S. Guan, ““Analysis of Optimal Pricing Model of Crowdsourcing Platform Based on Cluster and Proportional Sharing,”” 2018 6th International Symposium on Computational and Business Intelligence (ISCBI), Basel, Switzerland, 2018, pp. 99-103.
  • [3] H. Wang, D. N. Nguyen, D. T. Hoang, E. Dutkiewicz and Q. Cheng, ““Real-Time Crowdsourcing Incentive for Radio Environment Maps: A Dynamic Pricing Approach,”” 2018 IEEE Global Communications Conference (GLOBECOM), Abu Dhabi, United Arab Emirates, 2018, pp. 1-6.

5. 任务分解与分配

研究内容：

​ 目前已有的关于复杂任务众包的学术研究主要集中在基于分解的方式（decomposition-based method）方面。在这种方式中，复杂任务被分解成许多简单的子任务，用工作流来约束它们之间的关系让每个工人独立执行简单的子任务，然后再汇聚子任务的结果。这种方式通常适用于面向微任务的众包平台或者非专业型工人。

​ 如何将机器难以完成的大任务分解成多个互相关联的小任务，然后将小任务分发给工人，并整合工人答案。任务的结果质量受很多因素的影响，比如任务的难度、工人的负责程度、工人对任务的熟悉程度等，如何进行任务的分配也是研究热点。

后续可研究方向：

公平分配策略的长期影响；协同众包中的任务分配；任务分配考虑工人的社交网络；异构空间众包的任务分配；敏感任务分配；大规模众包任务分解

研究人员：

Xiang Yu （清华大学）
Fuat Basık（Bilkent University）
Liang Qiao （上海交通大学）
Yonglong Zhang （ 南京大学）
Liang Wang（西北工业大学）
Haipei Sun （Stevens Institute of Technology Hoboke）
Yongxin Tong （北航）

该方向的一些文献：

  • [1] Yu X , Li G , Zheng Y , et al. CrowdOTA: An Online Task Assignment System in Crowdsourcing[C]// 2018 IEEE 34th International Conference on Data Engineering (ICDE). IEEE, 2018.
  • [2] Fuat B , Bugra G , Hakan F , et al. Fair Task Allocation in Crowdsourced Delivery[J]. IEEE Transactions on Services Computing, 2018:1-1.
  • [3] Qiao L , Tang F , Liu J . Feedback Based High-Quality Task Assignment in Collaborative Crowdsourcing[C]// 2018 IEEE 32nd International Conference on Advanced Information Networking and Applications (AINA). IEEE Computer Society, 2018.
  • [4] Zhang Y , Qin H , Li B , et al. Truthful Mechanism for Crowdsourcing Task Assignment[J]. 清华大学学报自然科学版(英文版), 2018.
  • [5] Wang L , Yu Z , Han Q , et al. Multi-Objective Optimization Based Allocation of Heterogeneous Spatial Crowdsourcing Tasks[J]. IEEE Transactions on Mobile Computing, 2018.
  • [6] Sun, Haipei & Dong, Boxiang & Zhang, Bo & Hui Wang, Wendy & Kantarcioglu, Murat. (2018). Sensitive Task Assignments in Crowdsourcing Markets with Colluding Workers. 10.1109/ICDE.2018.00042.
  • [7] Tong Y , Chen L , Zhou Z , et al. SLADE: A Smart Large-Scale Task Decomposer in Crowdsourcing[J]. IEEE Transactions on Knowledge and Data Engineering, 2018:1-1.
  • [8] Moayedikia, Alireza & Ong, Kok-Leong & Boo, Yee Ling & G S Yeoh, William. (2018). Task assignment in microtask crowdsourcing platforms using learning automata. Engineering Applications of Artificial Intelligence. 74. 10.1016/j.engappai.2018.06.008.

6. 众包与社交网络

研究内容：

众包能很好地利用人类的群集智能来完成计算机难以完成的任务，并且能以较低的成本获得更高的准确性。随着社会网络的发展，社会网络已成为重要的众包平台。众包中的工人们通常会通过社会网络进行互联和交流。社会网络平台还可以用于救灾等社会紧急情况，例如2010年海地大地震后，就有慈善组织通过Twitter、 Facebook等社交网站招募志愿者。

​ 众包任务与社交网络结合尚有一系列问题需要解决：如何通过社交用户的发布信息、关注信息以及登陆情况为用户推荐恰当的任务？为社交用户推荐任务的同时，如何减少对用户使用社交网络基本功能的影响？如何调动社交用户参与完成众包任务的积极性？如何为参与完成任务的社交用户提供奖励？总的来说，如何通过整合社交用户、搜索引擎、数据库等技术来完成指定任务是未来研究的方向之一。

后续可研究方向：

众包社交网络结构；社交网络中的微任务众包平台

研究人员：

Davin Prasetya （Institut Teknologi Bandung ）
Khobaib Zaamout and Ken Barker （University of Calgary）

该方向的一些文献：

  • [1] Prasetya D, Candra M Z C, Ieee: Microtask Crowdsourcing Marketplace for Social Network, Proceedings of 2018 5th International Conference on Data and Software Engineering, 2018.
  • [2] Zaamout K , Barker K . Structure of Crowdsourcing Community Networks[J]. IEEE Transactions on Computational Social Systems, 2017:1-12.

7. 质量控制

研究内容：

​ 众包依托于复杂的网络平台，工作者具有高度的匿名性和不确定性，发包方无法准确识别不同工作者的任务完成质量，且众包平台统一定价的激励方式使得平台上经常存在大量的恶意欺诈者（spammer），他们为了自身利益最大化，随意提交任务答案，导致众包结果的准确率大大降低，发包方和工作者之间也难以建立信任。为了使众包市场健康发展，如何对众包质量进行有效控制成为众包研究中的重要问题。

​ 众包的质量控制是一个系统性的研究，包含众包任务执行过程中的某些工作流程优化、工人质量优化、恶意工人/行为识别、任务分配规范、任务结果准确性等因素的综合策略研究。

后续可研究方向：

针对大规模数据集的质量控制；众包数据的不确定性；众包疲劳和工人参与度

研究人员：

Meihong Wang（华东师范大学）
Xin Lin（ 华东师范大学）
Ying Zhang （ 复旦大学 ）
Parnia Samimi （Shiraz University ）

该方向的一些文献：

  • [1] Lin X , Xu J , Hu H , et al. Reducing Uncertainty of Probabilistic Top- k Ranking via Pairwise Crowdsourcing[J]. IEEE Transactions on Knowledge & Data Engineering, 2017, PP(99):1-1.
  • [2] M. Wang et al, ““Enabling the disagreement among crowds: A collaborative crowdsourcing framework,”” in 2018, . DOI: 10.1109/CSCWD.2018.8465368.
  • [3] Y. Zhang, X. Ding and N. Gu, ““Understanding fatigue and its impact in crowdsourcing,”” in 2018, . DOI: 10.1109/CSCWD.2018.8465305.
  • [4] P. Samimi, P. Rajagopal and S. Devi Ravana, ““Association between logical reasoning ability and quality of relevance judgments in crowdsourcing,”” in 2018, . DOI: 10.1109/INFRKM.2018.8464689.

8. 众包安全与隐私保护

研究内容：

​ 对于传统的众包任务类型，主要涉及众包安全的研究点有：在保证数据安全和隐私的前提下，如何进行任务的发布以及答案的收集与整合？在保证分解后的微观任务具有独立隐私的前提下，如何确保整合答案后的整体数据安全？如何防止众包平台利用收集到的任务请求人和工人信息推测个人隐私？

​ 但是，一般来说，众包安全与隐私保护的问题主要还是针对空间众包（移动众包）类型。空间众包根据用户提交的位置信息进行任务的发布或分配，而用户的位置信息隐含了用户的身份、家庭住址、健康状况和生活习惯等敏感信息。如果空间众包平台通过智能手机获取大量的用户位置数据将会导致用户敏感信息的泄露，严重威胁用户的隐私。空间众包中典型的隐私保护模型主要有基于差分隐私技术的保护模型、基于空间匿名技术的保护模型和基于加密技术的隐私保护模型。其中，基于差分隐私技术的保护模型和基于空间匿名技术的保护模型较为常用。。

后续可研究方向：

众包任务安全匹配；工人可信度；移动众包隐私问题（位置等信息）；结合声誉系统；工人和任务隐私保护；众包数据验证（工人和任务）；基于区块链的众包隐私保护策略

研究人员：

YIMING WU （华南理工大学）
Lalit Mohan （International Institute of Information Technology Hyderabad, India ）
Xiaocong Jin （ Arizona State University）
Kai Han （中国科学技术大学）
Jiangang Shu （香港城市大学）

该方向的一些文献：

  • [1] Y. Wu et al, ““BPTM: Blockchain-Based Privacy-Preserving Task Matching in Crowdsourcing,”” IEEE Access, vol. 7, pp. 45605-45617, 2019.
  • [2] Sanagavarapu L M, Reddy Y R. Crowdsourcing Security-Opportunities and Challenges[C]//2018 IEEE/ACM 11th International Workshop on Cooperative and Human Aspects of Software Engineering (CHASE). IEEE, 2018: 37-40.
  • [3] Han K, Liu H, Tang S, et al. Differentially Private Mechanisms for Budget Limited Mobile Crowdsourcing[J]. IEEE Transactions on Mobile Computing, 2018, 18(4): 934-946.
  • [4] Jin X, Zhang Y. Privacy-preserving crowdsourced spectrum sensing[J]. IEEE/ACM Transactions on Networking (TON), 2018, 26(3): 1236-1249.
  • [5] Shu J, Liu X, Jia X, et al. Anonymous privacy-preserving task matching in crowdsourcing[J]. IEEE Internet of Things Journal, 2018, 5(4): 3068-3078.
  • [6] Ibrahim Z, Aris H, Mansur A. Automated Validation of Crowdsourced Data[C]//2018 IEEE Student Conference on Research and Development (SCOReD). IEEE, 2018: 1-6.

9. 众包软件工程

研究内容：

​ 众包作为一种基于互联网的新兴合作模式逐步流行，并被更多的行业接受。如何在传统的软件开发过程中引入众包模式来提高软件开发的效率，是软件工程必须面对的一个问题。众包软件工程是指由一个未定义的、潜在的大型在线工人以开放式地承担外部软件工程任务的模式，为众包软件工程的领域划分。通过招募全球在线劳动力来完成各种类型的软件工程任务，如需求提取、设计、编码和测试等。这种新模式通过增加并行性来缩短上市时间，并通过灵活的开发能力降低成本和缺陷率。

​ 根据大众参与众包的不同形式，软件众包一般被分为协作式众包和竞赛式众包 。协作式众包的任务是需要大众协作来完成的，并且完成任务的大众通常没有奖励回报；而竞赛式众包的任务通常是由个人独立完成，完成任务的个人会得到相应的奖励 (如金钱)。
在这里插入图片描述

后续可研究方向：

众包软件测试；众包软件开发与维护；将众包思想融入软件生命周期；众包软件开发中的模块分解与任务分发；利用众包构建错误代码知识库

研究人员：

孙海龙（北航）
Ke Mao、Licia Capra、Mark Harman（University College London）
Amany Al-batlaa（King Saud University）
Shikai Guo（大连海事大学）
Klaas-Jan Stol（University College Cork）
Bin Lin（Università della Svizzera italiana）
DUNHUI YU（湖北大学）
Manar Alsayyari（King Saud University）

该方向的一些文献：

  • [1] Al-Batlaa A , Abdullah-Al-Wadud M , Hossain M A . A Review on Recommending Solutions for Bugs Using Crowdsourcing[C]// 2018 21st Saudi Computer Society National Computer Conference (NCC). IEEE, 2018.
  • [2] Guo S, Chen R, Li H, et al. Capability Matching and Heuristic Search for Job Assignment in Crowdsourced Web Application Testing[C]//2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, 2018: 4387-4392.
  • [3] Stol K J , Caglayan B , Fitzgerald B . Competition-Based Crowdsourcing Software Development: A Multi-Method Study from a Customer Perspective[J]. IEEE Transactions on Software Engineering, 2017, PP(99):1-1.
  • [4] Lin B. Crowdsourced software development and maintenance[C]//2018 IEEE/ACM 40th International Conference on Software Engineering: Companion (ICSE-Companion). IEEE, 2018: 492-495.
  • [5] Yu D, Zhou Z, Wang Y. Crowdsourcing Software Task Assignment Method for Collaborative Development[J]. IEEE Access, 2019, 7: 35743-35754.
  • [6] Alsayyari M, Alyahya S. Supporting Coordination in Crowdsourced Software Testing Services[C]//2018 IEEE Symposium on Service-Oriented System Engineering (SOSE). IEEE, 2018: 69-75.

10. 众包数据管理

研究内容：

​ 研究如何提供一个类似于数据库的管理系统来管理众包的数据和大众，通过查询语言和查询模型来规范化描述和表示众包系统；还包括众包数据管理性能的三个关键方面：质量控制、成本控制、延迟控制等众包优化。主要研究一个系统，一个完整的流程。
在这里插入图片描述

后续可研究方向：

众包数据处理流程的规范化研究；数据实体间的关系挖掘；众包实体解析；利用众包构建知识库

研究人员：

清华大学李国良、冯建华团队

该方向的一些文献：

  • [1] Chai C, Fan J, Li G, et al. Crowdsourcing Database Systems: Overview and Challenges[C]//2019 IEEE 35th International Conference on Data Engineering (ICDE). IEEE, 2019: 2052-2055.
  • [2] Chai C, Li G, Li J, et al. A partial-order-based framework for cost-effective crowdsourced entity resolution[J]. The VLDB Journal—The International Journal on Very Large Data Bases, 2018, 27(6): 745-770.
  • [3] Chai C, Fan J, Li G, et al. Crowd-Powered Data Mining[J]. 2018.

11. 众包推荐

研究内容：

​ 众包推荐一般指平台从工人信息及历史数据中发现其潜在特征，并针对性地进行推荐。细分的话，可以分为为工人推荐合适的任务，即任务推荐；为任务推荐合适的工人，即工人推荐。目前，对于众包推荐的研究主要是基于传统推荐的方法，主要包括基于内容的推荐，协同过滤以及二者相结合的混合推荐算法。其中，协同过滤（collaborative filtering，CF）是目前最流行的一种推荐方法，它根据工人的相似性或项目的相似性生成推荐。此外，还有一些推荐是根据个性化特征进行推荐的，例如，根据工人的兴趣爱好，众包平台主动地进行相关任务的个性化推送；据任务与工人特征，为任务推荐适合的工人。

后续可研究方向：

众包推荐中的冷启动问题研究、将机器学习中方法应用于众包推荐、对具有私密性众包任务的服务推荐

研究人员：

Runtao Qiao, Shuhan Yan（上海交通大学）
Nazia Pathan（Mehran University of engineering and technology）
Jiangang Shu, Xiaohua Jia（香港城市大学）

该方向的一些文献：

  • [1] Qiao R, Yan S, Shen B. A Reinforcement Learning Solution to Cold-Start Problem in Software Crowdsourcing Recommendations[C]//2018 IEEE International Conference on Progress in Informatics and Computing (PIC). IEEE, 2018: 8-14.
  • [2] Pathan N, Ali Q, Iftikhar S, et al. Personality Type Recommendation System using Crowdsourcing[C]//2019 2nd International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). IEEE, 2019: 1-4.
  • [3] Shu J , Jia X , Yang K , et al. Privacy-Preserving Task Recommendation Services for Crowdsourcing[J]. IEEE Transactions on Services Computing, 2018, PP(99):1-1.

12. 众包应用

研究内容：

​ 基于众包思想的研究与应用。将众包应用于一些实际项目或者将众包与其他领域（云计算、物联网、大数据、区块链、开源社区、医疗、交通等）进行结合，以对于特定领域的特定问题进行优化。例如：在Github上进行众包学习、基于众包的在线编程平台、利用区块链进行隐私保护。

后续可研究方向：

​ 将众包思想应用于其他领域（如构建编程平台、电子化学习、教育、知识图谱、交通、区块链等）

研究人员：

YAO LU , XINJUN MAO（国防科技大学）
Pei Zhang, You Song（北航）
Takahiro Koita（Doshisha University）
Fangxin Wang（Simon Fraser University），Jiangchuan Liu†（the University of Mississippi）
Trupti A. Gautre（G.H. Raisoni College of Engineering）
Xiaolong Xu , Qingxiang Liu（南京大学）
Yuan Lu, Qiang Tang, Guiling Wang（New Jersey Institute of Technology）

该方向的一些文献：

  • [1] Lu Y, Mao X, Wang T, et al. Studying in the ‘Bazaar’: An Exploratory Study of Crowdsourced Learning in GitHub[J]. IEEE Access, 2019, 7: 58930-58944.
  • [2] Zhang P, Song Y, Kang B, et al. Online Programming Platform Based on Crowdsourcing[C]//2018 13th International Conference on Computer Science & Education (ICCSE). IEEE, 2018: 1-6.
  • [3] Koita T, Suzuki S. Crowdsourcing and Its Application for Traffic Survey Work[C]//2019 IEEE 4th International Conference on Big Data Analytics (ICBDA). IEEE, 2019: 375-378.
  • [4] Wang F, Zhu Y, Wang F, et al. Ridesharing as a service: Exploring crowdsourced connected vehicle information for intelligent package delivery[C]//2018 IEEE/ACM 26th International Symposium on Quality of Service (IWQoS). IEEE, 2018: 1-10.
  • [5] Gautre T A, Khan T H. An analysis of question answering system for education empowered by crowdsourcing[C]//2018 2nd International Conference on Inventive Systems and Control (ICISC). IEEE, 2018: 955-958.
  • [6] Xu X, Liu Q, Zhang X, et al. A Blockchain-Powered Crowdsourcing Method With Privacy Preservation in Mobile Environment[J]. IEEE Transactions on Computational Social Systems, 2019.
  • [7] Lu Y, Tang Q, Wang G. On Enabling Machine Learning Tasks atop Public Blockchains: A Crowdsourcing Approach[C]//2018 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE, 2018: 81-88.
  • [8] Lu Y, Tang Q, Wang G. Zebralancer: Private and anonymous crowdsourcing system atop open blockchain[C]//2018 IEEE 38th International Conference on Distributed Computing Systems (ICDCS). IEEE, 2018: 853-865.

Published by

风君子

独自遨游何稽首 揭天掀地慰生平