【分布计算环境笔记】10 SOA、网格计算、云计算与P2P技术

作者:gnuhpc
出处:http://www.cnblogs.com/gnuhpc/

1.面向服务的体系结构SOA

1)定义:Service-Oriented Architecture,一种应用的体系结构,其中所有的功能都定义为独立的具有可调用的接口的服务。这些服务可以在一个流程中被调用从而完成相应的商业处理过程。服务可以位于同一个应用,也可以位于不同的进程,甚至可以在远程。业务逻辑(business logic)或独立功能被模块化,并作为服务呈现给消费者或客户端。应用开发人员或者系统集成者可以通过组合一个或多个服务来构建应用,而无须理解服务的底层实现。

SOA的核心就是找到将软件组织在一起的方法,是让IT更加关注于业务流程而非底层的基础结构!

SOA的目的是最大限度地重用应用程序中独立的服务以提高IT适应性和效率,它可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。

因此,与其说SOA是一种技术,不如说它是一种架构和组织IT基础结构及业务功能的方法。是一种在计算环境中设计、开发、部署和管理离散逻辑单元(服务)的模型,是一种架构模型和一套设计方法学。

 

2)架构:

image

  • 服务提供者:发布自己的服务,并且对使用自己自身服务的请求进行响应。
  • 服务代理:注册已经发布的服务提供者,对其进行分类并提供搜索服务
  • 服务请求者:利用服务代理查找所需的服务,然后使用该服务。

3)特性:

  • SOA服务具有平台独立的自我描述XML文档:WSDL是描述服务的标准语言
  • SOA 服务用消息进行通信:该消息通常用XML Schema(主要是SOAP)定义
  • SOA服务通过实现目录服务的注册中心(Registry)来维护,应用通过注册中心来查找和调用服务:UDDI是服务注册的标准
  • 每项SOA服务都有与之相关的QoS:QoS包括安全需求、可靠通信等策略

4)实现技术:

SOA不是一种具体的实现技术,更不是一个全新的概念。它是一个抽象的概念和指导方针。我们可以用任何一种现今成熟的技术实现它:EJB、CORBA、Web Service(Web Service的出现让SOA提出的一切得到了实现)。

注意WebService和SOA的区别和联系:

  • Web服务是技术规范,而SOA是设计原则,WSDL是Web服务与SOA的根本联系
  • SOA是一种架构模式,而Web服务是利用一组标准实现的服务
  • Web服务是实现SOA的方式之一,实际上也是最主要的实现方式,用Web服务来实现SOA的好处是可以通过中立平台来获得服务。

5)优势:

大多数软件商接受SOA并有相关平台和应用,这也是SOA与现有的分布式技术的区别。

SOA的标准化程度更好:SOA能够在最新的和现有的应用之上创建应用,能够使客户或服务使用者免受服务实现的改变所带来的影响,能够升级单个服务或服务消费者而无需重写整个应用,也无需保留已经不再适用于新需求的现有系统。

总之,SOA以借助现有的应用来组合产生新服务的敏捷方式,提供给企业更好的灵活性来构建应用程序和业务流程。

 

6)问题:

  • 标准仍不完备。Web 服务是实现SOA最好的方式,但Web服务本身还有很多不成熟的方面。
  • 服务粒度的确立问题:要在灵活和效率方面找到一个折中点;
  • 服务的监控和管理问题
  • 服务间的交互性、相互关联性难以把握

 

 

2.网格计算

1)定义:利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”,其中每一台参与计算的计算机就是一个“节点”,而整个计算是由成千上万个“节点”组成的“一张网格”,网格是把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享,来解决复杂问题的计算模式,适于大型科学计算和项目研究。

2)目的:

  • 设计一种能够提供以下功能的系统:
    • 提高或拓展企业内所有计算资源的效率和利用率,满足最终用户的需求,同时能够解决以前由于计算、数据或存储资源的短缺而无法解决的问题。
    • 建立虚拟组织,通过让他们共享应用和数据来对公共问题进行合作。
    • 整合计算能力、存储和其他资源,能使得需要大量计算资源的巨大问题求解成为可能。
    • 通过对这些资源进行共享、有效优化和整体管理,能够降低计算的总成本。
  • 通过任何一台计算机都可以提供无限的计算能力,可以接入浩如烟海的信息

3)应用领域:

科学领域

  • 分布式超级计算:一些科学与工程计算问题的解决
  • 高吞吐率计算:分时广域分布式仪器系统,包括远程可视化以及远程控制等,其核心是网格支持的远程控制操作。
  • 数据密集型计算:大型的天体物理、人体医学、图像等大型数据库的分析和处理

社会经济生活领域

  • 基于广泛信息共享的人与人交互:对性能和服务质量有特别的要求,应用于交互的计算可视化、教育、培训、场景模拟、艺术与娱乐等领域。
  • 更广泛的资源贸易

4)特点:

a.分布性:

image

b.自相似性:网格的局部和整体之间存在着一定的相似性,局部往往在许多地方具有全局的某些特征,而全局的特征在局部也有一定的体现。

image

c.多样性和动态性:网络资源异构多样,资源动态增加和动态减少。

d.可扩展性:系统计算规模会逐渐增大,需要在网格资源规模不断扩大、应用不断增大的情况下,不能降低网格计算的性能。

e.动态适应性:资源管理必须能够动态监视和管理网格资源,从可利用的资源中选取最佳资源服务。

f.自治性和管理的多重性。

 

5)内部主要功能:

  • 管理层次:确定管理层次体系,管理域按层次划分
  • 通信服务:随应用目的的不同提供不同的服务,支持各种通信协议,提供延迟、带宽等指标
  • 信息服务:提供方便可靠的机制,获得不断变化的各节点信息和状态
  • 名字服务:提供全局统一的名字服务
  • 文件系统:提供一个分布式文件系统机制、全局存储和缓存空间
  • 监视系统:提供监视系统资源和运行情况的工具
  • 资源管理和调度:提供透明的资源调度,高效的利用可利用的资源。
  • 资源交易机制:提供一种计算资源的交易机制,允许资源提供者获得利益,使系统能动态地取得更好的性价比资源。
  • 编程工具:提供丰富的用户接口和编程环境,提供最常用的语言,以及分布式共享存储器和一些函数库等。
  • 用户图形界面:提供方便的用户访问接口,包括Web 方式接口,使用户可以在任何位置、任何平台上使用系统资源。

6)分类:

a.五层沙漏结构:由Foster等最早提出的,是一个最先出现的应用和影响最广泛的结构。是一种以协议为中心的结构,也十分强调服务与API(Application Programming Interfaces)和SDK (Software Development Kits)的重要性。基本思想:共享+互操作+协议+服务+API/SDK
image image

image image

image

b.OGSA体系结构:开放网格服务结构OGSA(Open Grid Services Architecture)是Global Grid Forum 4的重要标准建议,是继五层沙漏结构之后最重要,也是目前最新的一种网格体系结构。2002年,Globus和IBM发布了开放网格服务体系结构OGSA(Open Grid Services Architecture); OGSA 完善和扩展了Globus toolkit.

三大基本思想:

  • 一切都是服务:将资源,信息。数据等统一起来,十分有利于灵活的一致的动态的共享机制的实现,使得分布式系统管理有标准的接口和行为,网格={网格服务},网格服务可以以不同的方式聚集起来满足虚拟组织的需要。在OGSA 内,一切都表示为一个Grid 服务,即一个遵循一套规范(使用WSDL 来表示)的(潜在短暂的)服务,这些规范用于实现生命周期管理、发现特性、通知等目的。
  • 统一的Web 服务架构:自然具备了原来Web Service的所有有利因素:服务描述和发现;从描述中自动产生客户和服务器端的代码;…….OGSA通过标准接口和规范支持创建、终止、管理和调用有状态的短暂服务,这些服务具有动态的、可管理的生命周期,是可命名、可管理的实体。
  • 突破科技应用领域:同样可用于商业领域

组成:

  • 持久服务实例:“Web services” 强调永久 服务的发现和调用:整个企业持久状态的接口,无状态的服务。
  • 瞬间服务实例:  分布活动状态的接口,例如工作流, 视频会议, 远程数据分析等。

服务架构:

image

支撑技术:

  • 网格技术(即Globus软件包):Globus是一种基于社团的,开放结构,开放源码的服务的集合,也是支持网格与网格应用的软件库,该工具包解决了安全,信息发现,资源管理,数据管理,通信,错误检测以及可移植等问题。
  • Web Service:Web Service 只要是涉及一些协议标准的,主要有SOAP,WSDL,WS-Inspection,UDDI等协议。这些协议之间互相可以支持。其中关于XML协议是它的工作基础。

7)网格服务——基于Web Service的资源虚拟化

a.网格服务=接口/行为+服务数据。

image

服务化各类资源,多个逻辑实例映射相同物理资源,位置透明、多协议绑定和服务的多种实现,组成高级服务,不关心各服务如何构成实现。

例如存储的虚拟化:

image

b.生存期管理

GS 实例由factory或手工创建,GridService 接口支持:Destroy 操作用于显式撤消和软状态撤销

软状态生命周期管理机制:初始的生命周期在创建时和Factory协商,用户可以SetTerminationTime设置生命周期 ,GetTerminationTime 查询,通知 interface也允许生命周期的通知。软状态生命期管理可避免资源的无限期占用等。

image

7)四种形式:

  • 企业计算
    企业计算是“以实现大型组织内部和组织之间的信息共享和协同工作为主要需求而形成的网络计算技术”,其核心是Client/Server计算模型和相关的中间件技术。 其研究热点是建立标准化的对象请求代理,屏蔽网络环境下计算平台、操作系统、编程语言、网络协议的异构性和复杂性,使分布在网络上的应用系统能够协同工作,为网络应用提供通用的高级网络管理服务以及与应用领域相关的增值服务。随着电子商务需求的发展,企业计算面临企业间的信息共享和协同工作问题,面向Web的企业计算解决方案成为热点,企业计算技术全面进入Internet时代。
  • 网格计算
    从概念上,网格计算的目标是资源共享和分布协同工作;网格的这种概念可以清晰地指导行业和企业中各个部门的资源进行行业或企业整体上的统一规划、部署、整合和共享,而不仅仅是行业或大企业中的各个部门自己规划、占有和使用资源;网格是一种技术;为了达到多种类型的分布资源共享和协作,网格计算技术必须解决多个层次的资源共享和合作技术,制定网格的标准,将Internet从通讯和信息交互的平台提升到资源共享的平台。 网格是基础设施,是通过各种网络综合计算机、数据、设备和服务等资源的基础设施;随着网格技术逐步成熟,建立地理分布的遍布全国或世界的大型资源节点,集成网络上的多个资源,联合向全社会按需提供全方位的信息服务。
  • 对等计算
    P2P(Peer to Peer)系统由若干互联协作的计算机构成,且至少具有如下特征之一:系统依存于边缘化(非中央式服务器)设备的主动协作,每个成员直接从其他成员而不是从服务器的参与中受益;系统中成员同时扮演服务器与客户机的角色;系统应用的用户能够意识到彼此的存在,构成一个虚拟或实际的群体。P2P把网络计算模式从集中式引向分布式,也就是说,网络应用的核心从中央服务器向网络边缘的终端设备扩散:所有网络节点上的设备都可以建立P2P对话。 从目前的应用看,P2P的威力还主要体现在大范围的共享和搜索的优势上,诸如对等计算、协同工作、搜索引擎、文件交换等。
  • 普及计算
    普及计算(ubiquitous computing or pervasive computing)强调人与计算环境的紧密联系,使计算机和网络更有效地融入人们的生活,让人们在任何时间、任何地点都能方便快捷地获得网络计算提供的各种服务。普及计算研究的内容主要包括两个方面:自然的人机交互和网络计算。

相同点:目标一致

  • 广泛共享:通过各种方法、技术和策略将网络上的各种资源提供给网络上众多用户共享使用;
  • 有效聚合:将网络上的巨大资源通过协同工作连接集成起来,产生巨大的综合效能,联合完成应用任务;
  • 充分释放:为用户提供良好的开发手段和使用环境,将网络上的多种资源的聚合效能按照需求传递给用户,为用户提供个性化的信息服务、计算服务和决策支持服务。

不同点:

  • 面向对象的分布式计算技术强调的是分布系统的集成能力,以两层或多层Client/Server为主要计算模式,关心的是简化用户端的工作,强化多层服务器的功能,注重分布系统之间的协同工作和快速的应用开发和实现,强调应用服务之间的可交互、可操作性,代码的可移植性,通常关注一个组织内的资源共享。
  • P2P技术弱化了集中服务器的功能,重视网络中所有个体的作用,强调的是个体之间、系统之间、计算机之间的直接通信和联系,每一个参与者既是客户又是服务方,它与现行以中间件为主的分布式计算技术所采用的Client/Server模式有本质区别。
  • 网格计算是在Internet基础上强调对计算、数据、设备等网络基本资源进行整合,力图将Internet作为一个社会化的计算基础设施。在计算模型、技术路径和研究目标上,Grid计算和目前分布计算中间件领域面向应用级别的交互、互操作和开发有很大的不同。它强调多机构之间大规模的资源共享和合作使用,提供了资源共享的基本方法,而分布计算技术没有提供多组织之间的资源共享通用框架,以Client/Server为主要的交互形式,传统企业计算技术集中在一个组织内的资源共享。
  • 普及计算模式则是要颠覆“人使用计算机”的传统方式,将人与计算机的关系改变为“计算机为人服务”,从某种意义上说,是让人与计算环境更好地融合在一起。

尽管各种网络计算技术有差异,但是它们之间并不是冲突的关系,而是一种正交关系,有时甚至是融合的,因此,各种网络计算技术可以共同存在。例如网格计算和CORBA、SOAP、XML等技术结合可以访问多个机构组成的虚拟组织的资源。

 

常见FAQ(这部分是转载):

1.什么是网格 ,网格的目标?
网格是从电力网格中借鉴过来的一个概念,原本是希望计算力和计算资源能够象电力一样,“打开电源开关就可以使用”,不用去关心是谁、如何提供的这些服务。
网格的目标是抽象并量化计算资源,随时随地能够通过网络“定额”完成“定量”的计算相关的工作。

2.网格的本质特征是什么?
网格的本质特征是:
分布与资源共享:分布是网格最本源的特征,网格是通过集中分散的资源来完成计算的,资源的共享是一种集中资源的手段
高度抽象:把计算力和所有的计算资源高度抽象成为用户可见的“电源接线板”,其它的东西对用户透明。
自相似:在大尺度上和小尺度上有相同或者类似的规律
动态性和多样性:和电力网格一样,用户的需求是变化的,所以动态性是网格需要考虑的一个基本问题
自治性与管理的多重性:网格节点内部的自治和外部的受控整合是网格的一个特征,分层的资源需要层次化的管理,而分层来自于网格节点的归属问题和性能方面的考虑。

3.网格计算中有哪些基础概念?
资源发现:资源发现是网格主动去发现可用的资源,并注册、管理这些资源的过程
资源调度:如何充分利用网格收集的计算资源进行高效率地合理地使用是资源调度的研究范畴
异构:是抽象的本源动力
元计算:是关于“计算”的计算,就像“元语言”是描述语言的语言一样,元计算是为了进行计算而展开的计算活动,是网格对资源进行抽象的过程
计算网格:网格的重心在解决高密度的计算问题的网格结构
数据网格:重心在高密度、海量数据的储存和管理、使用过程的网格结构

4.如何判断是否是网格
还没有网格的确切定义出炉,只能根据网格的一些基本特征来判断。P2P严格来说也是一种网格。
根据Globus toolkit的创始人的观点,Globus就是网格,这个观点有些偏颇,姑且这么认为吧。

5.网格目前有标准吗,有人在制定标准吗?
OGSI和OGSA是目前关于网格的一个标准

6.能用非常简单的例子说明什么是网格吗?
例如P2P,目前已经实现了储存共享,以解决服务器资源限制(带宽和服务能力)的问题,但是目前的P2P 计算还在热门研究中。它的特点是通过分布式的共享储存和带宽资源,也包括部分计算资源的共享来提高服务的可用性,已经包括了网格的几个主要特征。
又如,国外一些如抗癌项目,充分发掘PC 的计算力来寻找治疗癌症的新药,也具有相应的特征,只不过其资源调度的粒度很粗,各节点的耦合很松散,只要计算任务和结果,节点只与中央节点交换数据,结构比较简单。

7.如何在应用领域体现网格的优势
高性能(大计算吞吐量)、低成本

8.为什么要把网格比做电网
不要考虑计算力从什么地方来,只管用就行了。

9.网格如何分类

分为计算网格、数据网格、访问网格、信息网格、服务网格等

10.何为元计算,与网格是什么关系

元计算技术是将一组通过广域网连接起来的性质不同的计算资源集合起来,作为一个单独的计算环境向用户提供计算服务。元计算系统的目标是使用户能够共享其中的计算资源并以合作的方式进行计算。元计算前端主要解决最终用户通过统一的界面来使用广域网上各类计算资源的问题;元计算内核主要解决计算任务在广域网中各种超级计算机上协作完成的问题,提供一个完整的程序开发和运行环境。当用户提出计算请求时,计算问题的执行代码在系统内部的计算资源上进行合理的调度和管理,最后得出运行结果并通过元计算前端反馈给最终用户。一个良好的元计算系统主要由三个部分组成:一是尽量简单而又可靠的使用界面;二是资源管理系统;三是良好的编程模型和高效可靠的运行时环境。其中资源管理系统处于核心地位,它负责整个系统中各个资源的描述、变动、分配与保护,与运行时系统密切合作,保证整个系统的正常运行。资源管理系统需要为不同级别的系统管理员提供强有力的工具或界面来对这些资源进行控制和保护。
元计算是网格计算的初级形态。

11.什么是计算网格
强调计算力获取、管理等的网格

12.什么是数据网格
强调数据存储、管理、传输、处理的网格

13.什么是信息网格
强调信息存储、管理、传输、处理的网格

14.什么是存储网格

强调数据存储的网格

15.什么是知识网格
强调知识存储、管理、传输、处理的网格

16.什么是语义网格
强调语义解析的网格,实现语义
互操作

17.什么是access  grid
简单来讲,是一个项目。目的是为网格用户提供简单有效的视频、音频会议功能,为e-science提供基础的工具。 提供单一访问通道获取网格资源的网格。

18.什么是grid portal
格网门户,提供格网单一访问通道

19.什么是服务网格
强调应用服务集成的网格

20.目前有哪些应用网格
美国科学格网(DOE Science Grid)、远程分布式计算与通信(Distance and Distributed Computing and Communication,DisCom2)和
地球 系统格网(Earth System Grid II,ESG)、TeraGrid和国家地震工程仿真格网(Network for Earthquake Engineering Simulation Grid,NEES Grid)、CrossGrid、天体物理虚拟天文台(Astronomical Virtual Observatory,AVO)、英国国家格网(U.K. National Grid)、德国的计算资源统一接口项目(Uniform Interface to Computing Resources,UNICORE)、亚太地区格网(APGrid)

21.什么是P2P计算,与网格有什么关系
对等(P2P)计算是在Internet上实施分布式计算的新模式。在这种模式下,服务器与客户端的界限消失了,网络上的所有节点都可以“平等”共享其他节点的计算资源。IBM为对等下了如下定义:对等系统由若干互联协作的计算机构成,且至少具有如下特征之一:系统依存于边缘化(非中央式服务器)设备的主动协作,每个成员直接从其他成员而不是从服务器的参与中受益;系统中成员同时扮演服务器与客户机的角色;系统应用的用户能够意识到彼此的存在,构成一个虚拟或实际的群体。

网格采用P2P计算体系结构

22.网格与分布式计算是什么关系

格网计算是一种新的高性能的分布式计算方法。格网计算作为新一代的分布式计算方法,与传统分布式计算的主要区别在于在没有集中控制机制的情况下,通过对计算资源进行大规模共享,满足应用对高性能计算要求,并且这种对计算资源进行大规模共享是动态的、柔性的、安全的和协作式的。

23.网格与中间件是什么关系
网格中间件(Gridware)就是一种在网格中应用的中间件
现在的globus toolkit就是一种网格中间件,连接异质的主机节点构成globus网格

24.什么是web service,网格与web service是什么关系。
OGSA吸纳了许多
Web服务 标准,如Web服务描述语言(WSDL)、简单对象访问协议(SOAP)、轻目录访问协议(LDAP)、Web服务探测(WS-Inspection)等。这些标准用于定位、调度计算资源并保证它们的安全。
OGSA采用Web服务框架的优点是:一方面,通过注册和发现接口定义和终端(endpoint)实现描述以及动态产生特定接口绑定的代理,在异构环境中能够支持服务的动态发现和合成。另一方面,由于Web服务机制在商业应用领域广泛采用,OGSA采用Web服务框架使人们能够利用许多现有的开发工具和扩展服务,如产生语言绑定的WSDL处理器。

25.网格跟.net, corba, jini,java的rmi,J2EE都是什么关系。
网格融合了.net, corba, jini或java的rmi,J2EE思想,并从软件集成扩展到CPU、存储设备、仪器等硬件的集成。

26.网格和CSCW是什么关系
CSCW可以定义为地域分散的一个群体借助计算机及其网络技术,共同协调与协作来完成一项任务。网格促进了这种工作模式。

27.网格跟IBM提出的自主计算有什么关系
“自主计算”的设想是将日益复杂的IT系统管理后台化、自动化和智能化,通过强大的中间件将异构网络改造成真正意义上的和谐自主的数字神经系统。
网格本身就是一种自主计算

28.什么是网格的体系结构

网格体系结构就是关于如何建造网格的技术描述。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及它们集成的方式或方法,刻画了支持网格有效运转的机制。

29.网格的主要有那些体系结构,他们目前发展状况如何。
美国Globus项目提出的格网体系结构模型采用本地服务层、核心服务层、高层服务与工具层、应用层四层结构。在此基础上,美国的Argonne国家实验室、芝加哥大学、南加州大学和IBM公司共同提出了开放式格网服务体系结构(Open Grid Services Architecture,OGSA)。OGSA采用纤维层、联络层、资源层、协作层、应用层五层结构。

30.网格的起源是什么
“网格”(Grid)一词来源于人们熟悉的电力网(Power Grid)。目前对计算力的需求正在持续不断地增长。高速网络、功能和性能更加强大的大规模计算系统、高性能存储系统以及高级数据分析软件的应用为解决商业领域和科学领域的计算问题带来了希望。但是利用这些新的能力意味着应付不断增加的工作负荷要求所带来的空前挑战。当一个组织机构在努力保持竞争力的时候他们面临许多前所未有的挑战:减少计算费用、增加计算吞吐量、加快对市场的响应、改进生产服务质量和产品创新等都是非常重要的。一个组织机构在硬件方面的投资需要谨慎地进行权衡,并且必须找到利用可得资源完成更多工作的方法。
尽管对计算力的需求是非常大的,但是许多现有的系统都没有得到充分利用。其中一些单个服务器也许满负荷工作,但是大多数系统却不是满负荷工作的,使许多计算周期(computing cycles)没有使用,而实际上这些计算周期可以用于满足不断增长的计算资源需求。格网计算使组织机构可以更加有效地和灵活地用他们的分布式计算资源,从现有的系统中获取更加有用的计算力,帮助组织机构获得竞争优势。

31.网格目前的发展状况如何

研究、开发、炒作,即处于预热期。

32.国内的网格有那些项目,每个项目的目标如何,目前进展如何。

ACI工程的目标是把分布在不同地理位置的高性能计算机、贵重仪器、数据库等用高速网络连接在一起构成一台虚拟计算机,用户通过ACI共享资源、共同讨论、合作开展科研项目。
织女星计划(Vega计划以元数据、构件框架、智能体、格网公共信息协议和格网计算协议为主要研究突破点。

33.介绍一些国外的主要网格项目的状况
美国科学格网项目的目标是建立基于格网中间件(Gridware)和系统工具的高级分布式计算基础设施(ADCI)使能源部科学计算体系的可伸缩性满足能源部内部科学研究任务要求。
远程分布式计算与通信项目的目标是创建一个用于访问美国能源部三个武器实验室的具有可操作性的格网,以支持国防计划中远程计算和分布式计算这两个关键战略领域复杂的分析、设计、制造、认证功能。
地球系统格网(Earth System Grid II,ESG)项目由阿贡国家实验室(Argonne National Laboratory)等五个国家实验室的科学家联合承担。主要目标是解决从全球地球系统模型分析和发现知识所面临的巨大挑战,为下一代气候研究提供一个无缝的强大的虚拟协同环境。

国家地震工程仿真格网的目标使地震研究人员能够进行各种地震工程实验数据分析的大规模计算任务。
此外,目前美国正在进行的格网计算研发项目还包括Globus、美国航空航天局(NASA)的信息动力格网(Information Power Grid,IPG)、美国国家技术格网(National Technology Grid)、虚拟实验室项目(Virtual Laboratory Project)、天体物理仿真合作实验室(Astrophysics Simulation Collaboratory,ASC)、国际虚拟数据格网实验室(International Virtual Data Grid Laboratory,iVDGL)等。Globus目标构建一个格网软件基础设施。研究内容包括资源管理、数据访问、应用开发、格网安全等。目前全球许多用户利用Globus工具包创建格网和开发格网应用。信息动力格网的目标是为国家航空航天局科学研究任务提供持续、可靠的计算动力源。美国国家技术格网项目的目标是创建一个无缝集成的协同计算环境原型系统。虚拟实验室项目致力于研究、设计、开发能够帮助解决数据密集的、涉及大规模计算的分子生物学问题的格网技术。天体物理仿真合作实验室项目的主要目标利用Cactus和Globus格网计算的研究成果为高级可视化交互和元计算提供大规模并行计算能力,实现在相对论天体物理学领域的大规模仿真。国际虚拟数据格网实验室项目由欧盟的数据格网(DataGrid)、美国的格网物理网络(Grid Physics Network)和粒子物理数据格网(Particle Physics Data Grid)协作创建。

34.网格的发展有哪些困难
信息安全、商业模式等

35.网格面临哪些技术问题
格网资源管理、注册、预订、分配、调度、安全、计费等

36.GGF主要的工作是什么
应用程序及编程模型和环境(APME)。
架构。
数据。
安全性。
信息系统和性能(ISP)。
端到端应用(P2P)。
调度和资源管理(SRM)。

37.国内有类似GGF的组织吗
没有,至少没有成规模、成气候、分工协作。

38. OGSA,OGSI,Globus,WSRF有什么关系
OGSI(Open Grid Service Ieterface,开放网格服务接口)规定了向网格发送处理请求时所使用的接口,相当于Web服务中的WSDL(Web服务描述语言),在网格计算相关标准中处于核心地位。
开放式格网服务体系结构(Open Grid Services Architecture,OGSA)采用纤维层、联络层、资源层、协作层、应用层五层结构,格网是通过调用服务来构造应用的,这就涉及接口问题。
OGSA是一个抽象的东西,里面没有具体的内容,OGSA的推出要比OGSI早,OGSI是对OGSA的主要方面具体化,规范化.Globus是基于 OGSI标准的一个实现. WSRF是和OGSI同一个层次的东西,是吸收了Web Service最新成果后,对OGSI的重构和发展.

39.网格是一种新技术,任何新技术或多或少都会带有泡沫的成分?你是否赞成?网格技术是否也带有泡沫的色彩?
技术本身没有泡沫,泡沫是商业炒作产生的,现在已经开始商业炒作了。

40.从总体上看,网格技术目前的发展,是处在一个什么状况?
技术研究开发阶段

41.网格离实际应用,离商业应用还有多远?
2到3年时间

42.一个新技术,从理论性的研究,到实际的商业的推广需要经历几个阶段,你认为“网格”需要经历几个阶段,才能走向真正的商用?
原型应用系统开发、格网标准化(规范、协议)、成熟的商业模式

43.网格想要得到广泛的商业应用,是否会遇到一些阻碍?
是的,例如安全问题、计费问题等。

44.任何一个新技术的发展趋势,都应该受到身在政府、行业、企业中的CIO所关注。你认为作为“网格”技术,这些CIO应该从哪几方面进行关注?
网格在政府、行业、企业中的应用

45.什么才算是Ian Foster三个checklist中的非平凡服务?

大吞吐量、服务透明、高可靠性

46.学习网格要学习哪些基础知识
计算机原理、计算机网络、数据库、
编程语言

47:什么是制造网格
是现代集成制造哲理和敏捷制造模式在网络化经济环境下的一种具体物化形式,目标是快速设计、快速制造、快速检测、快速响应和快速重组,克服空间上的距离给不同企业间的协同带来的障碍,在最大程度上实现设计、制造、信息、技术资源的共享,以及协同制造过程中物流、信息流、价值流的优化运行,它能为实现敏捷制造和虚拟企业的运作提供支持,形成具有数字化、柔性化、敏捷化等基本特征的优势互补的协同企业。而在这样的制造网络支持下,整个制造网格系统中的制造企业群体将以较低的成本、较短的开发周期,制造出符合市场需求的高质量产品。

 

 

 

3.云计算

1)定义:云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现

“Cloud Computing is a paradigm in which information is permanently stored in servers on the Internet and cached temporarily on clients that include desktops, entertainment centers, tablet computers, notebooks, wall computers, handhelds, sensors, monitors, etc.”
                —- IEEE Internet Computing, 2008

云模式的初衷是让硬件层的消费象按需计算,按所需存储空间那样进行,而为了让云模式带来更多力量,我们需要在整个应用架构中,在一个虚拟的环境中实现配制,部署,服务。云计算就是为一些需要动态改变的需要访问资源与服务。应用和服务请求的资源来自“云”,而不是固定的有形的实体。云就是一些可以自我维护和管理的虚拟资源。

image image

2)基本原理:

通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似,这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统,这意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。类比:从古老的单台发电机模式转向了电厂集中供电的模式。

3)特点:超大规模+虚拟化+高可靠性+通用性+高可扩展性+按需服务+极其廉价。

4)应用分类:

软件即服务(SaaS):通过网络浏览器将单个的应用软件推广到用户,从用户角度来说,前期无需在服务器或软件许可证授权上进行投资;从供应商角度来看,与常规的软件服务模式相比,维护一个应用软件的成本要相对低廉。成功应用:Salesforce.com,在人力资源管理软件方面的应用较为成功,Workday,ERP软件供应商,Google App,知名的在线办公软件。

效用计算(Utility computing):想法本无新意,目前逐渐应用在数据中心,将计算和存储等资源,打包成为可量化的服务,类似于传统的电力资源等公共效用,例如,Liquid Computing公司的LiquidQ服务,能帮助企业将内存,I/0,存储和计算容量通过网络集成为一个虚拟的资源池来使用。

网络集成 :云基础服务的集成尚处于初始阶段,案例包括:OpSource推出的OpSource Services Bus;Workday收购的CapeClear,其从事B-TO-B商业模式服务;Grand Central向用户提供集成解决方案,被Google收购。

网络服务:与软件即服务(SaaS)是密切相关的,网络服务供应商提供API能帮助开发商通过网络拓展功能性,而不只是提供成熟的应用软件,成功应用: Google Maps。

管理服务供应商(MSP):管理服务是云计算最古老的形式之一,是面向IT厂商而并非最终用户的一种应用软件,例如,用于电子邮件的病毒扫描服务或者应用软件监控服务。

服务商业平台 :服务商业平台是软件即服务(SaaS)和管理服务供应商(MSP)的混合体,为用户和提供商之间的互动提供了一个平台。比如用户个人开支管理系统,能够根据用户的设置来管理其开支并协调其订购的各种服务。

 

4.P2P技术

1)定义:P2P是一种分布式网络,网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力等),这些共享资源需要由网络提供服务和内容,能被其它对等节点(Peer)直接访问而无需经过中间实体。在此网络中的参与者既是资源提供者(Server),又是资源获取者(Client)servent。P2P打破了传统的Client/Server (C/S)模式,在网络中的每个结点的地位都是对等的。每个结点既充当服务器,为其他结点提供服务,同时也享用其他结点提供的服务。

例如BT原理:

image

Tracker即时接收所有下载者信息(IP地址和端口),并且给每个下载者一份随机的peer列表。 下载者每隔一段时间连一次Tracker,告知自己的进度和取得列表,这样就可以和那些已经直接连接上的peer进行数据的上传下载。在进行文件传输时,每个文件一般被划分成256K的大小的块,每个块都计算其校验值。用户间互相的Choke和UnChoke对方,来交换这些文件块。

2)优势

非中心化:网络中的资源和服务分散在所有结点上,信息的传输和服务的实现都直接在结点之间进行,可以无需中间环节和服务器的介入,避免了可能的瓶颈

可扩展:随着用户的加入,不仅服务的需求增加了,系统整体的资源和服务能力也在同步地扩充

健壮性:P2P架构天生具有耐攻击、高容错的优点。多副本没有单点失效问题,部分结点或网络遭到破坏对其它部分的影响很小

负载均衡:资源分布在多个节点,更好的实现了整个网络的负载均衡

高性能/价格比:通过利用网络中的大量空闲资源,可以用更低的成本提供更高的计算和存储能力。

隐私保护:信息的传输分散在各节点之间进行而无需经过某个集中环节,用户的隐私信息被窃听和泄漏的可能性大大缩小,所有参与者都可以提供中继转发的功能,因而大大提高了匿名通讯的灵活性和可靠性,能够为用户提供更好的隐私保护。

3)拓扑结构

  • 中心化拓扑:共享软件 Napster
    image image
    • 中央服务器的瘫痪容易导致整个网络的崩溃,可靠性和安全性较低
    • 随着网络规模的扩大,对中央索引服务器进行维护和更新的费用将急剧增加,所需成本过高。
    • 中央服务器的存在引起共享资源在版权问题上的纠纷,并因此被攻击为非纯粹意义上的P2P网络模型

优点:维护简单,发现效率高,资源的发现依赖中心化的目录系统,发现算法灵活高校并并能够实现复杂查询
问题:

全分布式非结构化拓扑:P2P文件共享系统  Gnutella
image  

优点:容错性好,支持复杂的查询,并受结点频繁加入和退出系统的影响小。
问题:查询的结果可能不完全,查询速度较慢,采用广播查询的系统对网络带宽的消耗非常大,并由此带来可扩展性差等问题。

全分布式结构化拓扑:
采用分布式散列表(DHT),DHT实际上是一个由广域范围大量结点共同维护的巨大散列表。散列表被分割成不连续的块,每个结点被分配给一个属于自己的散列块,并成为这个散列块的管理者,如Chord:网络结点按照一定的方式分配一个唯一结点标识符(Node ID) ,资源对象通过散列运算产生一个唯一的资源标识符(Object ID) ,且该资源将存储在结点ID与之相等或者相近的结点上。需要查找该资源时,采用同样的方法可定位到存储该资源的结点。提出了一个分布式查找协议,该协议可将指定的关键字(Key) 映射到对应的结点。

image

优点:DHT类结构能够自适应结点的动态加入/退出,有着良好的可扩展性、鲁棒性、结点ID分配的均匀性和自组织能力。由于重叠网络采用了确定性拓扑结构,DHT可以提供精确的发现。
问题:DHT的维护机制较为复杂,尤其是结点频繁加入退出造成的网络波动(Churn)会极大增加DHT的维护代价。DHT仅支持精确关键词匹配查询,无法支持内容/语义等复杂查询。

半分布式拓扑:选择性能较高(处理、存储、带宽等方面性能)的结点作为超级点(英文文献中多称作:SuperNodes, Hubs).在各个超级点上存储了系统中其他部分结点的信息,发现算法仅在超级点之间转发,超级点再将查询请求转发给适当的叶子结点。半分布式结构也是一个层次式结构,超级点之间构成一个高速转发层,超级点和所负责的普通结点构成若干层次。KaZaa就是个实例。
image image

优点:性能、可扩展性较好,较容易管理

问题:对超级点依赖性大,易于受到攻击,容错性也受到影响

比较:

image

4)应用

  • ICQ、Skype类的即时通信应用。两个或多个用户互相使用文字、语音或视频进行交流。利用P2P技术可以弱化甚至摆脱对服务器的依赖,这样的通信更接近人与人的通信模式。
  • 海量存储类数据存储应用,如Microsoft提出的Farsite。在网络上将存储对象分散化存放。而不像现在放置在专用服务器,可以减轻服务器负担,增加数据的可靠性和传输速度。
  • Napster、BT类文档交换应用。实现数据和文件共享,使用者可以直接从任意一台安装同类软件的PC下载及上传文件,而不是从服务器上传及下载。用户可以检索、复制共享的文件。软件自动发现最新的文件列表,发布者无需使用其他途径发布。
  • Infrasearch、Pointera类数据搜索及查询软件。用来在P2P网中完成信息检索,动态地将当前P2P网络中各个f对等点的内容进行收集,并且有效地向用户传递。
  • Netbatch(Intel)类协同计算应用。现有实验可连接近1万台PC,利用它们的空闲时间进行协同计算,完成超级计算量的工作(如空间探测、分子生物学计算、芯片设计)。
  • Groove类数据或行动协同应用,是基于P2P连接的软件工具,可以建立一个安全的企业级协同工作平台(P2P网),提供供求信息链上的互动信息沟通,如货品目录、库存及发货清单,帮助使用者进行经销渠道维护、客户服务和支持。
  • 在线游戏类应用。许多双人及多人对弈网络游戏采用P2P技术交换数据。

5)相关研究与未来

image

6)主要问题:

  • P2P类应用吞噬带宽 :BT类业务的流量占据了超过40%的网络带宽 ,无论运营商如何扩容,带宽似乎永远不够,运营商之间互联带宽加倍后会在短短的几周内被占满
  • P2P类应用难以监管:基于P2P技术的即时通信工具使合法监听难以实施,基于P2P技术的即时通信工具在业务层没有一个集中的点来建立呼叫或者安排路由,因此不能基于业务控制设置合法监听点 ,虽然可以在骨干设备或者互联设备上得到经过该设备的所有数据,但是由于数据量过大,一般很难进行实时的海量分析,由于P2P通信由两端计算机直接协商,很容易实现端到端强加密,即使第三方得到通信数据,也很难在较短时间使用较小代价解密。 

7)P2P对电信行业带来的思考:

  • 互联网的建设和运营 :接入网出口及骨干网带宽问题和运营模式问题——内容拥有者在产业链各环节中的发言权增强,其甚至可以利用P2P技术,自己进行网络传输。 从文件交换服务提供者的角度来看,P2P作为一种单纯的服务,似乎不存在赢利的可能———用户需要的不是P2P软件,他们需要的只是通过P2P能得到的东西,也就是共享的文件。这更加凸现了内容提供商而非网络提供者的价值。另外电信运营商是否应当提供内容以及增值业务 ?
  • 互联网网络中立问题 :网络中立的提案中既排斥区别使用者分配资源也排斥区别应用分配资源。 网络中立提案希望电信运营商将网络像高速公路或者电网那样运营。电信运营商将只能作为管道提供商为内容提供商以及用户提供管道,不能按照自己的意愿以及所传送内容分配资源。虽然电信运营商拥有网络,但是只能得到少量的接入费用,而内容提供商却“寄生”在网络上得到绝大多数的利润,因此绝大多数运营商都反对网络中立。当前网络中立法案还没有在美国通过。 在以P2P为首的业务应用引出问题以后,互联网在网络中立问题上是否改变,如何改变,何时改变,都是需要思考的内容。
  • 互联网安全保障 :因为P2P类应用是用户到用户的,骨干网上不存在用户数据的必经点,对用户行为以及用户传送内容的过滤、合法监听越来越困难。当然如果在所有用户接入点上布置分析过滤工具不是不可能。但是这样带来的附加成本可能会急剧上升电信运营商是否应当为通信内容的安全负责?电信运营商应当对网络安全负多大的责任?成为管道提供者的电信运营商如何对安全负责。

 

作者:gnuhpc
出处:http://www.cnblogs.com/gnuhpc/

Published by

风君子

独自遨游何稽首 揭天掀地慰生平