首页 > 运动玩具 专利正文
画面显示的方法、装置和电子设备与流程

时间:2022-02-13 阅读: 作者:专利查询

画面显示的方法、装置和电子设备与流程

1.本发明涉及沉浸式活动系统技术领域,尤其是涉及一种画面显示的方法、装置和电子设备。


背景技术:

2.在直播场景或者线上会议场景中通常需要将终端设备显示屏的内容实时传输至目标应用中,使观众通过观众端的终端设备提供的显示屏实时观看主播分享的内容。但是,针对具有多个视频画面的场景,比如主播画面、直播画面等,通常也是通过终端设备提供的显示屏,在同一个2d平面中混合展示多个视频画面,容易导致各个视频画面之间相互遮挡,其他画面还可能会遮挡主视频画面中的关键信息,导致用户的体验感不佳。


技术实现要素:

3.有鉴于此,本发明的目的在于提供一种画面显示的方法、装置和电子设备,以避免图形用户界面中显示的各个画面之间相互遮挡,且用户可以从不同角度不同距离浏览虚拟展示模型展示的内容,增强浸感和参会的灵活性,提高用户的体验感。
4.第一方面,本发明实施例提供了一种画面显示的方法,通过第一终端提供图形用户界面,图形用户界面显示有虚拟场景,方法包括:响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;其中,虚拟角色为通过第一终端控制的角色;通过虚拟场景提供第一目标会场,第一目标会场包含两个以上的虚拟展示模型;当虚拟角色处于第一目标会场中时,通过虚拟展示模型中的第一虚拟展示模型显示第一数据流对应的第一画面,通过虚拟展示模型中的第二虚拟展示模型显示第二数据流对应的第二画面,其中,第一数据流和第二数据流根据第一目标会场对应的第一频道确定。
5.进一步的,第一数据流或第二数据流包含以下任一数据:第二终端分享的屏幕数据;第一频道对应的主播画面数据;基于任一角度捕获的第一目标会场的画面数据。
6.进一步的,通过虚拟展示模型中的主虚拟展示模型显示第二终端分享的屏幕数据对应的画面。
7.进一步的,第一目标会场中的虚拟展示模型显示的画面内容互不相同。
8.进一步的,两个以上的虚拟展示模型在第一目标会场中呈弧形排布。
9.进一步的,虚拟展示模型中的主虚拟展示模型为处于第一目标会场中所有虚拟展示模型的中心位置的虚拟展示模型。
10.进一步的,方法还包括:在第一目标会场配置至少一个聊天场景区域,并为聊天场景区域配置对应的聊天房间信息;响应针对虚拟角色的移动操作,控制虚拟角色在第一目标会场中移动;当虚拟角色移动至第一目标会场预设的目标聊天场景区域时,获取目标聊天场景区域的聊天房间信息;为虚拟角色对应的聊天对象开启语音通话功能,并根据聊天房间信息将聊天对象加入目标聊天场景区域对应的聊天房间,使得聊天房间中的聊天对象进行聊天。
11.进一步的,方法还包括:当虚拟角色到达虚拟场景中的第二目标会场时,通过第二目标会场中的虚拟展示模型显示对应的目标数据流的画面,其中,目标数据流根据第二目标会场对应的第二频道确定。
12.进一步的,方法还包括:响应针对虚拟角色的趣味交互操作,控制虚拟角色执行趣味交互操作对应的趣味动作;其中,趣味动作用于吸引第一终端的用户关注图形用户界面。
13.进一步的,方法还包括:响应于针对图形用户界面中的发言申请控件的触发操作,生成虚拟角色的发言申请,将发言申请发送至第三终端;响应于第三终端反馈的同意发言消息,在图形用户界面中显示发言控件;响应于针对发言控件的触发操作,获取虚拟角色的发言信息,并将发言信息发送至虚拟场景中所有虚拟角色对应的终端。
14.进一步的,方法还包括:响应于针对第一虚拟展示模型的内容切换操作,获取内容切换操作对应的第三数据流,更新第一虚拟展示模型显示画面为第三数据流对应的画面。
15.第二方面,本发明实施例提供了一种画面显示的装置,通过第一终端提供图形用户界面,图形用户界面显示有虚拟场景,装置包括:控制模块,用于响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;其中,虚拟角色为通过第一终端控制的角色;会场模块,用于通过虚拟场景提供第一目标会场,第一目标会场包含两个以上的虚拟展示模型;显示模块,用于当虚拟角色处于第一目标会场中时,通过虚拟展示模型中的第一虚拟展示模型显示第一数据流对应的第一画面,通过虚拟展示模型中的第二虚拟展示模型显示第二数据流对应的第二画面,其中,第一数据流和第二数据流根据第一目标会场对应的第一频道确定。
16.第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现第一方面任一项的画面显示的方法。
17.第四方面,本发明实施例提供了一种机器可读存储介质,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现第一方面任一项的画面显示的方法。
18.本发明实施例带来了以下有益效果:
19.本发明提供了一种画面显示的方法、装置和电子设备,响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;虚拟场景提供的第一目标会场包含两个以上的虚拟展示模型;当虚拟角色处于第一目标会场中时,通过第一虚拟展示模型显示第一数据流对应的第一画面,通过第二虚拟展示模型显示第二数据流对应的第二画面。该方式中,用户可以控制虚拟角色在虚拟场景的会场中移动,会场提供了多个虚拟展示模型,不同画面可以显示在不同的虚拟展示模型,可以在图形用户界面显示多个虚拟展示模型和模型中的画面,避免了图形用户界面中显示的各个画面之间相互遮挡,且能够根据用户需求展示不同的画面效果,用户也可以通过控制虚拟角色在虚拟场景中的移动,从而从不同角度不同距离浏览虚拟展示模型展示的内容,增强了沉浸感和参会的灵活性,提高了用户的体验感。
20.本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
21.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
22.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种画面显示的方法的流程图;
24.图2为本发明实施例提供的一种虚拟场景的示意图;
25.图3为本发明实施例提供的另一种虚拟场景的示意图;
26.图4为本发明实施例提供的另一种虚拟场景的示意图;
27.图5为本发明实施例提供的一种画面显示的装置的结构示意图;
28.图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
30.目前在直播场景或者线上会议场景中通常需要将终端设备显示屏的内容实时传输至目标应用中,使观众通过观众端的终端设备提供的显示屏实时观看主播分享的内容。但是,针对具有多个视频画面的场景,比如主播画面、直播画面等,通常也是通过终端设备提供的显示屏,在同一个2d平面中混合展示多个视频画面,容易导致各个视频画面之间相互遮挡,其他画面还可能会遮挡主视频画面中的关键信息,导致用户的体验感不佳。比如,讲师分享了一个文件,学生通过终端设备提供的显示屏观看文件,但是在文件右下角有个关键内容,但是一般来说右下角都会显示讲师的摄像头画面,摄像头画面就会遮挡住这个关键内容导致观看的学生看不到想看的内容。基于此,本发明实施例提供的一种画面显示的方法、装置和电子设备,该技术可以应用于具有沉浸式活动系统的电子设备。
31.为便于对本实施例进行理解,首先对本发明实施例所公开的一种画面显示的方法进行详细介绍,该方法中,通过第一终端提供图形用户界面,该图形用户界面显示有虚拟场景,其中的图形用户界面可以是沉浸式活动系统的图形用户界面,其中的虚拟场景中包括多个虚拟展示模型。
32.目前metaverse(元宇宙)出自一本陈旧的科幻小说《雪崩》(snow crash),它构建了一个新世界,就叫metaverse。这是一个脱胎于现实世界、又与现实世界平行、且始终在线的新世界。在计算机网络中相当于上述的沉浸式活动系统,本实施例中描述的就是该沉浸式活动系统,沉浸式活动系统可以提供一个三维的虚拟场景,可以支持多人同时在线,在该虚拟场景中可以开展线上会议、新闻发布会、展会活动、线上课堂、现场直播等。
33.如图1所示,该方法包括如下步骤:
34.步骤s102,响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;其中,虚拟角色为通过第一终端控制的角色;
35.上述虚拟场景是指三维场景,可以是上述沉浸式活动系统提供的三维虚拟场景,即该虚拟场景中可以包括多个用户对应的虚拟角色,或者多个终端控制的虚拟角色。每个虚拟角色都可以在该虚拟场景中移动或者做其他的操作。
36.通常上述虚拟场景中包括多种身份的虚拟角色,比如,讲师身份的虚拟角色,主持人身份的虚拟角色,普通观众的虚拟角色。上述虚拟角色可以是虚拟场景中的普通观众。上述移动操作包括位置移动操作,可以理解虚拟角色的位置移动后该虚拟角色视角也会变化,上述移动操作对应的动作包括走路和跑步,比如控制虚拟角色在虚拟场景中移动,改变虚拟角色在虚拟场景中的位置。其中,控制虚拟角色执行控制操作对应的动作时,会改变虚拟角色的视角,比如,相当于现实中的用户可以从展板的左边走到右边,进而可以从不同角度观看虚拟场景中的对象,比如各个虚拟展示模型中播放的画面。
37.具体的,第一终端侧的用户可以通过鼠标或者键盘,输入移动指令,控制虚拟角色在虚拟场景中移动,或者可以通过触控的方式点击虚拟角色,控制虚拟角色在虚拟场景中移动。第一终端的产品不同,对应的控制方式通常不同。
38.步骤s104,通过虚拟场景提供第一目标会场,第一目标会场包含两个以上的虚拟展示模型;
39.上述虚场景为三维场景,该虚拟场景提供的第一目标会场也为3d形式的会场,上述第一目标会场可以是线上会议、新闻发布会、展会活动、线上课堂、现场直播等。且,上述虚拟场景也可以同时提供多个会场。上述虚拟展示模型是3d模型,该虚拟展示模型具有画面显示的功能,每个虚拟展示模型都包括有显示屏。且每个虚拟展示模型会场中的位置通常不同,虚拟展示模型的大小和形状可以相同也可以不同,同可以根据实际的会场需要进行设置。
40.比如,第一目标会场包含三个虚拟展示模型;可以在第一目标会场的中心位置放置一个虚拟展示模型,然后在中心位置的左右两侧各放置一个虚拟展示模型。
41.步骤s106,当虚拟角色处于第一目标会场中时,通过虚拟展示模型中的第一虚拟展示模型显示第一数据流对应的第一画面,通过虚拟展示模型中的第二虚拟展示模型显示第二数据流对应的第二画面,其中,第一数据流和第二数据流根据第一目标会场对应的第一频道确定。
42.上述第一数据流或第二数据流可以是会场中指定的虚拟角色对应的第二终端分享的屏幕对应的数据,可以是第二终端显示屏中显示的所有画面对应的数据,也可以是第二终端显示屏中显示的某个文件、演示文稿、或者画面(如游戏画面等)对应的数据。同样的,上述第一画面或第二画面可以是主播的直播画面,也可以是讲师的演示文稿等文件,还可以是主播或讲师的摄像头画面,还可以是虚拟场景的现场画面。需要说明的是,上述第一画面和第二画面为不同的画面,比如,第一画面为主播的直播画面,第二画面为主播的摄像头画面。
43.上述第一频道为第一目标会场预先设置好的频道信息,通过该第一频道第一终端可以获取第一频道对应的数据流。通常,在虚拟角色加入第一目标会场时,服务端会直接将第一目标会场对应的第一频道的频道信息发送至会场中的虚拟角色对应的终端,比如,发
送给会场中的主播和观众。当主播开始直播时,第一终端根据第一目标会场对应的第一频道确定并获取第一数据流和第二数据流,然后将第一数据流对应的第一画面显示在第一虚拟展示模型中,将第二数据流对应的第二画面显示在第二虚拟展示模型中。
44.实际实现时,由于第一画面和第二画面分别显示在不同的虚拟展示模型中,因此虚拟角色对应的用户可以控制虚拟角色移动,进而在图形用户界面显示移动后的第一目标会场画面,具体可以控制移动后的第一目标会场画面中第一画面和第二画面互不遮挡,即图形用户界面可以显示互不遮挡的多个画面,用户可以通过终端同时观看这两个互不遮挡的画面。当然还可以有多个虚拟展示模型,也可以使用户观看互不遮挡的多个画面。且在第一目标会场中用户可以从多个角度去看虚拟展示模型,可以根据需要想看哪个就看哪个,具有多种选择。
45.如图2所示的一种图形用户界面的示意图,该图形用户界面中虚拟角色位于第一虚拟展示模型前方的中间位置,用户可以观看到三个互不遮挡的虚拟展示模型。可以理解,虚拟角色在第一目标会场中看到的虚拟展示模型的展示效果,与图形用户界面显示的虚拟展示模型的展示效果一致。
46.另外,当虚拟角色移动至靠近第一虚拟展示模型的位置时,如图3所示的图形用户界面,该虚拟场景中第一虚拟展示模型和第二虚拟展示模型中的画面会更加清晰,图形用户界面中显示的第一虚拟展示模型和第二虚拟展示模型的展示效果与虚拟角色在第一目标会场中看到的虚拟展示模型的展示效果一致。用户可以在虚拟场景中控制自己的角色,更加沉浸地观看讲师屏幕分享的演示文稿或主播的现场直播,犹如在现实世界中观看直播或听课一般。
47.本发明实施例提供了一种画面显示的方法,响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;虚拟场景提供的第一目标会场包含两个以上的虚拟展示模型;当虚拟角色处于第一目标会场中时,通过第一虚拟展示模型显示第一数据流对应的第一画面,通过第二虚拟展示模型显示第二数据流对应的第二画面。该方式中,用户可以控制虚拟角色在虚拟场景的会场中移动,会场提供了多个虚拟展示模型,不同画面可以显示在不同的虚拟展示模型,可以在图形用户界面显示多个虚拟展示模型和模型中的画面,避免了图形用户界面中显示的各个画面之间相互遮挡,且能够根据用户需求展示不同的画面效果,用户也可以通过控制虚拟角色在虚拟场景中的移动,从而从不同角度不同距离浏览虚拟展示模型展示的内容,增强了沉浸感和参会的灵活性,提高了用户的体验感。
48.可以理解,在虚拟场景中,可以控制虚拟角色在虚拟场景中自由活动,能够使虚拟角色分别从不同的角度观看虚拟场景中的虚拟展示模型,将虚拟角色分别从不同的角度观看到的场景画面显示在图形用户界面,相当于用户可以从不同的角度观看各个画面,可以控制角度使得用户能够观看到全部互不遮挡的画面。
49.下面描述上述第一数据流和第二数据流具体包括的数据,其中第一数据流或第二数据流包含以下任一数据:第二终端分享的屏幕数据;第一频道对应的主播画面数据;基于任一角度捕获的第一目标会场的画面数据。
50.上述第二终端分享的屏幕数据可以是第二终端的屏幕中显示的数据,比如,讲师屏幕分享的演示文稿,主播屏幕分享的直播画面(如游戏画面等)。实际实现时,第二终端的用户通过分享屏幕的操作,可以将第二终端的分享屏幕对应的屏幕数据发送至第一终端,
进而将该屏幕数据对应的画面显示在对应的虚拟展示模型中。
51.上述第一频道对应的主播画面数据可以是第二终端的摄像头采集到的主播画面对应的数据。上述基于任一角度捕获的第一目标会场的画面数据可以是第一目标会场的全景画面数据,也可以是指定角度的第一目标会场的画面数据。
52.上述方式提供了多路视频流数据,包括第二终端分享的屏幕数据;第一频道对应的主播画面数据;基于任一角度捕获的第一目标会场的画面数据,可以使用户观看多个不同的画面,且各个画面之间互不遮挡,丰富了会场的直播效果。
53.为了进一步提高会场中画面的显示效果,一种可能的实施方式,上述虚拟展示模型通常包括主虚拟展示模型,其中的主虚拟展示模型显示第二终端分享的屏幕数据。然后,上述虚拟展示模型通常还包括多个副虚拟展示模型,副虚拟展示模型通常显示第一频道对应的主播画面数据对应的画面和任一角度捕获的第一目标会场的画面数据对应的画面。
54.通过将第二终端分享的屏幕数据对应的画面显示在主虚拟展示模型中,能够引起用户对第二终端分享的屏幕数据对应的画面的关注,进而使得用户能够区分主画面和副画面的内容。
55.另外,上述第一目标会场中的虚拟展示模型显示的画面内容互不相同。比如,第一虚拟展示模型显示第二终端分享的屏幕数据对应的画面,第二虚拟展示模型显示第一频道对应的主播画面数据对应的画面,第三虚拟展示模型显示任一角度捕获的第一目标会场的画面数据对应的画面。通常,显示第二终端分享的屏幕数据对应的画面的第一虚拟展示模型位于第二虚拟展示模型和第三虚拟展示模型的中间。以方面用户观看主要的屏幕分享内容。
56.通过不同的虚拟展示模型显示不同画面内容,可以在图形用户界面显示多个虚拟展示模型和模型中的画面,避免了图形用户界面中显示的各个画面之间相互遮挡,且能够根据用户需求展示不同的画面效果,提高了用户的体验感。
57.为了进一步提高会场中各个虚拟展示模型的展示效果,一种可能的实施方式,两个以上的虚拟展示模型在第一目标会场中呈弧形排布。比如,三个虚拟展示模型,其中的一个主虚拟展示模型位于弧形的中间位置,两个副虚拟展示模型位于弧形的两侧位置。通过弧形排列各个虚拟展示模型能够提高画面的展示效果,虚拟角色在弧形内部的不同位置都可以在不同角度观看虚拟展示模型显示的画面。
58.另外,为了进一步提高用户的体验感和沉浸感,上述虚拟展示模型中的主虚拟展示模型为处于第一目标会场中所有虚拟展示模型的中心位置的虚拟展示模型。
59.需要说明的是,本实施例中可以设置虚拟场景提供的第一目标会场中每个虚拟角色的权限,具有分享屏幕权限的虚拟角色通常是讲师或者主播。另外,还会提前设置第一目标会场的第一频道的频道信息以及具有分享权限的虚拟角色的用户标识,终端通过音视频组件,根据该频道信息发送数据流,或者根据该频道信息和用户标识获取数据流。
60.具体的,第二终端的主播可以点击图形用户界面的屏幕分享控件,选择自己想要分享的画面,比如,演示文稿、当前屏幕显示的画面等。然后根据分享的画面,通过音视频组件输出第二终端的分享的屏幕数据,由于服务端将讲师的虚拟角色的标识分发给所有终端,观众对应的终端在音视频组件中订阅讲师的标识,将讲师的分享的画面渲染至每个终端的第一目标会场的虚拟展示模型中。以使观众可以在第一目标会场的大屏上看到讲师端
的画面,也可以听到讲师的讲解。
61.例如图4所示的图形用户界面的示意图,在第一目标会场的第一虚拟展示模型中显示屏幕数据对应的画面,该画面是第二终端分享的屏幕数据对应的画面,比如演示文稿,图4为第二终端提供的图形用户界面示意图,其中第二终端的虚拟角色针对该画面进行讲解。该图形用户界面中还包括“停止”控件,第二终端的主播可以点击“停止”控件停止分享屏幕。
62.另外需要说明的是,第一目标会场中,在第一虚拟展示模型的两侧通常还设置有其他的虚拟展示模型,分别显示有讲师的摄像头画面,或者显示有虚拟场景的现场画面。
63.具体的,服务端将多路数据流的频道信息和主播或讲师在此频道中的唯一标识分发给当前场景的所有虚拟角色,主播或讲师通过音视频组件输出数据流,观众根据对应主播或讲师数据订阅指定的数据流渲染于场景虚拟展示模型中观看。
64.上述方式中,第一目标会场中具有分享屏幕权限的虚拟角色的用户,可以在第一目标会场中分享自己终端(上述的第二终端)的屏幕,以在第一目标会场的主虚拟展示模型中显示第二终端分享的屏幕数据对应的画面。丰富了虚拟场景的应用,能够为每个虚拟角色提供不同的权限,进而提高了用户的体验感。
65.另外,因为在用户加入第一目标会场时服务端直接分发给所有用户频道信息,也就是一个第一目标会场有且仅有一个频道信息,是后台生成第一目标会场的时候就附带了,不会随着观众的变化或者主播的变化或时间的推移改变,也就是说这个频道信息只需要发一次就可以一直用,不用一直发,只要在这个第一目标会场中就无需变动,节省了一部分流量消耗以及前后端通信消耗。
66.本实施中,为了进一步提升用户观看画面的沉浸感,提高观看画面的趣味性,上述方法还包括:
67.(1)在第一目标会场配置至少一个聊天场景区域,并为聊天场景区域配置对应的聊天房间信息;
68.(2)响应针对虚拟角色的移动操作,控制虚拟角色在第一目标会场中移动;
69.(3)当虚拟角色移动至第一目标会场预设的目标聊天场景区域时,获取目标聊天场景区域的聊天房间信息;为虚拟角色对应的聊天对象开启语音通话功能,并根据聊天房间信息将聊天对象加入目标聊天场景区域对应的聊天房间,使得聊天房间中的聊天对象进行聊天。
70.上述聊天场景区域可以是虚拟场景中的指定区域,比如指定的桌子或者椅子等。每个聊天场景区域配置对应的聊天房间信息,比如,聊天场景区域中的第一聊天场景区域可以配置对应的聊天房间信息为第一房间,聊天场景区域中的第二聊天场景区域可以配置对应的聊天房间信息为第二房间。具体的,当用户控制虚拟角色在第一目标会场中移动时,如果控制虚拟角色进入到第一目标会场预设的其中一个目标聊天场景区域时,即可触发聊天操作,同时第一终端会获取该目标聊天场景区域的聊天房间信息;另外,上述聊天区域中可以设置虚拟座椅,当虚拟角色坐在聊天区域中的虚拟座椅中时,即可触发聊天操作,同时第一终端会获取该目标聊天场景区域的聊天房间信息。
71.然后建立虚拟角色与聊天场景区域的其他虚拟角色的聊天功能,具体为上述为虚拟角色对应的聊天对象开启语音通话功能,即建立虚拟角色与聊天场景区域的其他虚拟角
色的语音聊天。为了使聊天场景区域中的所有虚拟对象能够进行畅聊,且不会受到其他虚拟角色的影响,同时第一终端可以根据聊天房间信息将聊天场景区域的其他虚拟角色可以加入目标聊天场景区域对应的聊天房间,最后聊天房间中的聊天对象即可进行通话聊天。
72.当然,可以是也可以是建立虚拟角色与聊天场景区域的其他虚拟角色的文字聊天。如果是语音聊天可以显示虚拟角色与其他虚拟角色的头像信息,如果是文字聊天可以显示虚拟角色与其他虚拟角色的发送的文字信息。
73.上述方式中,当虚拟角色在第一目标场景中观看画面时,还可以边看画面边和身边的虚拟角色进行语音交互聊天,讨论画面内容,相对于普通的通过2d界面观看直播或者观看讲师讲课更加具有沉浸感和满足感。
74.另外,上述虚拟场景通常可以提供多个会场,每个会场的会议内容不同,因此第一终端的虚拟角色可以切换不同的会场,看到不同的屏幕内容。具体的,当虚拟角色到达虚拟场景中的第二目标会场时,通过第二目标会场中的虚拟展示模型显示对应的目标数据流的画面,其中,目标数据流根据第二目标会场对应的第二频道确定。
75.由于每个会场中都预先设置有对应的频道信息,不同的会场会根据预设的频道信息确定该会场需要获取的数据流,以及需要显示的画面。实际实现时,可以通过第一终端提供的图形用户界面中的会场切换控件,选择想要切换的第二目标会场,虚拟角色即可到达虚拟场景中的第二目标会场,或者可以控制虚拟角色在第一目标会场中移动,当移动至第一目标会场的出口区域以及第二目标会场的入口区域时,继续向第二目标会场的入口处移动,虚拟角色即可到达虚拟场景中的第二目标会场。
76.虚拟角色到达虚拟场景中的第二目标会场时,显示画面的过程与进入第一目标会场时的过程相同,在此不再赘述。
77.上述方式中,虚拟场景可以提供多个目标会场,用于举办不同类型的会议、直播等,进一步提高了用户在虚拟场景中的沉浸感,进一步丰富了虚拟场景的应用。
78.为了进一步提高用户观看画面的沉浸感,同时提高用户对于图形用户界面的集中力。上述方法还包括:响应针对虚拟角色的趣味交互操作,控制虚拟角色执行趣味交互操作对应的趣味动作;其中,趣味动作用于吸引第一终端的用户关注图形用户界面。
79.上述趣味交互动作可以是指定的肢体动作,比如打招呼、跳舞等动作。还可以是虚拟角色与附近的虚拟角色一起执行某个肢体动作,比如双人交谊舞等,当然也控制虚拟角色和其他更多的虚拟角色一起执行某个肢体动作。具体的,可以点击图形用户界面中的动作控件,选择一个想要虚拟角色执行的动作,则可以控制虚拟角色执行趣味交互操作对应的趣味动作,或者控制虚拟角色和其他至少一个虚拟角色执行趣味交互操作对应的趣味动作。
80.该种方式中,用户可以控制虚拟角色在虚拟场景中边看虚拟展示模型中显示的画面,边在虚拟场景中做一些趣味交互动作,提高了用户观看画面的沉浸感,提高了用户对于图形用户界面的集中力,同时提高了虚拟活动的效果。
81.通常讲师讲课或者主播直播包括多路数据流,通过主屏幕可以是上述第一主虚拟展示模型显示主要的分享屏幕的屏幕数据对应的画面,通常包括演示文稿、直播画面等。本实施例中设置有多个虚拟展示模型,因此在副屏幕可以是上述第二虚拟展示模型中显示讲师或者主播的摄像头画面,或者显示虚拟场景的现场画面。
82.一种可能的实施方式中,上述第二数据流为第二终端侧的摄像头采集到的数据。其中,第二终端侧的摄像头采集到的数据对应的画面为第二终端的用户画面。
83.另一种可能的实施方式中,上述第二数据流为虚拟场景中预设的至少一个具有固定位置的虚拟摄像头对应的场景数据。其中,预设的至少一个固定位置的虚拟摄像头可以提前根据需要设置,通常在虚拟场景的几个关键位置分别固定设置虚拟摄像头。上述虚拟摄像头对应的场景数据对应的画面为虚拟场景的现场画面。当有屏幕分享操作时,即可将虚拟摄像头对应的场景数据对应的现场画面显示在第二虚拟展示模型中。
84.具体的,虚拟场景中的第二虚拟展示模型可以包括多个,分别用于显示第二终端侧的摄像头采集到的数据对应的第二画面,以及显示虚拟摄像头对应的场景数据对应的第二画面。如果虚拟场景中的第二虚拟展示模型包括一个,可以显示第二终端侧的摄像头采集到的数据对应的第二画面,或显示虚拟摄像头对应的场景数据对应的第二画面。
85.上述方式中,第二数据流有多种可能,可以是第二终端侧的摄像头采集到的数据,也可以是虚拟场景中预设的至少一个具有固定位置的虚拟摄像头对应的场景数据,因此在虚拟场景中设置有多个虚拟展示模型,通过多个虚拟展示模型可以展示多路数据流对应的画面,展示效果更加壮观,而且用户根据自己的需求控制自己想看的内容,各个虚拟展示模型之间互不影响互不遮挡。
86.为了进一步提高用户在虚拟场景中的沉浸感,上述方法还包括:响应于针对图形用户界面中的发言申请控件的触发操作,生成虚拟角色的发言申请,将发言申请发送至第三终端;响应于第三终端反馈的同意发言消息,在图形用户界面中显示发言控件;响应于针对发言控件的触发操作,获取虚拟角色的发言信息,并将发言信息发送至虚拟场景中所有虚拟角色对应的终端。
87.上述第三终端对应的用户为主持人,主持人可以控制虚拟场景中每个观众虚拟角色的发言申请。通常第一终端提供的图形用户界面中包括发言申请控件,如果用户想要对虚拟场景中的所有人发言,用户可以点击该发言申请控件,第一终端会生成虚拟角色的发言申请,然后将该发言申请发送至第三终端;第三终端的用户可以选择允许发言也可以选择不允许发言,当接收到第三终端反馈的同意发言消息时,在图形用户界面中显示发言控件,以提示虚拟角色对应的用户可以进行发言;可以点击发言控件进行发言,也可以直接发言,第一终端获取虚拟角色的发言信息,并将发言信息发送至虚拟场景中所有虚拟角色对应的终端,已完成虚拟角色的发言过程,相当于现实中,比如新闻发布会,在提问环节观众可以举手申请发言,当主持人允许某个观众发言时,可以将话筒交给这个观众,这个观众就可以发言了,然后现场的每个人都可以听到这个观众的发言。
88.上述方式中,第一目标会场中的虚拟角色可以通过发言申请,申请在第一目标会场中发言,进一步提高了用户在虚拟场景中的沉浸感。
89.上述方法还包括:响应于针对第一虚拟展示模型的内容切换操作,获取内容切换操作对应的第三数据流,更新第一虚拟展示模型显示画面为第三数据流对应的画面。
90.在第一目标会场中,观众不能拒绝讲师分享的屏幕,如果讲师分享的有问题,会有主持人相关的控场角色处理。观众也不能更换屏幕显示内容。但是如果讲师停止分享屏幕,更换了其他讲师分享屏幕,则第一目标会场中虚拟展示模型中显示内容需要更新,也可以理解为场景的切换,或者第一目标会场中换了个讲师讲课。
91.具体的,当第二终端停止分享屏幕后,第四终端开始分享屏幕,则获取第四终端的分享屏幕对应的第三数据流,将第一虚拟展示模型显示画面切换为第三数据流对应的画面。另外,还可以获取第四终端侧的摄像头对应的数据,或者第一目标会场中固定虚拟摄像头对应的场景数据,然后将第二虚拟展示模型显示画面切换为第四终端侧的摄像头对应的数据对应的画面,同时在另一个第二虚拟展示模型显示第一目标会场中固定虚拟摄像头对应的场景数据对应的画面。或者,第二终端停止分享屏幕后,有更换了其他的内容进行分享,则继续获取第二终端的分享屏幕对应的第三数据流,将第一虚拟展示模型显示画面切换为第三数据流对应的画面。然后继续获取第二终端侧的摄像头对应的数据,或者虚拟场景中固定虚拟摄像头对应的场景数据。
92.通常前述的第一虚拟展示模型的尺寸大于第二虚拟展示模型的尺寸。或者可以是主虚拟展示模型的尺寸大于副虚拟展示模型的尺寸。
93.上述方式中,第一目标会场中虚拟展示模型显示的画面,可以根据不同的讲师或直播等更新为对应的画面,使第一目标会场更加贴近现实,丰富了虚拟场景的应用,能够更加贴近显示,进一步提高了用户在虚拟场景中的沉浸感。
94.对应上述的方法实施例,本发明实施例提供了一种画面显示的装置,该装置通过第一终端提供图形用户界面,图形用户界面显示有虚拟场景,如图5所示,该装置包括:
95.控制模块51,用于响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;其中,虚拟角色为通过第一终端控制的角色;
96.会场模块52,用于通过虚拟场景提供第一目标会场,第一目标会场包含两个以上的虚拟展示模型;
97.显示模块53,用于当虚拟角色处于第一目标会场中时,通过虚拟展示模型中的第一虚拟展示模型显示第一数据流对应的第一画面,通过虚拟展示模型中的第二虚拟展示模型显示第二数据流对应的第二画面,其中,第一数据流和第二数据流根据第一目标会场对应的第一频道确定。
98.本发明提供了一种画面显示的装置,响应针对虚拟场景中的虚拟角色的移动操作,控制虚拟角色在虚拟场景中移动;虚拟场景提供的第一目标会场包含两个以上的虚拟展示模型;当虚拟角色处于第一目标会场中时,通过第一虚拟展示模型显示第一数据流对应的第一画面,通过第二虚拟展示模型显示第二数据流对应的第二画面。该方式中,用户可以控制虚拟角色在虚拟场景的会场中移动,会场提供了多个虚拟展示模型,不同画面可以显示在不同的虚拟展示模型,可以在图形用户界面显示多个虚拟展示模型和模型中的画面,避免了图形用户界面中显示的各个画面之间相互遮挡,且能够根据用户需求展示不同的画面效果,用户也可以通过控制虚拟角色在虚拟场景中的移动,从而从不同角度不同距离浏览虚拟展示模型展示的内容,增强了沉浸感和参会的灵活性,提高了用户的体验感。
99.进一步的,上述第一数据流或第二数据流包含以下任一数据:第二终端分享的屏幕数据;第一频道对应的主播画面数据;基于任一角度捕获的第一目标会场的画面。
100.进一步的,上述通过虚拟展示模型中的主虚拟展示模型显示第二终端分享的屏幕数据。
101.进一步的,上述第一目标会场中的虚拟展示模型显示的画面内容互不相同。
102.进一步的,上述两个以上的虚拟展示模型在第一目标会场中呈弧形排布。
103.进一步的,上述主虚拟展示模型为处于第一目标会场中所有虚拟展示模型的中心位置的虚拟展示模型。
104.进一步的,上述装置还包括聊天模块,用于:在第一目标会场配置至少一个聊天场景区域,并为聊天场景区域配置对应的聊天房间信息;响应针对虚拟角色的移动操作,控制虚拟角色在第一目标会场中移动;当虚拟角色移动至第一目标会场预设的目标聊天场景区域时,获取目标聊天场景区域的聊天房间信息;为虚拟角色对应的聊天对象开启语音通话功能,并根据聊天房间信息将聊天对象加入目标聊天场景区域对应的聊天房间,使得聊天房间中的聊天对象进行聊天。
105.进一步的,上述装置还包括会场切换模块,用于:当虚拟角色到达虚拟场景中的第二目标会场时,通过第二目标会场中的虚拟展示模型显示对应的目标数据流的画面,其中,目标数据流根据第二目标会场对应的第二频道确定。
106.进一步的,上述装置还包括第二控制模块,用于:响应针对第一虚拟角色的趣味交互操作,控制第一虚拟角色执行趣味交互操作对应的趣味动作;其中,趣味动作用于吸引第一终端的用户关注图形用户界面。
107.进一步的,上述装置还包括发言模块,用于:响应于针对图形用户界面中的发言申请控件的触发操作,生成虚拟角色的发言申请,将发言申请发送至第三终端;响应于第三终端反馈的同意发言消息,在图形用户界面中显示发言控件;响应于针对发言控件的触发操作,获取虚拟角色的发言信息,并将发言信息发送至虚拟场景中所有虚拟角色对应的终端。
108.进一步的,上述装置还包括更新模块,用于:响应于针对第一虚拟展示模型的分享切换操作,获取分享切换操作对应的第三数据流,更新第一虚拟展示模型显示画面为第三数据流对应的画面。
109.本发明实施例提供的画面显示的装置,与上述实施例提供的画面显示的方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
110.本实施例还提供一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现上述画面显示的方法。该电子设备可以是服务器,也可以是终端设备。
111.参见图6所示,该电子设备包括处理器100和存储器101,该存储器101存储有能够被处理器100执行的机器可执行指令,该处理器100执行机器可执行指令以实现上述画面显示的方法。
112.进一步地,图6所示的电子设备还包括总线102和通信接口103,处理器100、通信接口103和存储器101通过总线102连接。
113.其中,存储器101可能包含高速随机存取存储器(ram,random access memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
114.处理器100可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上
述的处理器100可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101,处理器100读取存储器101中的信息,结合其硬件完成前述实施例的方法的步骤。
115.本实施例还提供一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述画面显示的方法。
116.本发明实施例所提供的画面显示的方法、装置以及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
117.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
118.另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
119.功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
120.在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
121.最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭
露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。