信息处理装置和信息处理方法
1.本技术是国际申请日2015年6月30日、国际申请号pct/jp2015/068751的国际申请于2016年12月23日进入国家阶段的申请号为201580034444.x、发明名称为“信息处理装置和信息处理方法”的专利申请的分案申请，其全部内容结合于此作为参考。
技术领域
2.本公开涉及信息处理装置和信息处理方法，且尤其涉及使得能够容易再现多个种类的音频数据中的预定种类的音频数据的信息处理装置和信息处理方法。


背景技术：

3.近年来，互联网上的流服务的主流已经超过热门视频(ott
‑
v)。作为基本技术而日益流行的技术是运动图像专家组
‑
基于http的动态自适应流(mpeg
‑
dash)(例如，参见非专利文献1)。
4.在mpeg
‑
dash中，分配服务器针对一条运动图像内容准备具有不同屏幕尺寸和编码速度的运动图像数据组，且再现终端根据发送路径的状况，要求具有最佳屏幕尺寸和最佳编码速度的运动图像数据组，使得实现自适应流分配。
5.引用列表
6.非专利文献
7.非专利文献1：mpeg
‑
dash(基于http的动态自适应流)(url:http://mpeg.chiariglione.org/standards/mpeg
‑
dash/media
‑
presentation
‑
description
‑
and
‑
segment
‑
formats/text
‑
isoiec
‑
23009
‑
12012
‑
dam
‑
1)


技术实现要素：

8.本发明待解决的问题
9.然而，还未考虑到多组的音频数据中的预定组的音频数据的容易再现(再生，reproduction)。
10.鉴于上述问题而作出本公开，且本公开支持多组的音频数据中的所期望组的音频数据的容易再现。
11.问题的解决方案
12.本公开的第一方面的信息处理装置为包括文件生成单元的信息处理装置，该文件生成单元生成以下文件，其中多个种类的音频数据针对种类中的每一种或多种而被分割到轨道中并被布置，且布置有与所述多个种类相关的信息。
13.本公开的第一方面的信息处理方法对应于本公开的第一方面的信息处理装置。
14.在本公开的第一方面中，生成了一种文件，在该文件中多个种类的音频数据针对所述种类的每一种或多种而被分割到轨道中并被布置，且布置有与多个种类相关的信息。
15.本公开的第二方面的信息处理装置为包括再现单元的信息处理装置，该再现单元从文件中再现预定轨道的音频数据，在该文件中多个种类的音频数据针对所述种类的每一
种或多种而被分割到轨道中并被布置，且与多个种类相关的信息被布置。
16.本公开的第二方面的信息处理方法对应于本公开的第二方面的信息处理装置。
17.在本公开的第二方面中，预定轨道的音频数据从文件中再现，在该文件中多个种类的音频数据针对所述种类的每一种或多种而被分割到轨道中并被布置且与多个种类相关的信息被布置。
18.需注意，可以通过使计算机执行程序来实现第一方面的信息处理装置和第二方面的信息处理装置。
19.另外，为了实现第一方面和第二方面的信息处理装置，可以通过传输介质传输由计算机执行的程序或可将其记录在记录介质上提供由计算机执行的程序。
20.本发明的效果
21.根据本公开的第一方面，可以生成文件。另外，根据本公开的第一方面，可以生成使得可容易再现多个种类的频数据中的预定种类的音频数据的文件。
22.根据本公开的第二方面，可以再现音频数据。另外，根据本公开的第二方面，可以容易地再现多个种类的音频数据中的预定种类的音频数据。
附图说明
23.图1为示出mpd文件的结构的示图。
24.图2为示出“period(时期)”、“representation(表示)”和“segment(片段)”之间的关系的示图。
25.图3为示出mpd文件的层级结构的示图。
26.图4为示出mpd文件的结构与时间轴之间的关系的示图。
27.图5为用于说明mp4的3d音频文件格式的轨道(track)的概要的示图。
28.图6为示出moov box(moov盒子)的结构的示图。
29.图7为示出3d音频的层级结构的示图。
30.图8为用于说明本公开应用于的第一实施例中的信息处理系统的概要的示图。
31.图9为用于说明本公开应用于的第一实施例中的轨道的第一示例的概要的示图。
32.图10为示出基本轨道的样本条目的语法的示例的示图。
33.图11为示出形成switch group的组的轨道的样本条目的语法的示例的示图。
34.图12为示出片段结构的第一示例的示图。
35.图13为示出片段结构的第二示例的示图。
36.图14为示出level assignment(级别分配)盒子的描述示例的示图。
37.图15为示出本公开应用于的在第一实施例中的mpd文件的第一描述示例的示图。
38.图16为示出图8的文件生成设备的配置示例的框图。
39.图17为流程图，其用于描述图16的文件生成设备的文件生成处理。
40.图18为框图，其示出利用图8的运动图像再现终端实现的流再现单元的配置示例。
41.图19为流程图，其用于描述图18的流再现单元的再现处理。
42.图20为用于描述本公开应用于的第一实施例中的轨道的第二示例的概要的示图。
43.图21为示出switch group的组的轨道的示例组条目的语法的示例的示图。
44.图22为示出各个组的轨道的样本条目(sample entry，样本条目)的语法的示例的
示图。
45.图23为用于说明音频文件的轨道的第三示例的概要的示图。
46.图24为示出mpd文件的第二描述示例的示图。
47.图25为示出mpd文件的第二描述示例的另一个示例的示图。
48.图26为用于描述音频文件的轨道的第四示例的概要的示图。
49.图27为示出mpd文件的第三描述示例的示图。
50.图28为用于描述音频文件的轨道的第五示例的概要的示图。
51.图29为示出其中4cc为“mha3”的样本条目的语法的示例的示图。
52.图30为示出其中4cc为“mha3”的样本条目的语法的另一个示例的示图。
53.图31为示出mpd文件的第四描述示例的示图。
54.图32为用于描述音频文件的轨道的第三示例的另一个示例的概要的示图。
55.图33为用于描述音频文件的轨道的第四示例的另一个示例的概要的示图。
56.图34为用于描述音频文件的轨道的第五示例的另一个示例的概要的示图。
57.图35为用于描述音频文件的轨道的第六示例的概要的示图。
58.图36为示出图35的基本轨道和组轨道的样本条目的语法的示例的示图。
59.图37为示出其中4cc为“mha3”的样本条目的语法的又一个示例的示图。
60.图38为用于说明本公开应用至的第二实施例中的轨道的概要的示图。
61.图39为描述本公开应用至的第二实施例中的mpd文件的第一描述示例的示图。
62.图40为用于描述本公开应用至的第三实施例中的信息处理系统的概要的示图。
63.图41为示出图40的文件生成设备的配置示例的框图。
64.图42为流程图，其用于描述图41的文件生成设备的文件生成处理。
65.图43为框图，其示出由图40的运动图像再现终端实现的流再现单元的配置示例。
66.图44为流程图，其用于描述图43的流再现单元的再现处理的示例。
67.图45为描述本公开应用至的第二实施例中的mpd文件的第二描述示例的示图。
68.图46为描述本公开应用至的第二实施例中的mpd文件的第三描述示例的示图。
69.图47为描述本公开应用至的第二实施例中的mpd文件的第四描述示例的示图。
70.图48为描述本公开应用至的第二实施例中的mpd文件的第五描述示例的示图。
71.图49为描述本公开应用至的第二实施例中的mpd文件的第六描述示例的示图。
72.图50为描述本公开应用至的第二实施例中的mpd文件的第七描述示例的示图。
73.图51为示出包括多个基本轨道的音频文件的轨道结构的示例的示图。
74.图52为示出包括多个基本轨道的音频文件的轨道结构的另一个示例的示图。
75.图53为示出计算机的硬件的配置示例的框图。
具体实施方式
76.在下文中，将描述本公开的预设和用于实施本公开的实施例(以下称为实施例)。需注意，描述将按以下顺序给出。
77.0.本公开的预设(图1至图7)
78.1.第一实施例(图8至图37)
79.2.第二实施例(图38至图50)
80.3.基本轨道的其他示例(图51和图52)
81.4.第三实施例(图53)
82.<本公开的预设>
83.(mpd文件的结构的说明)
84.图1是示出mpeg
‑
dash的媒体表示描述(mpd)文件的结构的示图。
85.在mpd文件的分析(解析)中，从在mpd文件的“period”中包括的“representation”属性(图1的媒体表示)中选出最佳的一个。
86.然后，通过参考在所选中的“representation”的排头的“initialization segment(初始化片段)”的统一资源定位符(url)等来获取并处理文件。接着，通过参考后续的“媒体片段”的url等来获取和再现文件。
87.需注意，在图2示出了mpd文件中的“period”、“representation”和“片段”之间的关系。也就是说，一条运动图像内容可以通过“period”以比片段更长的时间单位管理，并且可以在各个“period”中通过“segment”以片段为单位来管理。另外，在各个“period”中，可以通过“representation”以流的属性为单位来管理运动图像内容。
88.因此，mpd文件具有在“period”中和以下的图3所示的层级结构。另外，在图4的示例中示出mpd文件的结构关于时间轴的布置。从图4可以清楚地看出，关于相同片段存在多个“representation”。通过自适应地选择这些“representation”中的任一个，可以获取和再现用户的所期望的属性的流。
89.(3d音频文件格式的概要)
90.图5为用于说明mp4的3d音频文件格式的轨道的概要的示图。
91.在mp4文件中，可以针对各轨道来管理运动图像内容的编解码信息和表示在文件中的位置的位置信息。在mp4的3d音频文件格式中，3d音频(channel audio/object audio/saoc object audio/hoa audio/metadata)的所有音频流(elementary stream(基本流，es)以样本(帧)为单位被记录为一个轨道。另外，3d音频的编解码信息(pro file/level/audio configuration)被存储为样本条目。
92.构成3d音频的channel audio(声道音频)为以声道为单位的音频数据，而object audio(对象音频)为以对象为单位的音频数据。需注意，对象为声源，且利用附接到对象的麦克风等来获取以对象为单位的音频数据。对象可为物体(诸如固定式麦克风架)或运动体(诸如人)。
93.另外，saoc object audio(saoc对象音频)为空间音频对象编码(saoc)的音频数据，而hoa audio(hoa音频)为高阶环境立体混合声(hoa)的音频数据，而metadata(元数据)为channel audio、object audio、saoc object audio和hoa audio的元数据。
94.(moov盒子的结构)
95.图6为示出mp4文件的moov盒子结构的示图。
96.如图6所示，在mp4文件中，图像数据和音频数据记录为不同轨道。在图6中，虽然未描述细节，但音频数据的轨道相似于图像数据的轨道。样本条目被包括在moov盒子中的stsd盒子中排列的sample description(样本描述)中。
97.通过该方式，在mp4文件的广播或本地存储再现中，一般地，服务器侧发送所有3d音频的音频流。然后，客户端侧在解析所有的3d音频的音频流时，仅解码和输出必要的3d音
频的音频流。然而，在比特率高或存在对本地存储器的读取速率限制的情况下，期望的是，通过仅获取必要的3d音频的音频流来减少解码处理的负荷。
98.另外，在符合mpeg
‑
dash的mp4文件的流再现中，服务器侧准备多个编码速度的音频流。因此，客户端侧通过仅获取必要的3d音频的音频流，可以选择和获取对再现环境具有最佳的编码速度的音频流。
99.如上所述，在本公开中，通过在音频文件中根据种类将3d音频的音频流分割成轨道并且布置音频流，可以有效地仅获取3d音频的预定种类的音频流。因此，在广播或本地存储器再现中，可以减少解码处理的负荷。另外，在流再现中，可以根据频带再现必要的3d音频的音频流中的具有最高质量的音频流。
100.(3d音频层级结构的描述)
101.图7为示出3d音频层级结构的示图。
102.如图7所示，3d音频的音频数据为在各个音频数据中不同的音频元素(element)。音频元素的类型包括单声道元素(sce)和声道对元素(cpe)。一个声道的音频数据的音频元素的类型为sce，而对应于两个声道的音频数据的音频元素的类型为cpe。
103.同一音频的种类(channel/object/saoc object/hoa)的音频元素形成组。因此，组类型(grouptype)的实例包括channels、objects、saoc objects和hoa。两个以上的组可以根据需要形成switch group(开关组)或group preset(组预置)。
104.switch group为其中包括的组的音频流被排他地再现的组(排他再现组)。即，如图7所示，在存在用于英语(en)的object audio的组和用于法语(fr)的object audio的组的情况下，应当仅再现这些组中的一个。因此，switch group由用于英语的object audio的组(组id为2)和用于法语的object audio的组(组id为3)形成。因此，用于英语的object audio或者用于法语的object audio被排他地再现。
105.同时，group preset定义由内容创作者意欲的组的组合。
106.另外，3d音频的元数据为各个元数据中不同的ext元素(ext element)。ext元素的类型包括object metadata(对象元数据)、saoc 3d metadata(saoc 3d元数据)、hoa metadata(hoa元数据)、drc metadata(drc元数据)、spatialframe(空间帧)、saocframe(saoc帧)等。object metadata的ext元素是所有object audio的元数据，以及saoc 3d metadata的ext元素是所有saoc audio的元数据。另外，hoa metadata的ext元素为所有hoa audio的元数据，且drc(动态范围控制)metadata的ext元素为所有object audio、saoc audio和hoa audio的元数据。
107.如上所述，3d音频的音频数据的分割单位包括音频元素、组类型、组、switch group和group preset。因此，3d音频中的音频数据的音频流可以按各种类被分割到不同轨道，其中种类是音频元素、组类型、组、switch group或group preset。
108.此外，3d音频中的元数据的分割单位包括ext元素的类型和对应于元数据的音频元素。因此，3d音频的元数据的音频流可以按各种类被分割到不同轨道，其中种类为ext元素或对应于元数据的音频元素。
109.在下面的实施例中，音频数据的音频流以一个或多个组被分割到轨道，并且元数据的音频流按ext元素的各个类型被分割到轨道。
110.<第一实施例>
111.(信息处理系统的概要)
112.图8为用于描述本公开应用至的第一实施例中的信息处理系统的概要的示图。
113.图8的信息处理系统140被配置成使得与文件生成设备141连接的网络服务器142与运动图像再现终端144通过互联网13连接。
114.在信息处理系统140中，网络服务器142通过符合mpeg
‑
dash的方法将待再现的成组的轨道的音频流分配到运动图像再现终端144。
115.具体地，文件生成设备141以多种编码速度对运动图像内容的3d音频的音频数据和元数据进行编码以生成音频流。文件生成设备141以各编码速度并且以称为片段的从几秒到十秒的各时间单位对所有音频流制作文件以生成音频文件。此时，文件生成设备141针对各个组和ext元素的各个类型来分割音频流，并且将音频流在音频文件中排列为不同轨道中的音频流。文件生成设备141将生成的音频文件上传(上载)到网络服务器142。
116.此外，文件生成设备141生成管理音频文件等的mpd文件(管理文件)。文件生成设备141将mpd文件上传到网络服务器142上。
117.网络服务器142存储由文件生成设备141上传的各个编码速度和片段的音频文件，以及mpd文件。响应于来自运动图像再现终端144的请求，网络服务器142将存储的音频文件、mpd文件等发送到运动图像再现终端144。
118.运动图像再现终端144运行流数据的控制软件(以下称为控制软件)161、运动图像再现软件162、用于超文本传输协议(http)访问的客户端软件(以下称为访问软件)163等。
119.控制软件161是控制从网络服务器142串流传输的数据的软件。具体地，控制软件161使运动图像再现终端144从网络服务器142获取mpd文件。
120.另外，基于mpd文件，控制软件161命令访问软件163发送由运动图像再现软件162指定的待再现的组的传输请求以及对应于该组的ext元素的类型的轨道的音频流。
121.运动图像再现软件162是再现从网络服务器142获取的音频流的软件。具体地说，运动图像再现软件162将待再现的组和对应于该组的ext元素的类型指定给控制软件161。另外，当从访问软件163接收到接收开始的通知时，运动图像再现软件162解码从运动图像再现终端144接收的音频流。运动图像再现软件162根据需要合成并输出作为解码结果获得的音频数据。
122.访问软件163是使用http控制通过互联网13在运动图像再现终端144和网络服务器142之间的通信的软件。具体地，访问软件163响应于控制软件161的命令，使运动图像再现终端144发送对包括在音频文件中的待再现的轨道的音频流的传输请求。此外，访问软件163响应于传输请求而使运动图像再现终端144开始接收从网络服务器142发送的音频流，并且向运动图像再现软件162供应接收开始的通知。
123.需注意，在本说明书中，将仅描述运动图像内容的音频文件。然而，实际上，对应的图像文件与音频文件一起生成和再现。
124.(音频文件的轨道的第一示例的概要)
125.图9为用于描述音频文件的轨道的第一示例的概要的示图。
126.注意需，在图9中，为了便于描述，仅示出3d音频中的音频数据的轨道。这同样适用于图20、图23、图26、图28、图30、图32至图35及图38。
127.如图9所示，所有3d音频的音频流存储在一个音频文件(3dauio.mp4)中。在音频文
件(3dauio.mp4)中，3d音频的各组的音频流分别被分割成不同轨道并被排列。另外，与整个3d音频相关的信息被设置为基本轨道(base track)。
128.track reference(轨道参考)布置在各个轨道中的轨道盒子中。track reference指示在相应轨道与其他轨道之间的参考关系。具体地，track reference指示参考关系中对于轨道唯一的其他轨道的id(以下称为轨道id)。
129.在图9的示例中，基本轨道的轨道id、组id为1的id的组#1中的轨道、组id为2的组#2中的轨道、组id为3的组#3中的轨道、组id为4的组#4中的轨道为1、2、3、4、5。另外，基本轨道的track reference为2、3、4和5，而组#1至组#4中的轨道的track reference为1，即基本轨道的轨道id。因此，基本轨道和组#1至组#4中的轨道处于参考关系。即，在组#1至组#4中的轨道的再现时，参考基本轨道。
130.另外，基本轨道的样本条目的4cc(字符码)是“mha2”，并且在基本轨道的样本条目中，布置有包括3d音频的所有组的配置信息或对于仅解码基本轨道而言是必要的配置信息的mhac盒子以及包括与3d音频的所有组和switch group相关的信息的mhas盒子。与组相关的信息由组的id、表示分类成组的元素的数据的内容的信息等来配置。与switch group相关的信息由switch group的id、形成switch group的各组的id等配置。
131.各个组的轨道的样本条目的4cc是“mhg1”，并且在各个组的轨道的样本条目中，可以布置有包括与该组相关的信息的mhgc盒子。在组形成 switch group的情况下，包括与switch group相关的信息的mhsc盒子布置在组中的轨道的样本条目中。
132.在基本轨道的样本中，布置有组中的轨道的样本的参考信息或者用于解码参考信息所必需的配置信息。通过按照参考信息的布置顺序来排列由参考信息所参考的组的样本，可以生成在分割成轨道之前的3d音频的音频流。参考信息由组中轨道的样品的位置和大小、组类型等配置。
133.(基本轨道的样本条目的语法的示例)。
134.图10为示出基本轨道的样本条目的语法的示例的示图。
135.如图10所示，在基本轨道的样本条目中，布置有mhac盒子(mhac配置盒子)、mhas盒子(mha音频场景信息(audiosceneinfo)盒子)等。在mhac盒子中，描述了3d音频的所有组的配置信息或对仅解码基本轨道所必需的配置信息。另外，在mhas盒子中，描述了音频场景(audioscene)信息，该信息包括与3d音频的所有组和switch group相关的信息。音频场景信息描述图7的层级结构。
136.(各个组的轨道的样本条目的语法的示例)。
137.图11为示出各个组的轨道的样本条目的语法的示例的示图。
138.如图11所示，在各个组的轨道样本条目中，布置有mhac盒子(mhaconfigration box)、mhgc盒子(mhagroupdefinition box)、mhsc盒子(mhaswitchgropudefinition box)等。
139.在mhac盒子中，描述对解码相应轨道必需的配置信息。此外，在mhgc盒子中，与相应组相关的音频场景信息被描述为组定义(groupdefinition)。在mhsc盒子中，在相应组形成switch group的情况下，在switch group定义(switchgroupdefinition)中描述与switch group相关的音频场景信息。
140.(音频文件的片段结构的第一示例)
141.图12为示出音频文件的片段结构的第一示例的示图。
142.在图12的片段结构中，由ftyp盒子和moov盒子配置初始片段。在moov盒子，trak盒子布置用于包括在音频文件中的每个轨道。另外，在moov盒子，布置有包括指示各个轨道的轨道id与媒体片段中的ssix盒子中使用的级别之间对应关系的信息的mvex盒子等。
143.此外，媒体片段由sidx盒子、ssix盒子和一个或多个子片段配置。在sidx盒子中，布置有指示子片段在音频文件中的位置的位置信息。在ssix盒子中，布置有布置在mdat盒子中的各级别的音频流的位置信息。需注意，级别对应于轨道。此外，第一轨道的位置信息为由第一轨道的moof盒子和音频流构成的数据的位置信息。
144.子片段设置为各任意时间长度，且子片段设置有一对moof盒子和mdat盒子，其共用于所有轨道。在mdat盒子中，所有轨道的音频流通过任意时间长度统一布置，而在moof盒子中，布置音频流的管理信息。布置在mdat盒子中的轨道的音频流在各轨道中是连续的。
145.在图12的示例中，轨道id为1的轨道1是基本轨道，轨道id为2至n的轨道2至轨道n是组id为1至n
‑
1的组中的轨道。这同样适用于下述图13。
146.(音频文件的片段结构的第二示例)
147.图13为示出音频文件的片段结构的第二示例的示图。
148.图13的片段结构与图12的片段结构不同之处在于moof盒子和mdat盒子针对每个轨道而设。
149.即，图13的初始片段相似于图12的初始片段。另外，图13的媒体片段通过sidx盒子、ssix盒子和一个或多个子片段构成，相似于图12的媒体片段。在sidx盒子中，子片段的位置信息被布置，相似于图12的sidx盒子。在ssix盒子中，包括由moof盒子和mdat盒子构成的级别的数据的位置信息。
150.子片段设置成各任意时间长度，且子片段设置有针对每个轨道的一对moof盒子和mdat盒子。即，在各个轨道的mdat盒子中，轨道的音频流通过任意时间长度统一布置(交错存储)，且在moof盒子中，布置音频流的管理信息。
151.如图12和图13所示，轨道的音频流通过任意时间长度统一布置。因此，相比于音频流以样本为单元统一布置时，通过http等的音频流获取效率得到改进。
152.(mvex盒子的描述示例)
153.图14为示出图12和图13的mvex盒子中布置的级别分配盒子的描述示例的示图。
154.级别分配盒子是将每个轨道的轨道id与在ssix盒子中使用的级别相关联的盒子。如图14所示，轨道id为1的基本轨道与级别0相关联，轨道id为2的声道音频轨道与级别1相关联。此外，轨道id为3的hoa音频轨道与级别2相关联，轨道id为4的对象元数据轨道与级别3相关联。此外，轨道id为5的对象音频轨道与级别4相关联。
155.(mpd文件的第一描述示例)
156.图15为示出mpd文件的第一描述示例的示图。
157.如图15所示，在mpd文件中，描述了管理3d音频的音频文件(3daudio.mp4)的片段的“representation”、管理包括在片段中的轨道的“subrepresentation”等。
[0158]“representation”和“subrepresentation”包括指示在3d文件格式中的作为整体的相应片段或者轨道的编解码的种类(配置文件或级别)的“codecs”。
[0159]“subrepresentation”包括在级别分配盒子中设定的值的“level”，作为指示相应
轨道的级别的值。“subrepresentation”包括“dependencylevel”，其为指示与具有参考关系(具有依赖性)的其他轨道(以下称为参考轨道)对应的级别的值。
[0160]
另外，“subrepresentation”包括<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”。
[0161]“datatype(数据类型)”是指示在对应轨道的样本条目中描述的音频场景信息的内容(definition(定义))的种类的数字，并且该definition是其内容。例如，在groupdefinition(组定义)包括在轨道的样本条目中的情况下，1描述为轨道的“数据类型”，并且组定义描述为“definition”。另外，在switchgroupdefinition包括在轨道的样本条目中的情况下，2描述为轨道的“数据类型”，并且switchgroupdefinition描述为“definition”。即，“datatype”和“definition”为指示switchgroupdefinition是否存在于相应轨道的样本条目中的信息。“definition”为二进制数据，且由base64方法编码。
[0162]
需注意，在图15的示例中，所有组形成switch group。然而，在存在组不形成switch group的情况下，<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“2,switchgroupdefinition”>不被描述在对应于该组的“subrepresentation”中。这同样适用于下述的图24、图25、图31、图39、图45、图47、图48和图50。
[0163]
(文件生成设备的配置示例)
[0164]
图16为示出图8的文件生成设备141的配置示例的框图。
[0165]
图16的文件生成设备141由音频编码处理单元171、音频文件生成单元172、mpd生成单元173和服务器上传处理单元174配置。
[0166]
文件生成设备141的音频编码处理单元171以多种编码速度对运动图像内容的3d音频的音频数据和元数据进行编码以生成音频流。音频编码处理单元171将各个编码速度的音频流提供至音频文件生成单元172。
[0167]
音频文件生成单元172针对每个组和每个类型的ext元素将轨道分派至从音频编码处理单元171供应的音频流。音频文件生成单元172生成图12或图13的片段结构的音频文件，其中对于各编码速度和片段，以子片段为单位布置轨道的音频流。音频文件生成单元172将生成的音频文件供应至mpd生成单元173。
[0168]
mpd生成单元173确定其中从音频文件生成单元172供应的音频文件将被存储的网络服务器142的url等。然后，mpd生成单元173生成其中音频文件的url等布置在音频文件的“representation”的“segment”中的mpd文件。mpd生成单元173将所生成的mpd文件和音频文件供应至服务器上传处理单元174。
[0169]
服务器上传处理单元174将从mpd生成单元173供应的音频文件和mpd文件上传到网络服务器142上。
[0170]
(文件生成设备的处理的描述)
[0171]
图17为流程图，其用于描述图16的文件生成设备141的文件生成处理。
[0172]
在图17的步骤s191，音频编码处理单元171以多种编码速度对运动图像内容的3d音频的音频数据和元数据进行编码以生成音频流。音频编码处理单元171将各编码速度的音频流提供至音频文件生成单元172。
[0173]
在步骤s192，音频文件生成单元172针对各个组和ext元素的各类型将轨道分派给
从音频编码处理单元171供应的音频流。
[0174]
在步骤s193，音频文件生成单元172生成图12或图13的片段结构的音频文件，其中对于每个编码速度和片段，以子片段为单位布置轨道的音频流。音频文件生成单元172将生成的音频文件供应至mpd生成单元173。
[0175]
在步骤s194，mpd生成单元173生成包括音频文件的url等的mpd文件。mpd生成单元173将所生成的mpd文件和音频文件供应至服务器上传处理单元174。
[0176]
在步骤s195，服务器上传处理单元174将从mpd生成单元173供应的音频文件和mpd文件上传到网络服务器142上。然后，终止处理。
[0177]
(运动图像再现终端的功能性配置示例)
[0178]
图18是框图，其示出实现使得图8的运动图像再现终端144运行控制软件161、运动图像再现软件162和访问软件163的流再现单元的配置示例。
[0179]
图18的流再现单元190由mpd获取单元91、mpd处理单元191、音频文件获取单元192、音频解码处理单元194和音频合成处理单元195配置。
[0180]
流再现单元190的mpd获取单元91从网络服务器142获取mpd文件，且供应mpd文件至mpd处理单元191。
[0181]
mpd处理单元191从mpd获取单元91供应的mpd文件中提取在用于音频文件的“segment”中描述的待再现的片段的音频文件的url信息，并且将该信息供应至音频文件获取单元192。
[0182]
音频文件获取单元192请求网络服务器142，并且获取在利用从mpd处理单元191供应的url识别的音频文件中的待再现的轨道的音频流。音频文件获取单元192将获取的音频流供应至音频解码处理单元194。
[0183]
音频解码处理单元194解码从音频文件获取单元192供应的音频流。音频解码处理单元194将作为解码结果获得的音频数据供应至音频合成处理单元195。音频合成处理单元195根据需要合成从音频解码处理单元194供应的音频数据，且输出该音频数据。
[0184]
如上所述，音频文件获取单元192、音频解码处理单元194和音频合成处理单元195用作再现单元，并且从存储在网络服务器142中的音频文件中获取并再现待再现的轨道的音频流。
[0185]
(运动图像再现终端的处理的描述)
[0186]
图19为流程图，其用于描述图18的流再现单元190的再现处理。
[0187]
在图19的步骤s211中，流再现单元190的mpd获取单元91从网络服务器142获取mpd文件，且供应mpd文件至mpd处理单元191。
[0188]
在步骤s212，mpd处理单元191从mpd获取单元91供应的mpd文件中提取在用于音频文件的“segment”中描述的待再现的片段的音频文件的url信息，并且将该信息供应至音频文件获取单元192。
[0189]
在步骤s213，音频文件获取单元192请求网络服务器142并基于从mpd处理单元191供应的url来获取由url识别的音频文件中待再现的轨道的音频流。音频文件获取单元192将获取的音频流供应至音频解码处理单元194。
[0190]
在步骤s214，音频解码处理单元194解码从音频文件获取单元192供应的音频流。音频解码处理单元194将作为解码结果获得的音频数据供应至音频合成处理单元195。在步
骤s215，音频合成处理单元195根据需要合成从音频解码处理单元194供应的音频数据，且输出该音频数据。
[0191]
(音频文件的轨道的第二示例的概要)
[0192]
需注意，在以上描述中，groupdefinition和switchgroupdefinition布置在样本条目中。然而，如图20所示，groupdefinition和switchgroupdefinition可以布置在样本组条目中，该样品组条目为轨道中的子样本的各个组的样本条目。
[0193]
在这种情况下，如图21所示，组(其形成switch group)的轨道的样本组条目包括groupdefinition和switchgroupdefinition。虽然省略图示，但是组(其不形成switch group)的轨道的样本组条目仅包括groupdefinition。
[0194]
另外，各个组的轨道的样本条目变成在图22所示的一个。即，如图22所示，在每个组的轨道的样本条目中，描述了其中相应轨道的音频流的诸如配置文件的配置信息(mpeghaudioprofile)、级别(mpeghaudioprofile)等的mha组音频配置盒子。
[0195]
(音频文件的轨道的第三示例的概要)
[0196]
图23为用于描述音频文件的轨道的第三示例的概要的示图。
[0197]
图23的音频数据的轨道的配置与图9的配置不同之处在于，3d音频的一个或多个组的音频流包括在基本轨道中，并且对应于分割成不包括与作为整体的3d音频相关的信息的轨道(在下文被称为组轨道)的音频流的组的数量为1或更多。
[0198]
即，图23的基本轨道的样本条目是4cc为“mha2”的样本条目，其包括在3d音频中的音频数据的音频流被分割成多个轨道并被布置时的基本轨道的语法，相似于图9(图10)。
[0199]
另外，组轨道的样本条目是4cc为“mhg1”的样本条目，其包括针对在3d音频中的音频数据的音频流分割成多个轨道并被布置时的组轨道的语法，相似于图9(图11)。因此，基本轨道和组轨道用样本条目的4cc来识别，并且可以辨识轨道之间的依赖性。
[0200]
另外，相似于图9，track reference布置在轨道中的每个的轨道盒子中。因此，即使在“mha2”和“mhg1”为4cc的基本轨道的样本条目或者组轨道未知的情况下，在轨道之间的依赖性可以利用轨道参考辨识。
[0201]
需注意，可以不在组轨道的样本条目中描述mhgc盒子和mhsc盒子。另外，在包括3d音频的所有组的配置信息的mhac盒子在基本轨道的样本条目中描述的情况下，可以不在组轨道的样本条目中描述mhac盒子。然而，在基本轨道的样本条目中描述包括可以独立地再现基本轨道的配置信息的mhac盒子的情况下，在组轨道的样本条目中描述包括可以独立地再现组轨道的配置信息的mhac盒子。可以根据在样本条目中的配置信息的存在/不存在来辨识是处于前一状态还是处于后一状态。然而，可以通过描述在样本条目中的标志或通过改变样本条目的类型来进行辨识。需注意，虽然省略图示，但是在通过改变样本条目的类型来使得前一状态和后一状态可辨识的情况下，4cc的基本轨道的样本条目在前一状态的情况下是“mha2”状态，在后一状态的情况下为“mha4”。
[0202]
(mpd文件的第二描述示例)
[0203]
图24为示图，其示出在音频文件的轨道的配置为图23的配置的情况下mpd文件的描述示例。
[0204]
图24的mpd文件与图15的mpd文件不同之处在于，描述了基本轨道的“subrepresentation”。
[0205]
在基本轨道的“subrepresentation”中，描述了基本轨道的“编解码器”、“层级”、“依赖性层级”和<essentialproperty schemeiduri＝"urn:mpeg:dash:3daudio:2014"value＝"datatype,definition">，相似于组轨道的“subrepresentation”。
[0206]
在图24的示例中，基本轨道的“编解码器”是“mha2.2.1”，并且“层级”是指示基本轨道的层级的值“0”。“依赖性层级”是指示组轨道的层级的值“1”和“2”。另外，“数据类型”是指示作为基本轨道的样本条目的mhas盒子中描述的种类的音频场景信息的数字的“3”，并且“定义”由base64方法编码的音频场景的二元数据。
[0207]
需注意，参考图25，在基本轨道的“subrepresentation”中，可以划分和描述音频场景信息。
[0208]
在图25的示例中，“1”被设定成数字，其指示作为种类的“atmo”，指示具有组id“1”的组的内容的“atmo”，在基础音频的样本条目的mhas盒子中描述的音频场景信息(图7)。
[0209]
另外，“2”至“7”设定为数字，这些数字分别指示，作为种类，指示具有组id“2”的组的内容的“对话框en”，指示具有组id“3”的组的内容的“对话fr”，指示具有组id“4”的组的内容的“画外音ge”，指示具有组id“5”的组的内容的“效果”，指示具有组id“6”的组的内容的“效果”，和指示具有组id“7”的组的内容的“效果”。
[0210]
因此，在图25的基本轨道的“subrepresentation”中，描述了其中“数据类型”为1，而“定义”为atmo”的<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”>。相似地，描述了<“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”>，其中“数据类型”为“2”、“3”、“4”、“5”、“6”和“7”，而定义为“对话en”、“对话fr”、“画外音ge”、“效果”、“效果”和“效果”。在图25的示例中，其中基本轨道的音频场景信息被分割和描述的情况已经被描述。然而，组轨道的组定义和switch group定义可以相似地分割和描述。
[0211]
(音频文件的轨道的第四示例的概要)
[0212]
图26为用于描述音频文件的轨道的第四示例的概要的示图。
[0213]
图26的轨道数据的轨道的配置与图26的配置不同在于，组轨道的样本条目是具有4cc的“mha2”的样本条目。
[0214]
在图26的情况下，基本轨道和组轨道的样本条目的4ccs均是“mha2”。因此，不可以识别基本轨道和组轨道且在轨道之间的依赖性不可以利用样本条目4cc进行辨识。因此，利用布置在轨道中的每个的轨道盒子中的轨道参考来识别轨道之间的依赖性。
[0215]
另外，因为样本条目的4ccs为“mha2”，所以在音频数据的音频流被分割和布置在多个轨道中时可以识别作为3d音频的轨道的相应轨道。
[0216]
需注意，在基本轨道的样本条目的mhac盒子中，描述3d音频的所有组的配置信息或者独立地再现基本轨道的配置信息，相似于在图9和图23的情况。另外，在mhas盒子中，描述音频场景信息，该信息包括与所有组和3d音频的switch group相关的信息。
[0217]
同时在组轨道的样本条目中，未布置mhas盒子。另外，在包括3d音频的所有组的配置信息的mhac盒子在基本轨道的样本条目中描述的情况下，mhac盒子可以不在组轨道的样本条目中描述。然而，在基本轨道的样本条目中描述包括可以独立地再现基本轨道的配置信息的mhac盒子的情况下，在组轨道的样本条目中描述包括可以独立地再现基本轨道的配置信息的mhac盒子。可以根据在样本条目中的配置信息的存在/不存在来辨识是处于前一
状态还是处于后一状态。然而，可以通过描述在样本条目中的标志或通过改变样本条目的类型来识别前一状态和后一状态。需注意，虽然省略图示，但是在通过改变样本条目的类型来使得前一状态和后一状态可辨识的情况下，基本轨道的样本条目的4cc和组轨道的样本条目的4cc例如在前者的情况下是“mha2”以及在后者情况下为“mha4”。
[0218]
(mpd文件的第三描述示例)
[0219]
图27为示图，其示出在音频文件的轨道的配置为图26的配置的情况下mpd文件的描述示例。
[0220]
图27的mpd文件与图24的mpd文件不同之处在于，组轨道的“subrepresentation”的编解码器为“mha2.2.1”，且<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”>未在组轨道的“subrepresentation”中描述。
[0221]
需注意，虽然省略图示，但是音频场景信息可以在基本轨道的“subrepresentation”中分割和描述，相似于图25的情况。
[0222]
(音频文件的轨道的第五示例的概要)
[0223]
图28为用于描述音频文件的轨道的第五示例的概要的示图。
[0224]
图28的音频数据的轨道的配置与图23的配置不同之处在于，基本轨道和组轨道的样本条目为这样的样本条目，其包括适用于3d音频的音频数据的音频流被分割成多个轨道的情况下的组轨道和基本轨道这两者的语法。
[0225]
在图28的情况下，基本轨道和组轨道的样本条目的4ccs均是“mha3”，其为包括适用于基本轨道和组轨道这两者的语法的样本条目的4cc。
[0226]
因此，相似于图26的情况，利用布置在轨道中的每个的轨道盒子中的轨道参考来识别轨道之间的依赖性。另外，因为样本条目的4ccs为“mha2”，所以在3d音频的音频数据的音频流被分割和布置在多个轨道中时可以识别作为轨道的相应轨道。
[0227]
(4cc为“mha3”的样本条目的语法的示例)。
[0228]
图29为示出4cc为“mha3”的样本条目的语法的示例的示图。
[0229]
如图29所示，4cc为“mha3”的样本条目的语法为通过合成图10的语法和图11的语法获得的语法。
[0230]
即，在4cc为“mha3”的样本条目中，布置mhac盒子(mha配置盒子)、mhas盒子(mha音频场景信息盒子)、mhgc盒子(mha组定义盒子)、mhsc盒子(mhaswitch group定义盒子)等。
[0231]
在基本轨道的样本条目的mhac盒子中，描述了3d音频所有组的配置信息或者可以独立地再现基本轨道的配置信息。另外，在mhas盒子中，描述包括与所有组和3d音频switch group相关的信息，且未布置mhgc盒子和mhsc盒子。
[0232]
在包括3d音频的所有组的配置信息的mhac盒子在基本轨道的样本条目中描述的情况下，mhac盒子可以不在组轨道的样本条目中描述。然而，在基本轨道的样本条目中描述包括可以独立地再现基本轨道的配置信息的mhac盒子的情况下，在组轨道的样本条目中描述包括可以独立地再现组轨道的配置信息的mhac盒子。可以根据在样本条目中的配置信息的存在/不存在来辨识是处于前一状态还是处于后一状态。然而，可以通过描述在样本条目中的标志或通过改变样本条目的类型来辨识前一状态和后一状态。需注意，虽然省略图示，但是在通过改变样本条目的类型来使得前一状态和后一状态可辨识的情况下，基本轨道和
组轨道的样本条目的4ccs在前一状态的情况下是“mha3”，在后一状态的情况下为“mha5”。另外，未在组轨道的样本条目中布置mhas盒子。可以或可不布置mhgc盒子和mhsc盒子。
[0233]
需注意，如在图30中所示，在基本轨道的样本条目中，布置mhas盒子、mhgc盒子和mhsc盒子，描述了其中可以独立仅再现基本轨道的配置信息的mhac盒子，且布置包括3d音频所有组的配置信息的mhac盒子。在这种情况下，利用包括在这些mhac中的标志来识别其中描述3d音频的所有组的配置信息的mhac盒子和其中描述可以独立地仅再现基本轨道的配置信息的mhac盒子。另外，在这种情况下，mhac盒子可以不在组轨道的样本条目中描述。mhac盒子是否在组轨道的样本条目中描述可以根据在组轨道的样本条目中的mhac盒子存在与否来辨识。然而，可以通过描述在样本条目中的标志或通过改变样本条目的类型来辨识mhac盒子是否在组轨道的样本条目中描述。需注意，虽然省略图示，但在通过改变样本条目的类型使得可以辨识mhac盒子是否在组轨道的样本条目中描述的情况下，基本轨道和组轨道的样本条目的4ccs例如在mhac盒子在组轨道的样本条目中描述的情况为“mha3”，而在mhac盒子在组轨道的样本条目中未描述的情况下为“mha5”。需注意，在图30，mhgc盒子和mhsc盒子可以不在组轨道的样本条目中描述。
[0234]
(mpd文件的第四描述示例)
[0235]
图31为示图，其示出在音频文件的轨道的配置为图28或30的配置的情况下mpd文件的描述示例。
[0236]
图31的mpd文件与图24的mpd文件不同之处在于，“representation”的“编解码器”为“mha3.3.1”，而“subrepresentation”的“编解码器”为“mha3.2.1”。
[0237]
需注意，虽然省略图示，但音频场景信息可以在基本轨道的“subrepresentation”中被分割和描述，相似于图25的情况。
[0238]
另外，在以上描述中，轨道参考布置在轨道中的每个的轨道盒子中。然而，可以不布置轨道参考。例如，图32至34为示图，它们分别示出其中未在图23、图26和图28的音频文件的轨道的轨道盒子中布置轨道参考的情况。在图32的情况下，未布置轨道参考，但在基本轨道和组轨道的样本条目的4ccs不同，且因此可以辨识在轨道之间的依赖性。在图33和图34的情况下，因为布置mhas盒子，所以可以辨识轨道是否为基本轨道。
[0239]
音频文件的轨道的配置为图32至34的配置的情况的mpd文件分别与图24、图27和图31的mpd文件相同。需注意，在这种情况下，音频场景信息可以在基本轨道的“subrepresentation”中被分割和描述，相似于图25的情况。
[0240]
(音频文件的轨道的第六示例的概要)
[0241]
图35为用于描述音频文件的轨道的第六示例的概要的示图。
[0242]
图35的音频数据的轨道的配置与图33的结构不同之处在于，在基本轨道的样本中没有布置组的轨道的样本的参考信息和用于解码参考信息所必需的配置信息，包括0组或更多组音频流，在基本轨道的样本条目中描述组的轨道的样本的参考信息。
[0243]
更具体地，描述追踪在音频场景信息中描述的组被分割的mhmt盒子以新的方式布置在4cc为“mha2”的样本条目中，其当3d音频的音频数据的音频流被分割成多个轨道时包括用于基本轨道的语法。
[0244]
(4cc为“mha2”的样本条目的语法的另一个示例)。
[0245]
图36为示出4cc为“mha2”的图35的基本轨道和组轨道的样本条目的语法的示例的
示图。
[0246]
图36的4ccs为“mha2”的样本条目的配置与图10的配置不同之处在于，布置mha多轨道描述(mhamultitrackdescription)盒子(mhmt盒子)。
[0247]
在mhmt盒子中，作为参考信息，在组id(组_id)和轨道id(轨道_id)之间的相应信息被描述。需注意，在mhmt盒子中，可以彼此相关联地描述音频元素和轨道id。
[0248]
在参考信息在每个样本中未改变的情况下，通过在样本条目中布置mhmt盒子可以有效地描述参考信息。
[0249]
需注意，虽然省略图示，但在图9、图20、图23、图26、图28、图30、图32和图34的情况下，mhmt盒子可以相似地布置在后轨道的样本条目中，而非描述组的轨道的样本的参考信息，相似于基本轨道的样本。
[0250]
在这种情况下，4cc为“mha3”的样本条目的语法变成在图37所示的一个。即，图36的4ccs为“mha3”的样本条目的配置与图29的配置不同之处在于，布置mha多轨道描述(mhamultitrackdescription)盒子(mhmt盒子)。
[0251]
另外，在图23、图26、图28、图30、图32至图34和图35中，3d音频的一个或多个组的音频流可以不包括在基本轨道中，相似于图9。另外，对应于被分割成组轨道的音频流的组的数量可为1。
[0252]
另外，在图23、图26、图28、图30、图32至图34和图35中，组定义和switch group定义可以布置在相同组条目中，相似于图20的情况。
[0253]
<第二实施例>
[0254]
(轨道的概要)
[0255]
图38为用于描述本公开应用至的在第二实施例中的轨道的概要的示图。
[0256]
如图38所示，第二实施例与第一实施例不同之处在于，轨道记录为不同文件(3da_base.mp4/3da_group1.mp4/3da_group2.mp4/3da_group3.mp4/3da_group 4.mp4)。在这种情况下，通过经http获取期望轨道的文件，可以仅获取期望轨道的数据。因此，可以有效地获取通过http的期望轨道的数据。
[0257]
(mpd文件的描述示例)
[0258]
图39为描述本公开应用至的在第二实施例中的mpd文件的描述示例的示图。
[0259]
如图39所示，在mpd文件中，描述了管理3d音频的音频文件(3da_base.mp4/3da_group1.mp4/3da_group2.mp4/3da_group3.mp4/3da_gro up 4.mp4)的片段的“representation”等。
[0260]“representation”包括“编解码器”、“id”、“关联id”和“关联类型”。“id”为包括“id”的“representation”的id。“关联id”是指示相应轨道和另一轨道之间的参考关系的信息，并且是参考轨道的“id”。“关联类型”是指示具有参考轨道的参考关系(依赖性)的含义的代码，并且例如使用与mp4的轨道参考的值相同的值。
[0261]
另外，组的轨道的“representation”包括<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,def inition”>。在图39的示例中，管理音频文件的片段的“representation”在一个“适配集(adaptationset)”下提供。然而，可以为音频文件的每个片段提供“适应集”，并且可以在其下提供管理片段的“representation”。在这种情况下，在“适应集”中，“关联id”和指示具有参考轨道的参考关
系的含义的<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudioassociationdata:2014”value＝“datatype,id”>可以被描述，相似于“关联类型”。另外，在基本轨道和组轨道的“representation”中描述的音频场景信息、组定义和switch group定义可以被分割和描述，相似于图25的情况。另外，在“representation”中描述和分割的音频场景信息、组定义和switch group定义可以在“适应集”中描述。
[0262]
(信息处理系统的概要)
[0263]
图40为用于描述本公开应用至的在第三实施例中的信息处理系统的概要的示图。
[0264]
在图40所示的配置的相同配置，与图8的配置用相同参考标记标示。适当地省略重叠的描述。
[0265]
图40的信息处理系统210被配置成使得连接到文件生成设备211的网络服务器212通过互联网13与运动图像再现终端214连接。
[0266]
在信息处理系统210中，网络服务器142通过符合mpeg
‑
dash的方法将待再现的组中的音频文件的音频流分配到运动图像再现终端144。
[0267]
具体地，文件生成设备211以多种编码速度对运动图像内容的3d音频的音频数据和元数据进行编码以生成音频流。文件生成设备211针对每个组和每个类型的ext元素分割音频流从而使音频流在不同的轨道中。文件生成设备211针对每个片段和每个轨道以每个编码速度制作音频流的文件以生成音频文件。文件生成设备211将作为结果的音频文件上传到网络服务器212上。另外，文件生成设备211生成mpd文件并将其上传到网络服务器212上。
[0268]
网络服务器212存储用于每个片段及用于每个轨道的处于每个编码速度的音频文件，以及从文件生成设备211上传的mpd文件。响应于来自运动图像再现终端214的请求，网络服务器212将存储的音频文件、存储的mpd文件等发送到运动图像再现终端214。
[0269]
运动图像再现终端214执行控制软件221、运动图像再现软件162、访问软件223等。
[0270]
控制软件221是控制从网络服务器212流出的数据的软件。具体地，控制软件221使运动图像再现终端214从网络服务器212获取mpd文件。
[0271]
另外，基于mpd文件，控制软件221命令访问软件223传送由运动图像再现软件162指定的待再现的组的发送请求以及对应于该组的ext元素类型的音频文件的音频流。
[0272]
访问软件223是通过使用http的互联网13控制运动图像再现终端214和网络服务器212之间的通信的软件。具体地，访问软件223响应于控制软件221的命令，使运动图像再现终端144发送待再现的音频文件的音频流的发送请求。此外，访问软件223响应于发送请求而使运动图像再现终端144开始接收从网络服务器212发送的音频流，并且向运动图像再现软件162供应接收开始的通知。
[0273]
(文件生成设备的配置示例)
[0274]
图41为示出图40的文件生成设备211的配置示例的框图。
[0275]
在图41所示的配置的相同配置，与图16的配置用相同参考标记标示。适当地省略重叠的描述。
[0276]
图41的文件生成设备211的配置与图16的文件生成设备141不同之处在于，音频文件生成单元241和mpd生成单元242被提供来代替音频文件生成单元172和mpd生成单元173。
[0277]
具体地，音频文件生成设备211的音频文件生成单元241针对每个组和每个类型的
ext元素将轨道分派至从音频编码处理单元171供应的音频流。音频文件生成单元241生成音频文件，在其中音频流以每个编码速度针对每个片段及针对每个轨道被布置。音频文件生成单元241将生成的音频文件供应至mpd生成单元242。
[0278]
mpd生成单元242确定其中从音频文件生成单元172供应的音频文件待存储于的网络服务器142的url等。mpd生成单元242生成其中音频文件的url等布置在用于音频文件的“representation”的“片段”中的mpd文件。mpd生成单元173将所生成的mpd文件和生成的音频文件供应至服务器上传处理单元174。
[0279]
(文件生成设备的处理的描述)
[0280]
图42为流程图，其用于描述图41的文件生成设备211的文件生成处理。
[0281]
图42的步骤s301和s302的处理相似于图17的步骤s191和步骤s192的处理，因而省略描述。
[0282]
在步骤s303，音频文件生成单元241生成音频文件，在其中音频流以每个编码速度针对每个片段及针对每个轨道被布置。音频文件生成单元241将生成的音频文件供应至mpd生成单元242。
[0283]
步骤s304和s305的处理相似于图17的步骤s194和步骤s195的处理，因而省略描述。
[0284]
(运动图像再现终端的功能性配置示例)
[0285]
图43是框图，其示出实现使得图40的运动图像再现终端214执行控制软件221、运动图像再现软件162和访问软件223的流再现单元的配置示例。
[0286]
在图43所示的配置的相同配置，与图18的配置用相同参考标记标示。适当地省略重叠的描述。
[0287]
图43的流再现单元260的配置和图18的流再现单元190的配置不同之处在于，提供音频文件获取单元264来取代音频文件获取单元192。
[0288]
音频文件获取单元264请求网络服务器142以获取基于从mpd处理单元191供应的url的待再现的轨道的音频文件的url获取音频文件的音频流。音频文件获取单元264将获取的音频流供应至音频解码处理单元194。
[0289]
即，音频文件获取单元264、音频解码处理单元194和音频合成处理单元195用作再现单元，并且从存储在网络服务器212中的音频文件获取待再现的轨道的音频文件的音频流，并再现该音频流。
[0290]
(运动图像再现终端的处理的描述)
[0291]
图44为流程图，其用于描述图43的流再现单元260的再现处理。
[0292]
图44的步骤s321和s322的处理相似于图19的步骤s221和步骤s212的处理，因而省略描述。
[0293]
在步骤s323，基于待再现的轨道的音频文件的url，音频文件获取单元192请求网络服务器142来获取从mpd处理单元191供应的url的音频文件的音频流。音频文件获取单元264将获取的音频流供应至音频解码处理单元194。
[0294]
步骤s324和s325的处理相似于图19的步骤s214和步骤s215的处理，因而省略描述。
[0295]
需注意，在第二实施例中，相似于第一实施例，可以在样本组条目中布置组定义和
switch group定义。
[0296]
另外，在第二实施例中，相似于第一实施例，音频数据的轨道的配置还可以为在图23、图26、图28、图30、图32至图34和图35中所示的配置。
[0297]
图45至图47为示图，它们分别示出第二实施例中的音频数据的轨道的配置为在图23、图26和图28中所示的配置的情况下的mpd。在第二实施例中，在音频数据的轨道的配置为在图32、图33、图34或图35中所示的配置的情况下的mpd文件相同于在图23、图26和图28中所示的配置情况下的mpd。
[0298]
图45的mpd与图39的mpd不同之处在基本轨道的“编解码器”和“associationid(关联id)”，以及在于<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”>包括在基本轨道的“representation”中。具体地，图45的mpd的基本轨道的“representation”的“编解码器”为“mha2.2.1”，而“关联id”为组轨道的“id”的“g1”和“g2”。
[0299]
另外，图46的mpd与图45的mpd不同之处在于组轨道的“编解码器”，且在于<essentialproperty schemeiduri＝“urn:mpeg:dash:3daudio:2014”value＝“datatype,definition”>不包括在组轨道的“representation”中。具体地，图46的mpd的组轨道的“编解码器”为“mha2.2.1”。
[0300]
另外，图47的mpd与图45的mpd不同之处在于基本轨道和组轨道的“编解码器”。具体地，图47的mpd的组轨道的“编解码器”为“mha3.2.1”。
[0301]
需注意，在图45至图47的mpd中，“适应集(adaptationset)”可以针对“representation”进行分割，如图48至图50所示。
[0302]
<基本轨道的另一个示例>
[0303]
在以上描述中，仅提供一个基本轨道。然而，可以提供多个基本轨道。在这种情况下，基本轨道被提供用于例如3d音频的每个视点(细节将在下面给出)，并且在基本轨道中，布置包括视点的3d音频的所有组的配置信息的mhac盒子。需注意，在基本轨道中，可以布置包括视点的音频场景信息的mhas盒子。
[0304]
3d音频的视点是可以听到3d音频的位置，诸如与3d音频同时再现的图像的视点或预先设置的预定位置。
[0305]
如上所述，在针对每个视点分割基本轨道的情况下，可以基于包括在每个视点中的配置信息中的在屏幕上的对象的位置等，从相同3d音频的音频流中再现针对每个视点不同的音频。结果，可以减少3d音频的音频流的数据量。
[0306]
即，在3d音频的视点是可以与3d音频同时再现的棒球场的图像的多个视点的情况下，将在中心后屏幕中具有视点的图像准备为基本视点的图像的主图像。此外，将具有位于板后面的座位中的视点的图像、一垒内内场看台座位、三垒内场看台座位、左外野看台座位、右外野看台座位等准备作为多图像，其为视点(其为非基本视点)的图像。
[0307]
在这种情况下，如果准备所有视点的3d音频，则3d音频的数据量变大。因此，通过对基本轨道描述视点中的在屏幕上对象等的位置，可以通过视点共享根据在屏幕上对象的位置而改变的音频流诸如object audio和saocobject audio。结果，可以减少3d音频的音频流的数据量
[0308]
在3d音频的再现时，例如，使用音频流诸如object audio和saocobject audio，以
及对应于主图像视点的基本轨道或者在相同时间利用音频流再现的多个图像，根据视点再现不同音频。
[0309]
相似地，例如，在3d音频的视点是预先设定的体育场的多个座位的位置的情况下，如果准备所有视点的3d音频，则3d音频的数据量变大。因此，通过对基本轨道描述在屏幕上对象的位置，在视点中，可以通过视点共享音频流诸如object audio和saocobject audio。因此，根据由用户使用座位表、使用一个视点的object audio和saocobject audio选择的座位可以再现不同音频，且可以减少3d音频的音频流的数据量。
[0310]
在基本轨道被提供用于在图28的轨道结构中的3d音频的每个视点的情况下，轨道结构变为如图51所示的一个。在图51所示的示例中，3d音频的视点的数量为三。另外，在图51所示的示例中，针对3d音频的每个视点生成声道音频，并且其他音频数据由3d音频的视点共享。这同样适用于下述图52的示例。
[0311]
在这种情况下，三个基本轨道被提供用于3d音频的每个视点，如图3所示。轨道参考布置在基本轨道中的每个的轨道盒子中。另外，每个基本轨道的样本条目的语法与4cc为“mha3”的样本条目的语法相同。4cc是指示基本轨道被提供用于3d音频的每个视点的“mhcf”。
[0312]
包括每个视点的3d音频的所有组的配置信息的mhac盒子被布置在每个基本轨道的样本条目中。例如，在视点中，因为每个视点的3d音频的所有组的配置信息是在屏幕上的对象的位置。另外，包括每个视点的音频场景信息的mhas盒子布置在每个基本轨道中。
[0313]
视点的声道音频的组的音频流布置在基本轨道的样本中。
[0314]
需注意，在样本单元中，在每个视点中存在描述对象在屏幕上的位置的object metadata的情况下，object metadata也布置在每个基本轨道的样本中。
[0315]
即，在对象是移动体(例如，运动员)的情况下，在每个视点中屏幕上的对象的位置随时间改变。因此，该位置描述为样本单元中的object metadata。在这种情况下，对于每个视点，在样本单元中的object metadata布置在对应于视点的基本轨道的样本中。
[0316]
图51的组轨道的配置与图28的配置相同，除了未布置声道音频的组的音频流，因而省略描述。
[0317]
需注意，在图51的轨道结构中，视点的声道音频的组的音频流可以不布置在基本轨道中，并且可以布置在不同的组轨道中。在这种情况下，轨道结构变成在图52中所示的一个。
[0318]
在图52所示的示例中，对应于轨道id为“1”的基本轨道的视点的声道音频组的音频流布置在轨道id为“4”的组轨道中。另外，对应于轨道id为“2”的基本轨道的视点的声道音频组的音频流布置在轨道id为“5”的组轨道中。
[0319]
另外，对应于轨道id为“3”的基本轨道的视点的声道音频组的音频流布置在轨道id为“6”的组轨道中。
[0320]
需注意，在图51和图52的示例中，基本轨道的样本条目的4cc为“mhcf”。然而，4cc可为与图28相同的“mha3”。
[0321]
另外，虽然省略图示，但是其中基本轨道被提供用于在上述所有轨道结构(除了图28的轨道结构外)中的3d音频的每个视点的情况相似于在图51和52的情况。
[0322]
<第三实施例>
[0323]
(本公开应用至的计算机的描述)
[0324]
网络服务器142(212)的一系列处理可以由硬件执行或者可以由软件执行。在通过软件执行一系列处理的情况下，配置软件的程序安装至计算机。这里，计算机包括结合特殊硬件的计算机和通过安装各种类型的程序可以执行各种功能的通用个人计算机等。
[0325]
图53是框图，其示出利用程序执行网络服务器142(212)的一系列处理的计算机的硬件的配置示例。
[0326]
在计算机中，中央处理单元(cpu)601、只读存储器(rom)602和随机存取存储器(ram)603通过总线604相互连接。
[0327]
输入/输出接口605还连接到总线604。输入单元606、输出单元607、存储单元608、通信单元609和驱动器610连接到输入/输出接口605。
[0328]
输入单元606由键盘、鼠标、麦克风等构成。输出单元607由显示器、扬声器等构成。存储单元608由硬盘、非易失性存储器等构成。通信单元609由网络接口等构成。驱动器610驱动可移动介质611诸如磁盘、光盘或磁光盘或半导体存储器。
[0329]
在如上所述配置的计算机中，cpu 601通过输入/输出接口605和总线604将存储在存储单元608中的程序加载到ram 603上，并执行该程序，从而执行一系列处理。
[0330]
由计算机(cpu 601)执行的程序可以通过例如记录在作为封装介质的可移动介质611中来提供。此外，可以通过有线或无线传输介质诸如局域网、互联网或数字卫星广播来提供程序。
[0331]
在计算机中，可以通过将可移动介质611附接到驱动器610而经由输入/输出接口605将程序安装到存储单元608。此外，程序可以由通信单元609通过有线或无线传输介质接收，并安装到存储单元608。另外，程序可以预先安装到rom 602或存储单元608。
[0332]
需注意，由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列处理的程序，或者可以是在诸如被调用时并行处理的程序或者在必要定时处理的程序。
[0333]
另外，运动图像再现终端144(214)的硬件配置可以具有与图53的计算机相似的配置。在这种情况下，例如，cpu 601执行控制软件161(221)、运动图像再现软件162和访问软件163(223)。运动图像再现终端144(214)的处理可以由硬件执行。
[0334]
在本说明书中，系统意指多个配置元件(设备、模块(组件)等)的集合，并且所有配置元件可以或可以不在相同外壳中。因此，容纳在分离的壳体中并经由网络连接的多个装置和在单个壳体中容纳多个模块的单个装置均是系统。
[0335]
注意，本公开的实施例不限于上述实施例，并且在不脱离本公开的精神和范围的情况下可以进行各种改变。
[0336]
此外，本公开可以应用于执行广播或本地存储再现而非流再现的信息处理系统。
[0337]
在mpd的实施例中，通过具有当由模式描述的内容不能被理解时可以忽略的描述符定义的基本属性来描述信息。然而，可以通过具有即使由模式描述的内容不能被理解也可以再现的描述符定义的适当性(supplementalproperty)来描述信息。该描述方法由创作具有意图的内容的侧来选择。
[0338]
此外，本公开可以采用如下的配置。
[0339]
(1)一种信息处理装置，包括:
[0340]
文件生成单元，其被配置成生成文件，其中多个种类的音频数据按所述种类的每
一种或多种被分割到轨道中并被布置，且与所述多个种类相关的信息被布置。
[0341]
(2)根据(1)所述的信息处理装置，其中
[0342]
与所述多个种类相关的信息布置在预定轨道的样本条目中。
[0343]
(3)根据(2)所述的信息处理装置，其中
[0344]
预定轨道为其中分割和布置所述多个种类的音频数据的轨道中的一个。
[0345]
(4)根据(1)至(3)中任一项所述的信息处理装置，其中，
[0346]
对于所述轨道中的每个，与对应于所述轨道的种类相关的信息布置在文件中。
[0347]
(5)根据(4)所述的信息处理装置，其中，
[0348]
对于所述轨道中的每个，与排他再现种类相关的信息被布置在所述文件中，排他再现种类由与轨道对应的种类、以及对应于从与轨道对应的种类的音频数据排他地再现的音频数据的种类构成。
[0349]
(6)根据(5)所述的信息处理装置，其中
[0350]
与对应于所述轨道的所述种类相关的信息和与排他再现种类相关的信息布置在对应轨道的样本条目中。
[0351]
(7)根据(5)或(6)所述的信息处理装置，其中
[0352]
所述文件生成单元生成管理文件，所述管理文件管理包括指示与排他再现种类相关的信息针对所述轨道中的每个存在与否的信息的所述文件。
[0353]
(8)根据(1)至(7)中任一项所述的信息处理装置，其中
[0354]
对应于所述多个种类的所述轨道的参考信息布置在所述文件中。
[0355]
(9)根据(8)所述的信息处理装置，其中
[0356]
所述参考信息布置在预定轨道的样本中。
[0357]
(10)根据(9)所述的信息处理装置，其中
[0358]
所述预定轨道为其中分割和布置所述多个种类的音频数据的轨道中的一个。
[0359]
(11)根据(1)至(10)中任一项所述的信息处理装置，其中
[0360]
指示所述轨道之间的参考关系的信息布置在所述文件中。
[0361]
(12)根据(1)至(11)中任一项所述的信息处理装置，其中
[0362]
所述文件生成单元生成管理文件，所述管理文件管理包括指示所述轨道之间的参考关系的信息的所述文件。
[0363]
(13)根据(1)至(12)中任一项所述的信息处理装置，其中
[0364]
所述文件为一个文件。
[0365]
(14)根据(1)至(12)中任一项所述的信息处理装置，其中
[0366]
所述文件为所述轨道中的每个的文件。
[0367]
(15)一种信息处理方法，包括以下步骤:
[0368]
通过信息处理装置，生成文件，其中多个种类的音频数据针对所述种类的每一种或多种而被分割到轨道中并被布置，且与所述多个种类相关的信息被布置。
[0369]
(16)一种信息处理装置，包括:
[0370]
再现单元，其被配置成从文件中再现预定轨道的音频数据，在所述文件中多个种类的音频数据针对所述种类的每一种或多种而被分割到轨道中并被布置，且与所述多个种类相关的信息被布置。
[0371]
(17)一种信息处理方法，包括以下步骤:
[0372]
通过信息处理装置从文件中再现预定轨道的音频数据，在所述文件中多个种类的音频数据针对所述种类的每一种或多种而被分割到轨道中并被布置，且与所述多个种类相关的信息被布置。
[0373]
参考标记列表
[0374]
11 文件生成设备
[0375]
192 音频文件获取单元
[0376]
194 音频解码处理单元
[0377]
195 音频合成处理单元
[0378]
211 文件生成设备
[0379]
264 音频文件获取单元