视频多媒体手机之系统架构规划

目前电子产业的设计动能，无疑将很大的一部分集中在移动终端，尤其是手机的开发上头。就通信环境来说，移动通信系统持续朝向更高传输量及IP化发展，在应用上则带动了VoIP、email、简讯、Java Game甚至是VoD、Mobile TV等网路、广播服务的出现。这些应用型态，对于移动终端的设计都是新的挑战，本文将着重于探讨多媒体手机的开发及系统架构规划。 为了因应多媒体的表现，今日的手机必须在软硬件架构上进行必要的调整：首先是显示器，除了萤幕的尺寸愈来愈大外，为提升显示品质，在解析度上从qQVGA、QCIF，一路往QVGA升级；面板技术上则从CSTN、A-TFT、LTPS，逐渐升级到OLED；此外，MVA、IPS等宽视角技术也愈来愈受重视。 在多媒体的应用功能上，包括了视频（录影、视频节目等）、音频（语音、音乐、影音效果等）和图形（照片、游戏等），分别需要用到专门的处理技术，以及镜头、感测器、处理器、记忆体和显示器等硬件系统配备。以照相功能为例，手机相机除了诉求更高解析度、对动态摄影要求具有SDTV视频的捕捉能力外，光学伸缩镜头（Optical zoom）、手振校正功能及闪光灯都将是高阶手机的附加功能。

手机多媒体处理架构 随着多媒体任务愈来愈繁重，单单依赖基频已难以承受所有处理工作，因此应用处理器（application processor）的角色就因应而生。将应用处理功能从基频中分离出来，一方面可以分担彼此的工作，另一方面则可以视市场的需求而各自调整、升级个别的功能，例如基频可以专注于因应通信规格的变化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系统业者也能依自己的需求来搭配这两个单元。 应用处理器在功能上的演进压力也很大，例如对照相功能得准备再升级到三百万，甚至是五百万画素，视频上也得进一步支援30ftp的VGA画质；在图形处理方面，它得嵌入2D/3D绘图引擎，以满足游戏的临场感；至于最新的应用需求则是支援要DVB-H、T-DMB或Media FLO等移动电视规格。 由于业者的技术背景不同，目前市场上应用处理器的架构作法也不尽相同，以处理器技术见长的厂商提出採用高效能的单一ARM核心来处理所有工作的架构；同时有更多人採用ARM加DSP的双核心架构，也就是将控制与讯号处理工作分流，由ARM的RISC核心主要进行控制工作，大量的讯号加、解码工作则交给DSP来执行。此外，有些专属性应用的处理工作非常消耗运算资源，这时，应用处理平台中会考虑加入专属的加速器来提升处理效能。 由于手机中的应用功能不断增加，因此，在应用处理平台中加入包括视频、音频、2D/3D绘图、PAN/WAN、安全和GPS定位等专属功能加速器的分散式处理架构，已成为多媒体手机的重要发展方向，请参考(图一)。此架构让系统能以更低的时脉频率达成复杂的多媒体工作，并能降低主处理器的负荷。以Nomadik平台为例，即是在ARM926EJ-S的主处理器核心外，搭配智能性视频加速器（Smart video accelerator）和智能音频加速器（Smart audio accelerator）、多媒体信号处理器（MMDSP）、加速功能硬件（Acceleration hardware）等多颗可程式智能加速器来分担在音频和视频上的前、后处理任务。 　 图一　分散式处理模式（以Nomadik为例） 资料来源：ST 　 在任务执行中，这些智能加速器在产生图像、录影、播放节目和双向影音通信时，能独立且同时的运作，进而让系统能在低耗电的条件下达成需求的应用功能表现，所提供处理动力和记忆体频宽，足以驱动1024x1024 pixels的萤幕；此外，这些复杂的加速器能独立地与区域DMA和记忆体资源一起工作，让主处理器能在同一时间中更专注于处理应用功能，或进入省电状态来延长电池寿命。

视频处理单元 在视频压缩技术方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相较之下，MPEG-4问世的时间较久，市场上採用的情况也较高，但H.264由于是最新的标准，能提供当前最佳的视频压缩效能，并且已获得MPEG/lS0和ITU两大国际标准组织的支持，再加上它的适用范围极广，所以自2003年标准推出后，即成了HDTV、HD-DVD、手机及视频串流等业者非常重视的规格。 不过，不同的视频压缩格式，由于规格复杂度不同，需要的运算资源也不同；此外，编码（encode）又比解码（decode）耗用更大的运算资源。以MPEG-4为例，以软件来做解码或许还可行，但若要以软件来进行编码就会耗掉太多的系统运算资源。类似地，不同的显示器视频品质也意味着不同的运算需求，例如若要以单一处理器来提供30 fps的VGA画质视频，可能得用到GHz等级的处理器才跑得动，不过，这在手机的环境下显然是行不通的，因为此方案的耗电太惊人，散热也难以处理。 在此情况下，专属的视频加速器就是最可行的方案。在Nomadik应用平台中的视频加速器，能针对MPEG-4的编解码提供30 fps的CIF画质、24 fps的VGA画质和384Kbit/s的传输率，也具备图像前／后处理的能力，如(图二)。在视频的编、解码上，除了运算处理外，记忆体的容量与架构也是设计上的关键。举例来说，以CIF的显示器加上抓取缓冲（grab buffer）就需要1200 Kbyte以上才够。若能开发一套智能性的动作估计演算法（motion estimation algorithm），就能大幅降低记忆体大小和耗电性。 Nomadik以48 Kbyte的on-chip SRAM来支援VGA视频编码，它用在视频频框的抓取和搜寻视窗的储存，外部的记忆体则被用于其余视频功能的处理。此一作法降低了记忆处理的延遟，让效能可以大幅提升，同时也为改善了I/O和匯流排的设计，能进一步降低耗电；此外，在成本上也因晶片尺寸的缩小而降低。 此外，高品质、低复杂性演算法对于H.264的编解码也有很大的帮助，以ST来说，就已提出运动估算与速率控制演算法，以及用于H.264解码的错误检测与隐藏演算法，能让解码器承担并隐藏数据封包损失，在无线封包网路上实现IP网路的最佳效能。 　 图二　智能视频加速器 资料来源：ST

音频处理单元 手机的基本功能，即在处理语音的通话音频。但在多媒体手机中，音频的处理任务愈来愈复杂，除了语音外，还要求具备多音调振铃、MP3音乐、FM广播及游戏音效，而且不能只是单声道的效果，现在还要求能提供Hi-Fi立体声的临场感体验。 从单声道到立体声，对手机音频系统的设计是一种改革性的挑战。一般而言，Hi-Fi是指16-bit立体声品质、以44.1kHz取样的音频，也就是CD音乐的规格；电话语音则是8-bit和8kHz的单声道（mono）、低阶品质音频。过去这两个世界是井水不犯河水的，但今日在手机上得一併考虑设计才行了。 在音频编解码（CODEC）上，也有琳瑯满的规格需要支援：针对音效的编码就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；针对人类语音有LPC、CELP与ACELP等；其他还有MPEG-2、MPEG-4、H.264、VC-1等视听节目的编码格式。手机多媒体格式的市场趋势请参考(图三)。 　 图三　手机多媒体格式的应用市场趋势 　 在Nomadik中具有一个音频加速器，它是一个完全以C语言加以程式化的多媒体DSP（MMDSP）核心，此核心採用採用超长指令集（very-long-instruction-word, VLIW）架构，它的每个指令执行为一个循环，而且完全是由C语言撰写的程式，适用于与媒体内容相关的处理，以及协定、负载平衡和多工架构等用途。此一音频加速器能够对包括AAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等广泛的数字音频格式进行加码或解码，也支援SRS、WOW等3D音频环绕效果，如(图四)。 　 图四　智能音频加速器 资料来源：ST

硬件加速器 为了要进一步降低耗电，有必要将硬件线路运算器（hardwired operator）和MMDSP一起使用，这样能保证即使在最糟的状况下还有足够的效能表现。低频率的硬件负责处理动作估计（motion estimation）、编码转换（transform coding）、变数长度解码（variable length decoding）、图像过滤（image filtering）和色彩转换（color conversion）等需要大量MIPS计算的工作。

软件架构剖析 吸引人、负担得起和互动性的多媒体通信、资讯和娱乐将新的移动服务中处处可见。但对软件厂商和设备制造商来说，如果每次都要针对不同的无线平台重新撰写同样的应用功能，自然是让人很气馁的经验。Java这类run-time技术能支援下载游戏和应用，但需要有足够程式资源。有趣的多媒体应用需要愈来愈多的资源和耗电，这对于体积小的手机设备是很大的挑战。 要克服这些问题的一个务实方式，是採用开放多媒体介面的一般性架构，而且是基于抽象硬件介面（hardware abstraction）的作法。在这个架构同时提供上层和下层的观点，上层的观点提供应用程式撰写者一套针对特定作业系统的统一软体介面，并对底层的处理器设计加以抽象化。 在底层的部分包括多媒体加速器和影音编解码器，UART、USB及蓝芽等通信介面，以及LCD控制器、影像感测器或照相机等一般性应用週边的标准硬件介面；在中间的部分为涵盖核心、设备驱动程式和档案系统的作业系统功能，以及多媒体架构、语音及网路的通信架构、Java和安全性架构等等；上层的部分则是各种应用功能，例如语音、游戏、短信、浏览、PIM等等功能。这三层之间则透过底层API及高层API来进行沟通，请参考(图五)。 　 图五　软件架构示意图 资料来源：ST

结论 目前移动终端设备的应用性不断地延伸，其中最主要的趋势自然是从单纯语音走向消费性娱乐的多媒体应用功能。单以视频应用来说，就包括摄影（camcorder）、媒体播放（media player）、移动电视、视频电话（video telephony）等等，要提供这些应用功能，今日的手机除了需要提升镜头、感测器、处理器、记忆体和显示器等硬件系统配备外，开发者还得面临不少设计挑战。 先进的多媒体应用平台要能支援多重的视频及音频格式，以提供丰富的影音应用功能；要支援更高的解析度和传输、处理速度，以提升用户的视听感受经验；在应用处理负荷增加下，仍能保持或延长电池的使用寿命。要克服这些挑战，在设计上有必要採取更先进的软、硬技术与系统架构。 本文中针对多媒体手机的系统需求提出了分散式处理的加速器架构，它能有效地降低系统的负荷，并满足各种应用的处理效能。在新兴的多媒体应用及服务上，除了考虑处理效能及展现品质外，往往还得解决内容的安全性的问题，因此，手机系统也需针对行动商务（M-commerce）、身分证认（authentication）和数字版权管理（DRM）等应用做出安全的安全保障架构，这和终端本身记忆体的作法以及通信系统的认证机制息息相关，例如可用专属的安全模组记忆体作法来储存保密性的资料。 最后，在通信的世界中需要打造一个开放性的环境，才能让这些内容、应用及服务遍及最多的用户。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等国际组织在推动音、视频及串流格式的一致性作法，以确保在不同的终端设备和电信系统中能顺畅的传递视频内容。这些非营利组织之间也有密切的合作关系，在开放性的精神下，让多媒体的服务能更快速的进入每个人的行动生活当中。 （作者为意法半导体亚太区通信及移动多媒体事业部资深技术行销工程师，联络方式：vincent.chiang@st.com）