登录
|
注册会员
开启辅助访问
设为首页
收藏本站
扫一扫关注官方微信
论坛
BBS
M币充值
M currency prepaid phone
M币获取
附件中心
搜索
search
全新论坛MCU智学网上线,欢迎访问新论坛!稀缺资源、技术干货、参考设计、原厂资料尽在MCU智学网
MCU资讯论坛
»
论坛
›
单片机论坛
›
单片机应用于方案
›
基于单环和肤色选择的FGS视频编码
更新自动建库工具PCB Footprint Expert 2023.13 Pro / Library Expert 破解版
基于单环和肤色选择的FGS视频编码
[复制链接]
1076
0
ad***
管理员
发表在
嵌入式/ARM
2013-3-19 23:39:31
|
查看全部
|
阅读模式
本文包含原理图、PCB、源代码、封装库、中英文PDF等资源
您需要
登录
才可以下载或查看,没有帐号?
注册会员
x
摘 要:
提出了一种在增强层中引入肤色选择的检测算法,利用该算法定位出人脸区域,并将其作为感兴趣区域,进行位平面提升、优先编码和传输。由于该算法会在一定程度上降低整体的编码效率,因此在基本层上引入了单环算法来提高整体的编码效率。试验结果表明,基于单环和肤色选择的FGS视频编码算法能够很好地改善视频的主观质量,也能够较大程度地提高FGS的编码效率。
关键词:
肤色选择; 感兴趣区域; FGS
Internet的快速发展使得网络多媒体的需求急剧增加,这就对视频的编码技术提出了新的要求。网络的异构性和缺乏QoS(服务质量)保证,使得带宽会在一个较大的范围内波动。传统的用于解决该问题的视频编码方法有联播和码流转换,但这两种方法的码率变化均被限制在几个特定的码率中,很难实现传输过程中任意码流的动态切换,从而不能充分利用信道的容量。解决这些问题的一个有效方法就是粒度可分级视频编码,它将原始视频编码成基本层码流和增强层码流,其中基本层码流是必须要传输的,它能够单独进行解码。增强层码流可以根据网络当时的带宽情况在任何一个地点截断。但FGS获得的这些特性都是以牺牲编码效率为代价的[1]。在增强层中引入肤色选择的算法,虽然能够快速地定位出视频中的感兴趣区域,通过对其进行位平面提升和优先编码来改善视频的主观质量,但也会在一定程度上降低整体的编码效率。因此,针对编码效率低的问题,本文提出了在基本层中引入单环算法,以提高FGS的编码效率。
1 基于肤色选择的FGS视频编码
1.1 肤色选择算法介绍[2]
用肤色选择算法对FGS进行选择增强,充分利用了人的视觉特性。相对于其他较复杂的人脸检测算法,该算法具有复杂度低和运算简单等特点。对于人脸和头肩占主要部分的序列,可以认为人脸区域主要就是肤色区域。因此在这类视频序列中,用肤色区域代替人脸区域作为感兴趣区域,并对其进行位平面提升、优先编码和传输,从而提高感兴趣区域的编码效率,并改善视频的主观质量。
大量实验表明,不同人种的肤色主要受到亮度信息的影响,而受色度信息的影响很小,且肤色在CbCr空间的分布具有很强的聚类特性,因此本文中直接采用通用阈值(133≤Cr≤173,77≤Cb≤127)来对肤色区域进行判断。对于序列中的所有帧图像的每一个像素有:
将M=1的像素定为肤色点,然后对每帧图像中的每个宏块内M值为1的像素点进行统计,将统计结果与预先给定的阈值T进行比较,来判断该宏块是否进行选择性增强。如果大于或等于阈值T,则对该宏块进行选择性增强,反之,则不进行选择性增强。图1为Akiyo序列、Foreman序列和Carphone序列的原始图、肤色分割图和选择性增强的宏块图。
1.2 基于肤色选择的FGS视频编码
通过上述的肤色选择算法来定位出人脸区域,并将其作为感兴趣区域,引入到FGS编码器中。与其他人脸检测算法相比,该方法具有复杂度低、自适应选择和运算简单等优点。
2 基于单环与肤色选择的FGS视频编码
采用肤色选择算法提高视频序列感兴趣区域的编码效率和改善视频主观质量的同时,也降低了FGS的整体编码效率。单环算法由于使用了更高的扩展基本层(基本层+增强层)图像来用作基本层的参考图像,因此能够较好地提高整体编码效率。所以本文提出了基于单环的FGS视频编码与基于肤色选择的FGS视频编码相结合的方法(基于单环和肤色选择的FGS视频编码)来同时提高FGS的整体编码效率和视频的主观质量。其编码原理图如图2所示。
对于基本层,通过使用质量更高的扩展基本层图像作为基本层的参考图像,来提高基本层运动补偿的效率,降低基本层残差图像的能量,从而提高基本层的编码效率。对于增强层,基本层残差图像能量下降,使得残差图像量化前后的差值的能量也减小了,所以增强层的编码效率也相应地得到了提高。但由于基本层与增强层并非各自独立,而是相互影响的,因此当网络带宽突然降低时,会产生预测误差,且这种误差会一直积累并传播下去,直到当前GOP结束。因此当使用该结构进行FGS编码时,将引入前端网络估计的方法,来确定能够正确解码的增强层位平面数,使用于参考的增强层位平面数不多于正确解码的位平面数,从而抑制预测误差[3-4]。
3 试验结果与分析
为了检测该算法的效果,进行了仿真实验。实验中选择了Carphone和Foreman 两个QCIF视频序列,基本层采用H.264参考软件,帧率为30 Hz,编码50帧,编码帧类型为IPPP…,熵编码方法为CABAC,允许率失真优化宏块模式判决,QP=35,基本层码率为60 kb/s。增强层编码时仅对DCT系数进行限幅处理,不作进一步量化。使用重建图像序列的亮度分量的平均峰值信噪比(Y-PSNR)作为视频质量的客观评价标准。试验中所定义的感兴趣区域为用肤色选择算法检测出来的人脸区域,将采用该提升算法的FGS和仅采用单环算法的FGS以及未采用任何提升算法的FGS进行比较,比较结果如图3和图4所示。
从图3中可知,采用了基于单环和肤色选择的FGS视频编码,在人脸区域的PSNR值要明显高于整体区域,平均高出了3 dB,且随着码率的增大,PSNR的差值也逐渐增大。从图4中可以看出,相比于H.264 FGS和基于单环的H.264 FGS,本文采用的方法能够较好地改善视频的主观质量。这说明在码率一定的情况下,使用单环算法能够较大地提高编码效率,且由于使用了肤色选择,感兴趣区域的位平面被提升,从而使得该部分的信息能够被优先编码和传输。当码流截断时,获得的大部分数据都是感兴趣区域的,所以解码时肤色区域的主观质量有了一定的改善。
通过上述试验结果可知,将肤色选择引入到FGS中,能够快速地定位出人脸区域,通过将该区域的位平面进行提升、优先编码和传输,能够较大地提高感兴趣区域的编码效率,改善视频的主观质量。但与此同时,会在一定程度上降低整体的编码效率,因此引入了单环算法。该算法由于使用了高的扩展基本层图像来用作基本层的参考图像,因此能够较好地提高整体编码效率。试验证明本文提出的方法对人脸和头肩占主要部分的序列,能够自适应地提高FGS的编码效率,改善解码后视频的主观质量。该算法对特定的领域有一定的适用性。
参考文献
[1] 胡波. 数字电视系统关键技术研究[D].武汉:华中科技大学, 2009.
[2] 周孝, 林其伟, 杨雪婷. 基于人脸特征的自适应选择增强FGS视频编码[J]. 电视技术, 2008,32(08):23-25.
[3] 江涛,张兆扬.时空域可分级的精细粒度可伸缩视频编码研究[D]. 上海:上海大学,2005.
[4] 杨雪婷, 林其伟.基于H.264的精细可分级编码结构改进方案[J]. 电视技术, 2009,33(S1).
举报
回复
返回列表
*
滑块验证:
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
注册会员
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
外围器件论坛
回复
转播
评分
分享
打开支付宝扫一扫,最高立得1212元红包
搜索
本版
帖子
用户
热搜:
传感器
51串口程序
电子管放大器
夾式電表
夾式電流
Mentor论坛
打印机
版块推荐
百宝箱
My 布拉格
无边框Z9
Z9Max
Z9mini
nubia动态
问题 & 建议
资源分享
爱拍
同城会
牛仔生活
查看论坛所有版块>>
每日签到
论坛任务
摄影技巧
跳蚤市场
互助问答
论坛导读
申请内测
红包中心
每日摇一摇
活动中心
网站地图
官方旗舰店
图文热点
VKL144A TSSOP48 点阵式液晶驱动芯片/低功
产品品牌:永嘉微电/VINKA 产品型号:VKL44A 封装形式:TSSOP48 概述 VKL144是
高抗干扰液晶显示驱动/省电液晶驱动IC/LCD
产品品牌:永嘉微电/VINKA 产品型号:VKL128 封装形式:SSOP44 概述 VKL128是一
VK2C23A/B LQFP64/48LCD驱动控制器/高抗干
产品品牌:永嘉微电/VINKA 产品型号:VK2C23A/B 封装形式:LQFP64/48 概述 VK2C
高抗干扰液晶驱动/点阵式液晶显示IC/VK2C21
产品品牌:永嘉微电/VINKA 产品型号:VK2C21D 封装形式:SOP16 概述 VK2C21D是
I2C通信接口段码液晶驱动芯片VK2C21C SOP20
产品品牌:永嘉微电/VINKA 产品型号:VK2C21C 封装形式:SOP20 概述 VK2C21C是
更多
精华推荐
VKL144A TSSOP48 点阵式液晶驱动芯片/低功
高抗干扰液晶显示驱动/省电液晶驱动IC/LCD
VK2C23A/B LQFP64/48LCD驱动控制器/高抗干
高抗干扰液晶驱动/点阵式液晶显示IC/VK2C21
I2C通信接口段码液晶驱动芯片VK2C21C SOP20
VK2C21B SOP24高抗干扰LCD液晶段码驱动芯片
低成本、高性能、带EEPROM了解一下
工控仪表/水电气表LCD驱动/抗干扰液晶段码
更多
社区学堂
VKL144A TSSOP48 点阵式液晶驱动芯片/
高抗干扰液晶显示驱动/省电液晶驱动IC/
VKL144A TSSOP48 点阵式液晶驱动芯片/低功
产品品牌:永嘉微电/VINKA 产品型号:VKL44A 封装形式:TSSOP48 概述 VKL144是
高抗干扰液晶显示驱动/省电液晶驱动IC/LCD
产品品牌:永嘉微电/VINKA 产品型号:VKL128 封装形式:SSOP44 概述 VKL128是一
VK2C23A/B LQFP64/48LCD驱动控制器/高抗干
产品品牌:永嘉微电/VINKA 产品型号:VK2C23A/B 封装形式:LQFP64/48 概述 VK2C
更多
客服中心
QQ:187196467
服务时间:周一至周日 8:30-20:30
在线客服
客服微博
产品咨询
售后中心
关注我们
关于我们
关于我们
友情链接
联系我们
帮助中心
网友中心
购买须知
支付方式
服务支持
资源下载
售后服务
定制流程
关注我们
官方微博
官方空间
官方微信
QQ:187196467
周一到周日 8:30-22:00 (全年无休)
7 x 24小时在线客服
手机版
Powered by
MCUZX!
X3.4 © 2008-2015
MCU资讯论坛
版权所有
京ICP备18035221号-2
客服QQ: 187196467
技术支持:
MCU资讯论坛
|
网站地图
快速回复
返回顶部
返回列表