音视频开发属于纯软件吗，音视频开发和软件开发

本内容由系统网小编为大家分享，Windows系统安装教程、办公系统、软件怎么使用、软件使用教程、办公软件攻略等信息。

前言

谈到Android的UI如果你画画,你可能会考虑一下onMeasure、onLayout、onDraw三大流程。但我们的View如何在屏幕上一步一步地出现?onDraw之后到View你在屏幕上展示的时候做了什么?我们今天将深入探讨这些问题。Android以下是本文件制作过程的主要方面:

Android排练的一般结构是什么?

Android究竟什么是投标制片人?Skia与OpenGl的区别是什么？

硬件加速究竟是什么?硬件和软件的区别

Android什么是改写缓冲区?黄油战略是什么?

Android排练的观众是什么?SurfaceFlinger?

Android渲染整体架构

我们先来看一下Android论文的一般结构可分为以下几节:

image stream produceers生产可塑数据,例如:App的draw绘图指令将被发送到方法中 。canvas传递给framework层的RenderThread线程。

native Framework:RenderThread线程通过surface.dequeue得到缓冲区graphic bufer，然后在上面通过OpenGL我要把缓冲区还回去 完成真正的改造行动BufferQueue队列中。

image stream consumers:surfaceFlinger同时从队列中获取数据HAL完成layer最后,完成了综合工作。HAL展示。

HAL描述硬件抽象层。 在设备屏幕上显示视觉数据 。

如你所见,这是一种标准的生产者-消费者关系。

这是我们的,图像制片人。APP，再深入点就是canvas->surface。

图像消费者：SurfaceFlinger

图像缓冲区：BufferQueue，一般是3缓冲区

让我们检查缓冲区的生产者、消费者和三个组成部分。Android渲染的过程

相信我,获取最新和最新信息 C++ 音视频 (a) 学习促进项目,例如: C/C++ ， Linux ， FFmpeg ， webRTC ， rtmp ， hls ， rtsp ， ffplay ， srs ）

图像生产者

从上述结构可以明显看出,形象塑造者主要是男性。MediaPlayer，CameraPreview，NDK(Skia)，OpenGl ES。其中MediaPlayer和Camera Preview为了创建图片数据,它直接从图像来源读取。NDK（Skia），OpenGL ES素描能力产生的图像数据。

OpenGL、Vulkan、Skia的区别

OpenGL：是一种跨平台的3D图形绘制规范接口。OpenGL EL它具体针对移动电话等最佳嵌入装置。

Skia：skia是图像渲染库，2D图形可以通过手动创建 。3D效果（依赖硬件）由OpenGL、Vulkan、Metal支持。它不仅支持2D、3D，同时支持CPU软件绘制和GPU硬件加速。Android、flutter都是用来画完画的

Vulkan:Android引入了Vulkan支持。VulKan是用来替换OpenGL的。它不仅支持3D，也支持2D，同时更加轻量级

硬件加速

我敢肯定,你听说过很多 关于硬件加速, 特别是一些。API因为我们不支持硬件加速,我们必须手动关闭它。 硬件加速如何运作?

CPU与GPU的区别

除了屏幕，UI招标基于另外两件核心硬件:CPU和GPU。

CPU（Central Processing Unit中央处理器),它是计算机计算和控制的核心,也是信息处理和方案操作的最终实施模块;

GPU（Graphics Processin Unit,图形处理器)是一个专门处理图片处理的处理器,通常被称为计算机系统中“地图卡”的主要组成部分。GPU。

UI在将部件传送到屏幕之前,必须先通过。Rasterization这是一个耗时的过程, 这是一个耗时的过程。

Rasterization栅格化是绘制那些Button、Shape、Path、String、Bitmap这是这些部分的网格 描绘了该部分最基本的行动UI组件将分为单独的像素,在显示器上显示。这是一个耗时的过程。GPU它被引入 帮助电网运行更快。

硬件绘制与软件绘制

,这个程序用来绘制草图。Skia库珀,这是一个低端的装置, 类似于一个高端的手机。2D类似于跨平台图形框架Chrome、Flutter内部使用的都是Skia库。

将绘制的底部软件代码是硬件被绘制的概念。CPU能力无能以图形方式计算,并翻译为GPU专用指令，由GPU完成绘制任务。

因此,使用硬件加速是其基础。GPU代替CPU完成Graphic Buffer提高性能的图纸,Android4. 自零以来,硬件加速是默认的,但仍有一些。API由于硬件无法加速使用,必须人工关闭硬件。应当指出,在绘图中使用了该软件。Skia库，但这不代表Skia不支持硬件加速，从Android 8开始吧,我们有办法利用它Skia进行硬件加速，Android 9开始就默认使用Skia来进行硬件加速。Skia硬件加速化主要通过下列方式实现:copybit模块调用OpenGL或者SKia来实现。

图像缓冲区

Android中的图像生产者OpenGL，Skia，Vulkan信息保存在图像缓冲中 。Android中的图像消费SurfaceFlinger图像缓冲数据提取、处理和合成那么,在设想缓冲区时,我们应该寻找什么?

黄油计划

优化是无止境的，Google在 2012 年的I/O大会上宣布了Project Butter黄油计划，并且在Android 4.1该机制现已正式启动。

VSYNC信号

VSYNC（Vertical Synchronization）是理解Project Butter的核心。对于Android 4.0，CPU很可能是因为太忙了 什么都做不了UI绘制。为解决这一问题,该系统收到:VSync收到信号后,将立即改写以下框架。VSync通知（16ms触发一次），CPU和GPU于是我立刻开始计算和写下事实。buffer。如下图

CPU/GPU根据VSYNC为了分析数据 信号是同步的CPU/GPU在数据下降之前,有整整16ms 来分析数据。jank。一句话总结，VSync同步使得CPU/GPU充分利用16.60米,减少jank。

三缓冲机制

在Android 4.0之前，Android图纸和显示器相互拥有时,使用双缓冲系统。buffer：GPU总是保存完成图片数据到Back Buffer，而显示器使用Frame Buffer，当屏幕刷新时，Frame Buffer并不会发生变化，当Back buffer等准备就绪后,这些将互换。

然而,如果接口更复杂,CPU/GPU处理时间超过16年,6米的双重缓冲机制有什么问题?

然而,由于第二个时期的到来GPU还在处理B框架 。 无法用 caches 进行交易 。A帧被重复显示。

而B完成后，又因为缺乏VSync信号 它只是等待下一个信号signal它在路上了,因此在这个过程中浪费了很多时间。

当下一个VSync出现时，CPU/GPU马上执行操作（A和缓存交换,相关的屏幕如下:B只有当执行时间超过16米时,下一次缓冲区交换才被推迟,而随着越来越多的“Jank”的形成,这一周期又再次出现。

三重缓冲系统是加强双重缓冲机制缓冲系统,是加强双重缓冲机制。Graphic Buffer最差的应用之一是缓冲区,它优化了对闲暇时间的利用。Graphic Buffer所占用的内存。

三个缓冲系统很好地利用了我们等待visnc的时间 并且可以帮助我们削减它。jank

RenderThread

经过Android 4.1的Project Butter黄油计划之后，Android但是,你注意到这样的问题了吗?GPU然而,根据计算结果DisplayList，到通过GPU绘制到Frame Buffer整个计算和草草图都是在UI主线程中完成。

UI细线工作太重。 如果整个制作过程需要更长的时间, 可能导致无法对用户活动做出反应, 导致 Carton 的假想 。GPU如果使用的话,绘制具有更高造影能力的视觉图象。GPU如果您在各种线索中绘制图像, 整个过程将更顺利地运行 。

正因如此，在Android 5.0两项重大调整中的一项已执行。RenderNode的概念，它对DisplayList及一些View另一个被引入。 显示属性会被进一步密封 。RenderThread，所有的GL在这条线上,所有的命令都执行。创建这条线。RenderNode它包含关于允许属性动画的创建框架的所有信息,确保动画进程继续下去,即使主线耗时。

图像消费者

SurfaceFlinger是Android系统最重要的形象消费者之一Activity所创建的任何界面图片将被发送到SurfaceFlinger来，SurfaceFlinger的作用主要是接收GraphicBuffer，然后交给HWComposer或者OpenGL在你完成合成后SurfaceFlinger将提交完成的数据。FrameBuffer。

SurfaceFlinger它是图片数据消费者。surface的时候，SurfaceFlinger会创建一个Layer。Layer是SurfaceFlinger因此,一. 运用合成的基本组成部分。surface对应一个Layer。申请的起草情况良好GraphicBuffer数据放入BufferQueue之后,下一个任务就是..SurfaceFlinger来完成了。

该系统将包含若干应用程序,每份应用程序将包含若干应用程序。BufferQueue队列。SurfaceFlinger由您决定何时以及如何管理和显示这些队列 。 SurfaceFlinger请求HAL硬件层，来决定这些Buffer是硬件还是它自己操作的?OpenGL来合成。最终把合成后的buffer数据显示在屏幕上。

总结

总得来说，Android图片绘制方法是一个生产者-消费者模式,如下图所示:

onMeasure、onLayout计算出view大小,地点,所有东西UI线程要做的事情，在draw该技术是绘制的,但目前尚未实施,用于加密绘图指示。displayList,进一步封装为RenderNode，在同步给RenderThread。

RenderThread通过dequeue拿到graphic buffer（surfaceFlinger直接根据提款指令工作OpenGL创建界面,最终通过GPU绘图说明由设备收回到屏幕外缓冲处。graphic buffer。

你完事后 把缓冲地带还给我SurfaceFlinger的BufferQueue。SurfaceFlinger会通过硬件设备进行layer,它最终显示在屏幕上。

XTw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。