小程序音视频功能原理及应用

发布 腾讯视频云有什么作用？腾讯视频云不做数据库，存储或网络。我们只为B类客户提供音频和视频服务，即直播，点播，视频通话以及此类音频和视频PAAS服务。

今天，我主要告诉你腾讯视频云在过去一年中已经与小程序结合使用，看看如何利用这样的高科技能力，用一个非常轻量级的平台如小程序来玩1 + 1。效果2.

今天的主题分为四个部分。第一个是使用小程序音频和视频可以做到的。第二部分是内部如何做？第三是谈谈腾讯视频云的音视频技术的一些技术细节;第四是在微信上介绍音频和视频应用的一些审计问题和解决方案。

我们现在开始第一部分。

我从一个关于1944年的短篇小说开始。1944年，它实际上是欧洲第二次世界大战战场的最后阶段。那时，盟军有许多军舰接近欧洲战场。为了尽量减少这些战舰的威胁，德国开发了反舰导弹。事实上，这种导弹是一种配备火箭发动机的白色火箭。点火后冲出来。功率非常大但精度很差。当它远离目标时很容易偏离目标。所以如果你不解决指导问题，这种武器实际上是没用的。

为了解决这个问题，日军在太平洋战场上直接安装了导弹人员然后焊接了门。这种方法是简单有效的应用程序开发

德国的技术还不错，他们采用了更为技术性的方法：在导弹前面安装一台电视摄像机，摄像机拍摄的图像直接传送到轰炸机，导弹穿过导弹末端的八木天仙（隐藏目标很远）轰炸机上安装了一个电视接收器（请注意，这是在1944年，想想我们在1944年所做的事情），因此轰炸机上的轰炸机可以看到导弹前端的所有图像。然后，通过控制遥感，导弹直接导向目标战舰。这实际上是军队中实时音频和视频技术的典型应用。

到目前为止我们不会谈论历史，让我们来谈谈2018年。2018年，小程序今年非常热，而且数量非常高。但每个人都会看到小程序做了很多事情。大多数H5公共号码的重印只不过是那些。但我想告诉你，如果小程序与音频和视频相结合，那么H5就有很多东西无法做到。例如，我们现在在这里看到视频通话应用程序。

我们以Pingan 95511为例。例如，如果你早上开车上班，我知道沈阳的早期峰值仍然相对受阻。它可能会被其他汽车意外挤压在一起。这时，您的选择是打电话。向保险公司报告，保险公司会让你在事件中慢慢等待，等待半小时？等一个小时？这取决于当时的交通状况或拥堵程度。

现在有小程序在线丢失计划，你只需要打开微信，搜索安全95511，不需要安装APP，1-2秒报告保险，大约2-3分钟即可完成保险流程。

您可能会问，为什么通过视频解决的解决方案无法通过电话解决？因为单独的手机，保险公司无法有效区分手机的另一端是否存在欺诈行为，而通过实时的音视频通话，欺诈几乎是不可能的。

接下来，大家都问为什么不能使用微信中的视频通话？如果你和你的女朋友私聊，你可以用微信来说话。它与短信相同。整个过程并没有停留在最后。即使服务器的音频和视频流只是简单传输，大多数1v1呼叫都是p2p直接连接。但是，在远程客户服务，远程医疗，远程丢失等商业音视频场景中，国家有关法律法规规定应记录整个过程，否则普通用户的合法权益不能维持。

除了平安这样的保险业外，我们还与宝马在新的零售业有一些合作。例如，如果你考虑宝马汽车，你可能只会去之前的4S店。虽然看到真正的汽车是直观的，但它最多只是看一看内饰，并且有不少年轻人不想面对它。进入宝马店。通过远程视频聊天与销售，你只需要在小程序中搜索“宝马真车互动平台”，有一个销售1v1与你沟通，他/她会直接拿电话向你展示内饰如何，外观如何看，远程看各种细节，我们专门调整720p高清分辨率，你绝对可以看到每一个细节。

当然，还有远程试验，以及远程医疗项目，还有很多很好的应用案例。

在这里我们可以发现小程序音频和视频可以解决两个现实的传统应用无法解决的问题：

第一个是传统电话只有声音而没有图片。许多不容易用文字表达的东西可以用小程序音频和视频来解决。其次，它可以解决安装视频通话功能的问题。的东西。

下一步是谈谈我们从技术角度如何做到这一点。如何实现这一能力分为几个部分：

首先，让我们谈谈嵌入在微信APP中的音频和视频SDK，然后包装两个标签，一个叫，一个叫，然后是内部桥，带有小程序 jsbridge。有了这样的能力，我们现在有两个基本功能，一个是制作音频和视频流的上行链路，另一个是做音频和视频流的下行链路。

上下你的意思是什么？上行链路是将本地屏幕上传到服务器，下行链路是将服务器的屏幕拉到本地。最典型的应用是直播。你可以看到，如果我们假设斗鱼和虎牙的直播是好的，你可以在5分钟或10分钟内回到小程序，放一个，它可以传输到腾讯云的边缘节点，通过转码集群。然后播放CDN，它可以结合所有直播的当前应用功能。直播质量的保证主要是CDN。 CDN是一个很大的，不仅是下一张图片，也是下一个文件。像视频CDN一样，我们可以实现近万个并发，我们的大型直播活动和直播活动都可以实现。

但是，在拥有这组架构之后，存在一个问题。它的应用场景仍然相对较小。所谓的现场娱乐，现场直播和现场直播。我认为仍然没有办法反映小程序的价值。接下来我们将尝试先减少延迟。这是一个在这里说一句话的主播，体育赛事的球大约是5秒或10秒。我们如何减少延迟？简单的想法是减少链路的传出延迟。对于这样的链接，延迟非常高。我们使用加速节点。这些加速节点由UDP直接传输。例如，我在沈阳，你在沈阳。我们在云上找到一个节点沈阳,沈阳在云上找到一个节点，中间有一条专线，所以整个链路的延迟非常低，单个传输延迟可以在500毫秒内控制。有了它，您可以监控一些场景，如监控摄像头。

然而，以这种方式使用的场景仍然是有限的，我们可以再次拉出低延迟链路，这成为具有各种应用场景的双向视频呼叫。也就是说，A有一个到B的链接，B也有到A侧的链接，延迟很低，A和B可以在两侧进行通信（当然，做回声消除工作）。

每个人都会说有两种方法可以做多路？当然，只要手机的性能可靠，并行多通道就没有问题。目前，我们可以同时打开8个小屏幕，然后它将无法工作，并且手机的性能可能无法保持。

但实际上，我们会发现它不够好，我们实际上需要进行扩展并使用Chrome浏览器打开它。收购音频和视频公司后谷歌是开源的。此技术可在Chrome浏览器中使用。我们可以通过远程协议模块将这两个链接互通，这样小程序就可以在微信上使用，但是可以在PC上使用浏览器。这是什么样的场景非常有用？对于企业服务场景，尤其是视频服务，客户服务人员正在使用PC，但对于有问题的用户，他们可以使用微信解决它。

正如您所看到的，如果真的要做这样的事情，除了像两端这样的功能之外，我们还需要在服务器端说些什么。例如，如果您玩10086，则需要排队。很多时候你被告知座位很忙，主要是因为客户服务人员有限，客户服务人员有限。我们必须有一个排队系统。

包括像医院这样的场景，不仅仅是通过一个。你知道这位医生站在这里。它必须接受大量订单。视频聊天完成后不会这样做。他依靠客户的满意度，看到客户的医疗记录，除了排队系统和医疗记录服务，文件构建服务等，在审查周围的工作仍然需要做。我今天被拉了过来，我们还将与小程序云开发密切合作，以降低云开发的复杂性。

与此同时，在过去，我们也在音频和视频质量方面做了很多改进。在最新版本的微信（尚未发布）中，我们对卡片速率进行了很大改进，如上所示。

在最后一刻，我谈到了微信的评论。与微信团队一起，我们想到了很多方法来更好地解决国家政策审查。腾讯云提供1v1视频通话插件和1vn live插件。前者主要用于解决在线客服现场，而后者主要用于电子商务直播。这两个插件都有一个后端AI和手动审核团队，可以进行7x24小时的智能安全审查，因此政府部分同意使用这两个插件的小程序可以使用微信小程序的音频和视频功能。