百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

WebRTC:最有希望统一即时音视频服务的技术标准

zhezhongyun 2025-01-16 21:37 28 浏览

2011年Google发起了WebTRC开源项目和标准化工作,WebRTC已经成为未来最有希望的统一互联网即时音视频服务的技术标准。WebRTC将帮助更多的人更简单的搭建实时音视频通信功能。

01-WebRTC历史

2010年5月,Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎,并改为名为“WebRTC”。

WebRTC使用GIPS引擎,著名聊天工具skype所使用的就是这款GIPS引擎。WebRTC实现了基于网页的视频会议,并支持722,PCM,ILBC,ISAC等编码,同时使用谷歌自家的VP8视频解码器;同时支持RTP/SRTP传输等。在最新的特性中,WebRTC同时还支持跨操作系统,浏览器和设备(包括台式机和手机)运行的HTML5代码。所谓手机浏览器不能调用手机摄像头的历史即将成为过去时。

02-我们需要先说一说Web应用的访问模式

Web应用的数据传输通过HTTP(超文本传输协议)在浏览器之间和Web服务器之间传输数据。有些HTTP协议运行在TCP(传输控制协议)上层,在某些新的网络是实现中,HTTP运行在WebSocket协议之上。在网络上使用的是HTML,CSS,JavaScript来承载内容和应用。采用请求——响应模式来进行选择操作。这叫做Web浏览模式。

03-我们再说一说浏览器中的实时通信功能

实时通信技术这种技术的独特性质,决定了在在浏览器当中增加该功能绝对不是一个简单的事情。实现标准化过程也是难上加难。Web浏览模式的基础上,WebRTC提供了一个信令服务器。可以理解为通信网络中的控制器。提供信令通道。但是信令在WebRTC中现在并没有标准化。

信令不同于用户信息,用户信息是直接通过通信网络由发信者传输到收信者,而信令通常需要在通信网络的不同环节(基站、移动台和移动控制交换中心等)之间传输,各环节进行分析处理并通过交互作用而形成一系列的操作和控制,其作用是保证用户信息的有效且可靠的传输,因此,信令可看作是整个通信网络的控制系统,其性能在很大程度上决定了一个通信网络为用户提供服务的能力和质量。

WebRTC还提供了一个浏览器与浏览器交互的特性,WebRTC把这种交互方式定义为“对等连接”。

若大家觉得看文章不过瘾,可以来拿音视频开发视频教程,给大家整理了一个几十小时的视频教程合集(内含:FFmpeg、RTSP、RTMP、SRS流媒体服务器、编解码、推拉流、音视频通话等项目实战教程),还有配套课件资料给大家哦。

对等连接在WebRTC中指的是在浏览器和浏览器,浏览器和其他设备通信设备之间的交互方式。这些设备之间的教诲方式可以使用非HTTP协议进行通信,例如:UDP协议等。

04-WebRTC中的媒体流

现在设备可以使用和产生很多种流。举个例子:

手机上的浏览器:

麦克风音频流

应用程序共享视频流

前置摄像头视频流

后置摄像头视频流


笔记本上的浏览器:

网络摄像头视频流

立体声音频流

WebRTC内置了对这些多媒体流和多数据来源的处理功能。都支持,你能想一想以后直播只需要一个手机和手机浏览器的场景么?

05-WebRTC中的多方会话

实时音视频有两种会话方式,一种是点对点的,就是2个设备之间进行交流。就像2个人视频聊天这种场景的。另外一种是多方会话,就像视频会议这样的场景。WebRTC针对这多方会话提供了两种实现方式。

第一种实现方式:实现多个浏览器之间的对等连接——全网状模型

多个浏览器通过Web服务器访问网站,浏览器之间的通话并不通过任何流媒体服务器,而是直接通过对等连接,通过UDP来实现浏览器之间的通信。这个叫做全网状模型。

第二种实现方式:浏览器和媒体服务器建立对等连接——集中式模型

服务端除了Web服务器之外还需要架构一个台媒体服务器,媒体服务器和各个浏览器之间实现对点连接。架设媒体服务器的目的在于接收各个浏览器的媒体流六,之后通过媒体服务器把媒体流发给各个浏览器。

两种实现方式的利弊:

全网状:不需要架设媒体服务器,媒体延迟低质量高。但是如果人数很多的话就会导致浏览器的本地宽带增加,不适合多人会议。

集中式:比较适合多人会话,节省本地宽带,但是只有少量浏览器查询的时候,这种体系的效率非常低(因为要走媒体服务器)。

相关推荐

JPA实体类注解,看这篇就全会了

基本注解@Entity标注于实体类声明语句之前,指出该Java类为实体类,将映射到指定的数据库表。name(可选):实体名称。缺省为实体类的非限定名称。该名称用于引用查询中的实体。不与@Tab...

Dify教程02 - Dify+Deepseek零代码赋能,普通人也能开发AI应用

开始今天的教程之前,先解决昨天遇到的一个问题,docker安装Dify的时候有个报错,进入Dify面板的时候会出现“InternalServerError”的提示,log日志报错:S3_USE_A...

用离散标记重塑人体姿态:VQ-VAE实现关键点组合关系编码

在人体姿态估计领域,传统方法通常将关键点作为基本处理单元,这些关键点在人体骨架结构上代表关节位置(如肘部、膝盖和头部)的空间坐标。现有模型对这些关键点的预测主要采用两种范式:直接通过坐标回归或间接通过...

B 客户端流RPC (clientstream Client Stream)

客户端编写一系列消息并将其发送到服务器,同样使用提供的流。一旦客户端写完消息,它就等待服务器读取消息并返回响应gRPC再次保证了单个RPC调用中的消息排序在客户端流RPC模式中,客户端会发送多个请...

我的模型我做主02——训练自己的大模型:简易入门指南

模型训练往往需要较高的配置,为了满足友友们的好奇心,这里我们不要内存,不要gpu,用最简单的方式,让大家感受一下什么是模型训练。基于你的硬件配置,我们可以设计一个完全在CPU上运行的简易模型训练方案。...

开源项目MessageNest打造个性化消息推送平台多种通知方式

今天介绍一个开源项目,MessageNest-可以打造个性化消息推送平台,整合邮件、钉钉、企业微信等多种通知方式。定制你的消息,让通知方式更灵活多样。开源地址:https://github.c...

使用投机规则API加快页面加载速度

当今的网络用户要求快速导航,从一个页面移动到另一个页面时应尽量减少延迟。投机规则应用程序接口(SpeculationRulesAPI)的出现改变了网络应用程序接口(WebAPI)领域的游戏规则。...

JSONP安全攻防技术

关于JSONPJSONP全称是JSONwithPadding,是基于JSON格式的为解决跨域请求资源而产生的解决方案。它的基本原理是利用HTML的元素标签,远程调用JSON文件来实现数据传递。如果...

大数据Doris(六):编译 Doris遇到的问题

编译Doris遇到的问题一、js_generator.cc:(.text+0xfc3c):undefinedreferenceto`well_known_types_js’查找Doris...

网页内嵌PDF获取的办法

最近女王大人为了通过某认证考试,交了2000RMB,官方居然没有给线下教材资料,直接给的是在线教材,教材是PDF的但是是内嵌在网页内,可惜却没有给具体的PDF地址,无法下载,看到女王大人一点点的截图保...

印度女孩被邻居家客人性骚扰,父亲上门警告,反被围殴致死

微信的规则进行了调整希望大家看完故事多点“在看”,喜欢的话也点个分享和赞这样事儿君的推送才能继续出现在你的订阅列表里才能继续跟大家分享每个开怀大笑或拍案惊奇的好故事啦~话说只要稍微关注新闻的人,应该...

下周重要财经数据日程一览 (1229-0103)

下周焦点全球制造业PMI美国消费者信心指数美国首申失业救济人数值得注意的是,下周一希腊还将举行第三轮总统选举需要谷歌日历同步及部分智能手机(安卓,iPhone)同步日历功能的朋友请点击此链接,数据公布...

PyTorch 深度学习实战(38):注意力机制全面解析

在上一篇文章中,我们探讨了分布式训练实战。本文将深入解析注意力机制的完整发展历程,从最初的Seq2Seq模型到革命性的Transformer架构。我们将使用PyTorch实现2个关键阶段的注意力机制变...

聊聊Spring AI的EmbeddingModel

序本文主要研究一下SpringAI的EmbeddingModelEmbeddingModelspring-ai-core/src/main/java/org/springframework/ai/e...

前端分享-少年了解过iframe么

iframe就像是HTML的「内嵌画布」,允许在页面中加载独立网页,如同在画布上叠加另一幅动态画卷。核心特性包括:独立上下文:每个iframe都拥有独立的DOM/CSS/JS环境(类似浏...