Skip to content

WebRTC 媒体处理深入

掌握 getUserMedia、媒体轨道操作、编解码器和带宽自适应。

你将学到

  • getUserMedia 约束:分辨率、帧率、设备选择
  • MediaTrack 操作:启用、禁用、停止、替换
  • 编解码器协商和偏好(Simulcast、SVC)
  • 带宽估计和自适应比特率

概念讲解

WebRTC 媒体处理深入

WebRTC 媒体处理涉及捕获音频/视频、处理轨道和适应网络条件。

getUserMedia

navigator.mediaDevices.getUserMedia(constraints) 请求摄像头/麦克风访问。约束指定理想分辨率、帧率、设备 ID。优雅处理拒绝。

轨道操作

MediaStreamTrack:enabled=false(静音)、stop()(释放设备)、replaceTrack(无需重协商切换摄像头)。轨道可用 canvas 处理。

编解码器协商

SDP 选择两个对等端都支持的编解码器:视频 VP8/VP9/H.264/AV1,音频 Opus。Simulcast 发送多分辨率;SVC 在一个流中编码多层。

自适应比特率

WebRTC 估计带宽并调整发送比特率。带宽下降时编码器降低分辨率/帧率。用 setParameters() 设最大比特率。

示例代码

              async function startCamera() {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {echoCancellation: true}, video: {width: {ideal: 1280}, height: {ideal: 720}}
  });
  const tracks = stream.getTracks().map(t => `${t.kind}:${t.label} (${t.enabled?'on':'off'})`);
  console.log('Tracks:', tracks);
  return stream;
}
function toggleMute(stream) { const t = stream.getAudioTracks()[0]; if (t) { t.enabled = !t.enabled; console.log(t.enabled?'unmuted':'muted'); } }
async function limitBitrate(sender, max) { const p = sender.getParameters(); if (!p.encodings) p.encodings = [{}]; p.encodings[0].maxBitrate = max; await sender.setParameters(p); }
console.log('Media functions defined');
            

getUserMedia 用约束请求摄像头。toggleMute 翻转 enabled 标志。limitBitrate 修改发送端编码参数。

动手试一试

  • Text Counter

    统计轨道元数据和带宽用于媒体调试。

常见错误

错误写法

结束时不停用轨道,摄像头灯保持亮。

正确做法

通话结束时对每个轨道调用 track.stop()。这释放摄像头。

错误写法

最大比特率设太低。

正确做法

低于约 150kbps 视频不可用。设合理最小值并让 WebRTC 适应。

查阅不认识的术语

新手友好的术语表用大白话解释编程术语——变量、函数、DOM、Promise 等等。

查看术语表

动手做项目

通过引导式项目应用所学,含起始代码与解决方案。

查看项目

解读错误信息

用大白话解释常见错误——什么意思、为什么发生、如何修复。

查看错误