WebRTC 媒体处理深入
掌握 getUserMedia、媒体轨道操作、编解码器和带宽自适应。
你将学到
- getUserMedia 约束:分辨率、帧率、设备选择
- MediaTrack 操作:启用、禁用、停止、替换
- 编解码器协商和偏好(Simulcast、SVC)
- 带宽估计和自适应比特率
概念讲解
WebRTC 媒体处理深入
WebRTC 媒体处理涉及捕获音频/视频、处理轨道和适应网络条件。
getUserMedia
navigator.mediaDevices.getUserMedia(constraints) 请求摄像头/麦克风访问。约束指定理想分辨率、帧率、设备 ID。优雅处理拒绝。
轨道操作
MediaStreamTrack:enabled=false(静音)、stop()(释放设备)、replaceTrack(无需重协商切换摄像头)。轨道可用 canvas 处理。
编解码器协商
SDP 选择两个对等端都支持的编解码器:视频 VP8/VP9/H.264/AV1,音频 Opus。Simulcast 发送多分辨率;SVC 在一个流中编码多层。
自适应比特率
WebRTC 估计带宽并调整发送比特率。带宽下降时编码器降低分辨率/帧率。用 setParameters() 设最大比特率。
示例代码
async function startCamera() {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {echoCancellation: true}, video: {width: {ideal: 1280}, height: {ideal: 720}}
});
const tracks = stream.getTracks().map(t => `${t.kind}:${t.label} (${t.enabled?'on':'off'})`);
console.log('Tracks:', tracks);
return stream;
}
function toggleMute(stream) { const t = stream.getAudioTracks()[0]; if (t) { t.enabled = !t.enabled; console.log(t.enabled?'unmuted':'muted'); } }
async function limitBitrate(sender, max) { const p = sender.getParameters(); if (!p.encodings) p.encodings = [{}]; p.encodings[0].maxBitrate = max; await sender.setParameters(p); }
console.log('Media functions defined');
getUserMedia 用约束请求摄像头。toggleMute 翻转 enabled 标志。limitBitrate 修改发送端编码参数。
动手试一试
- Text Counter
统计轨道元数据和带宽用于媒体调试。
常见错误
错误写法
结束时不停用轨道,摄像头灯保持亮。
正确做法
通话结束时对每个轨道调用 track.stop()。这释放摄像头。
错误写法
最大比特率设太低。
正确做法
低于约 150kbps 视频不可用。设合理最小值并让 WebRTC 适应。
查阅不认识的术语
新手友好的术语表用大白话解释编程术语——变量、函数、DOM、Promise 等等。
动手做项目
通过引导式项目应用所学,含起始代码与解决方案。
解读错误信息
用大白话解释常见错误——什么意思、为什么发生、如何修复。