视频会议开完像被掏空?不是你走神,是镜头和网络在合伙折腾你
下午四点零七分,今天第三个视频会议。你端着杯子坐回电脑前,摄像头一亮,肩膀自动端起来。点头。微笑。假装在听。其实脑子里只有一句话:什么时候结束。奇怪的是,明明只是坐着,散会后却像刚搬完两箱书。腰不酸,眼先花。这感觉不是矫情。视频会议这东西,看着是把人搬到屏幕上,背后却塞了一堆小算盘。
视频会议人物画面宏块编码示意图

视频会议网络抖动丢包延迟示意图

视频会议麦克风阵列回声消除原理图
镜头一开,你的脸先被拆成了方块
视频会议软件不可能把每一帧原图直接扔过去。那太大了。它得先压缩。怎么压?把你的脸、身后的书架、窗外的树,切成一小块一小块。不是比喻。真的切。编码器会把画面分成宏块,然后算:这一块跟上一帧比,动了没有?动了多少?如果只是你眨了下眼,它可能只传“眼睛这块变了”。如果整个画面都在晃,比如你抱着笔记本从客厅走到卧室,那对不起,码率飙升。网络一紧张,软件立刻降画质。先降分辨率,再降帧率。于是你的脸开始糊,像被水泡过的报纸。有时候还出现马赛克——不是艺术效果,是数据没跟上。你以为对面看到的是你,其实对面看到的是一堆被算法猜出来的像素。头发边缘、眼镜反光、毛衣纹理,全是重灾区。视频会议的第一层累,来自你的大脑要不断替画面补细节。 模糊的脸缺少微表情,对方到底是在笑,还是在咬牙?你猜。猜多了,当然累。那半秒延迟,够大脑演完一部小剧场
现场聊天,你说完,对方零点几秒就接上。视频会议不一样。声音要先采集,压缩,打包,穿过网络,再解压,播放。路上可能排队,可能绕路,可能丢包。软件为了不让声音断断续续,会加一个抖动缓冲区——先把数据攒一小会儿,再平滑播放。攒多少?看网络。网络越差,攒得越多。于是延迟来了。你讲完一个笑话,对面沉默。你心里咯噔一下:是不是冷场了?其实人家才刚听到。然后你赶紧补一句“就是那个……”,对面又听到你前面那句,乱了。抢话更灾难。两个人同时开口,又同时闭嘴,像在跳一支没有排练过的舞。说实话,视频会议里的社交,有一半是延迟制造的误会。大脑最讨厌的不是慢,而是不可预测。 网络一抖,你的预测模型就崩。崩一次没事,崩一上午,CPU烧了。不是电脑的CPU,是你的。
声音为什么要绕一圈才回到你耳朵里
有没有遇到过这种场面:你戴着耳机开会,对方突然说“你那边有回声”。你明明没开外放。问题可能出在别人的音箱,也可能出在整条链路。声音从A的麦克风进去,传到B的音箱出来,又被B的麦克风收回去,再传回A。A就听见自己刚才说的话,像山谷里的回音。软件里有个东西叫回声消除,简称AEC。它要一边播放对方的声音,一边从你的麦克风信号里把对方的声音减掉。听着简单,做起来要命。因为音箱播放出来的声音,经过房间墙壁、桌子、杯子,早就变形了。算法得实时猜这个变形。猜错一点,回声就漏出来。还有噪声抑制。键盘声、空调声、楼下装修,它都想干掉。但有时候太积极,把你第一个字也当噪声削了。你“喂”了半天,对面只看到你张嘴,没声。于是你更用力“喂喂喂”,像在跟空气吵架。麦克风阵列会做波束成形,尽量对准你,屏蔽旁边。可如果你边走边说,它就得追着你跑。累不累?它累,你也累。