知枢 · 端到端自研语音与视频对话系统

让每一通来电,
完成一笔生意

从接听、听懂,到下单、办结——ASR · 语义理解 · 语音合成 · 数字人视频全部在我们自己的机器上跑,全链路 16kHz,数据不出内网。中文语音客服、英文语音客服、视频通话三条链路均已上线运行。

~32msVAD 语音起点判定
0.3–0.7sASR 单段识别
~0.7sTTS 首段出声
16kHz全链路采样
来电解码 · 客户 138****8000 AI 已接听
9020中文语音客服 · 已上线
9600英文语音客服 · 已上线
视频通话SIP WebRTC · 已上线
35B本地大模型 · 私有化
4×3090自有算力 · 数据不出内网
What we have · 我们有什么

六件事,五件已经在线跑着

不列愿景清单,只列我们已经建成、能当场验证的东西。每张卡右上角是它此刻的真实阶段。

CHANNEL 已上线

自研通话链路

从 FreeSWITCH 板卡模块、通话状态机、调度服务到 VAD 服务,链路是自己写的;SIP 软电话前端也是自己改的。

  • 中文语音客服 9020 · 英文语音客服 9600
  • 全链路 16kHz,端到端打通
BUSINESS 已上线

语音下单与业务办理

不是只应答的机器人——电话里真把一笔业务办完:问品、报价、核对、下单、给回执。

  • 多轮对话 + 业务工具调用
  • 电话号码与订单号有确定性锚点校验
VIDEO 已上线

视频对话 · 数字人

浏览器里就是视频通话:客户看得见形象、听得到声音,口型跟着语音走,音频与画面做了同步配平。

  • SIP 软电话 WebRTC 视频通话
  • 音画同步配平 0.7s,目检基本同步
CUSTOM 已上线

客户化定制

话术、音色语速、业务流程、知识范围、形象素材——按客户的业务改,配置在服务端下发。

  • 对话提示词与话术模板可替换
  • 业务工具(下单/查单/查询)按需接入
PRIVATE 已上线

本地私有化部署

语音识别、语音合成、大模型、数字人渲染全部在自有 4×RTX3090 上推理,通话数据不出内网。

  • 35B 大模型本地 vLLM 部署
  • 可按客户要求部署到指定机房
KNOWLEDGE 在做

400 知识检索通道

400 落地通道已经建成,来电直达中文下单店,已实拨验证;知识库检索 API 也已经上线。把两者接起来这一段,正在进行。

  • 400 落地通道已建成 · 来电直达中文下单店(演示),已实拨验证
  • 知识库检索 API(KB V2)已上线,与 400 的对接在做
What we deliver · 能做什么

五种交付形态,按你的场景挑

可以只买一条语音线,也可以整套私有化落地;可以拿现成的业务流程,也可以按你的系统定制对接。

01

语音客服机器人

接听、听懂、多轮追问、办结。替代重复性来电应答,7×24 在线,来电即接。

02

语音下单 / 业务办理

电话里走完一笔完整业务并给出回执:点单、预约、查询、登记。

03

视频对话数字人

带形象的视频通话:客户看得见人,口型跟着语音走。可用于展厅、柜台、远程服务。

04

系统对接与定制开发

接你们的业务系统、知识库、话术与工单流程,按接口对接,按场景调参。

05

私有化部署与运维

部署到你指定的机房或内网,模型与数据都在你这边,我们负责上线与后续维护。

自研组件
FreeSWITCH 板卡模块 通话状态机 AI 调度服务 VAD 服务 对话引擎深度定制 SIP 软电话前端
采用的模型
语音识别 · FireRedASR2(int8)/ Whisper large-v3 语音合成 · OmniVoice / VibeVoice 大模型 · Qwen3.6-35B(本地 vLLM) 数字人 · SoulX-FlashHead
接入方式
SIP 中继 / 400 号码落地 WebRTC 浏览器软电话 HTTP API(语音 / 文本) 知识库检索 API

上面「自研组件」是我们自己写的部分;「采用的模型」是开源模型,我们不把它算作自研。

Where we are · 到哪一步了

哪件做完了,哪件还在做,写清楚

我们把每项能力的当前阶段直接摊开——省得你打电话来问,也省得你按已完成的预期去验收还没完成的东西。

能力此刻阶段说明
中文语音客服已上线拨 9020 即可接通,含下单流程
英文语音客服已上线拨 9600 即可接通
视频通话(数字人画面)已上线浏览器 SIP 软电话,视频链路已通
音频与画面同步已上线0.7s 配平值,用户目检"基本同步"
本地大模型私有化已上线35B 本地部署,数据不出内网
知识库检索 API已上线KB V2 流式检索接口
400 落地通道已上线400 号码直达中文下单店(演示),已实拨验证
400 与知识库对接在做通道与检索各就位;知识库查询通道仍为预留占位,对接联调进行中
数字人商业形象待素材渲染链路已通;正式形象待客户提供素材后定制
视频通话录制在做语音侧录制已可用,视频侧录制在开发

这张表就是我们对"目前到哪一步"的回答。并发路数我们已经真机压测过了——见下方「并发压测」一节,25 路同时在线全部达标、掉话 0。 但「可靠性百分比」仍然没有:那个数要靠长期运行统计,我们现在报不出来,所以宁可不写。 实际承载还取决于你部署的硬件规模,我们可以在你的验收环境里现场跑给你看。

Call quality · 通话质量

我们自己环境里实测到的数

每一项都标了口径——它量的是什么、在什么条件下量的。没有口径的数字,我们不放上来。

指标实测口径
VAD 语音起点延迟~32ms逐帧 32ms 判定,Silero-VAD
ASR 单段识别延迟0.3 – 0.7sFireRedASR2(int8 ONNX),真实通话逐段计时(08-11 日志)
TTS 首段出声~0.7s本地合成,从收到文本到吐出第一段音频
音画同步0.7s 配平数字人视频腿的音频延迟配平值,目检基本同步
全链路采样率16kHz仅 TTS 内部为 24kHz,对外统一 16kHz
生产算力4× RTX 3090 24GB语音、大模型、数字人渲染同机部署

说明两句实在话:① 上表量的是单段链路——每一段自己花多久,不等于「客户说完到听见回答」的整轮延迟; 整轮的数字在下方「并发压测」一节,那里把口径和并发数一并标了,两张表请不要混着看; ② 算力被争抢时这些数会明显变差——我们在一通真实通话里,实测到语音识别从平时的 0.3s 被拖到 7.0s。 最好的判断方式是直接拨一通听听。

Load test · 并发压测

能同时接多少路,我们真拨出来给你看

并发数字脱离口径就没有意义,招标现场也一定会被追问口径。所以我们把硬件、测法和结果一并摆出来——你可以直接拿这套口径去横向比较任何一家。

测试硬件
4× RTX 3090 24GB 2× Xeon Gold 6330(56 核 / 112 线程) 内存 503 GiB 全链路 16kHz 采样 本地大模型私有化,数据不出内网
怎么测的
从外部以真实 SIP 呼叫拨入 400 落地号 接通中文店 AI 客服 全程灌真实语音语料、走完整对话轮次 两种模型分别测:逐路进线 / 同一瞬间齐发
测量口径
量的是「客户说完 → AI 开口」一整轮 不含欢迎语(不经过大模型) 不含客户侧网络段 并发数由交换机实际通道数实测,每 4 秒采样 超时轮次计入超时,不进延迟分布
场景同时在线首轮响应(中位)最差达标情况
逐路进线25 路658 ms1.46 s全部达标(0/40 超标)
逐路进线28 路757 ms2.36 s个别超标(3/30)
逐路进线30 路757 ms6.46 s明显劣化(11/32)
同一瞬间齐发16 路6.35 s14.1 s明显劣化(97/102)

数据来自 2026-09-20 夜的真机拨测;25 路那一档经两次独立运行复现,全程掉话 0。

Capacity · 容量边界

我们对外只承诺 25 路,以及三条要一起看的规律

  • 已验证的不退化点:25 路同时在线。退化起点经二分实测收窄到 26~28 路之间——我们只写 25,不写 26 以上的任何数字。
  • 吃紧的是「多少路在同一瞬间说话」,不是「多少路在线」。25 路逐路进线干净利落,而 16 路同一瞬间一起开口就会排队(见上表最后一行):同样在线数,开口越集中越吃力。
  • 进线要留间隔。约 0.5 通/秒时稳定;提速到 0.8 通/秒,同样并发数下延迟明显变差。话务高峰建议按这个节奏配置。

以上是我们自己环境里的实测边界。你部署的硬件规模不同,这个数会跟着变——我们可以在你的验收环境里现场跑一遍给你看。

Noise · 抗干扰

电话那头很吵——这块是我们投入最大的

真实来电不在录音棚里:客户的电视开着、旁边有人说话、店里放着背景音乐、信号还时断时续。我们没有把"抗干扰"做成一个开关,而是拆成四层,逐层解决能解决的问题,并且如实标出哪一层还没做到。

01 · 不编内容
已上线

静音就是静音,不会凭空生成字

对真实静音片段实测 0% 误识别;同一批 16 段真静音,对照方案 16 段全部编出字。

这是"抗噪"里最硬、也最容易被现场验证的一条:您可以对着话筒不说话,看系统会不会凭空生成内容。

02 · 起反应的门槛
已上线

只对有效语音起反应

逐帧语音活动检测,语音起始判定约 32 ms。环境底噪、空调声、键盘声这类稳态声音不会触发识别。

门槛低到不丢字,又不至于被底噪推着走——这个区间是逐帧调出来的,不是拍一个固定值。

03 · 什么时候算说完
已上线

静默自适应闭合

不依赖一个固定的静音时长,而是按当前环境噪声自适应判断"这句话说完了"。

噪声大的场合不会过早把客户截断,安静场合也不会长时间干等——两种失败模式我们都实测到过,才有了这一层。

04 · 播报完整性
已上线

AI 播报期间不被环境音打断

AI 正在说话时,外界声音不会打断当前播报去另起一轮。

代价是"抢话"的响应会慢一点——我们选择了让 AI 把话说完,保证报价、电话核对这类关键信息不被环境音切碎。

这四层是怎么拆的
处理层我们做的此刻验证到什么程度
收段层爆发段合并 + 180 ms 预卷;开段保持 10 帧、收尾静音 9 帧已上线生产在跑,未单独量
收段层噪声看门狗:段开着 1.6 s 仍无真字,不弃段已上线生产在跑,未单独量
收段层静默自适应闭合(不靠固定静音时长)已上线真机通话验证
判定层真静音不编字已上线实测 0/16 片段编字
判定层低电平碎段丢弃(按能量上限)已上线生产在跑,未单独量
判定层空字段级联抑制已上线生产在跑,未单独量
打断层打断字数门:不因"嗯 / 对"这类短回应误切 AI已上线生产在跑,未单独量
打断层AI 忙时不开新轮已上线真机通话 + 完整下单验证
分离前级判定为噪声时,先过一道人声分离再送识别在做通路已打通;降噪效果尚未验证,未计入已有能力
环境电平闸按环境参考音的电平决定是否让位在做尚未部署到生产

三句实话:① 表里标「在做」的两项目前还没有部署到生产,请不要按已完成的预期来验收; ② 我们不做「电视声 / 旁人说话与客户分离」,也不做「目标说话人提取 / 人声分离」——这两项我们没有可交付的能力,页面上也不会写; ③ 当干扰源和客户的声音混在同一路音频里时,我们靠的是"电平 + 时长 + 完整性判定"这一套工程手段,而不是"听出谁在说话"。 把边界写清楚,你才好判断这套东西能不能扛住你的实际现场——也欢迎你拿你自己最吵的一段录音来试。

Samples · 真实样本

听一遍,比看十页参数快

下面是一通完整的点单电话:AI 侧是知枢自己合成的声音,客户侧是我们用微软语音合成的配音,两边交替播放,和真实通话的节奏一致。

客户配音
00:00 / 00:00 AI 侧 · 知枢本地合成
客户 · 来电
想点杯喝的
AI
您好,这里是知枢智能语音点单,请问您想喝点什么?
客户 · 来电
就要畅饮水果桶吧
AI
好的,今天有畅饮水果桶和满桶金钵,您想要哪一款?
客户 · 来电
就来畅饮水果桶,大份的
AI
畅饮水果桶二十九元,大份量适合两到三人,确认来一份吗?
客户 · 来电
好,来一份
AI
好的,请问您的联系电话是?方便下单后通知您。
客户 · 来电
电话 138 0013 8000
AI
好的,已为您下单,订单号 202604290023456,预计三十分钟后送达,感谢您的惠顾!
客户侧配音由微软语音合成生成,AI 侧音频由知枢本地语音合成生成(仅用于网页试听)
样品号码 138 0013 8000 为演示用号,非真实用户号码
Customization · 个性化定制

同一个引擎,换成你的声音和你的话术

定制的不是皮肤,是四件实际影响通话效果的东西。

VOICE

音色与语速

按行业和客户偏好选音色、调语速,上面播放器里的客户配音就是四种不同音色的演示。

SCRIPT

话术与对话策略

开场白、追问方式、确认口径、结束语都按业务写进配置,不是套模板。

PROCESS

业务流程

下单、查单、预约、登记——按你的业务步骤配,接你已有的系统。

AVATAR

形象素材

视频场景下,形象按客户提供的素材渲染;也可以用我们准备好的测试形象先跑通流程。

Work with us · 欢迎垂询合作

两类伙伴,两种聊法

不管你是想上语音客服的终端用户,还是手里有资源、有场景的同行,都可以直接找我们。

终端用户

语音技术落地咨询

如果你正在考虑用语音客服替代重复来电、或者想在业务里加一条语音/视频入口,带上你的场景来聊:

  • 你的业务能不能用、用在哪一段
  • 需要接哪些系统、大概多久能上
  • 私有化部署的硬件与机房要求
  • 我们先拨一通给你听,再谈方案
同行 / 渠道

资源与需求对接

如果你手里有客户场景、有集成能力、或者有语音相关的资源缺技术落地,我们可以这样合作:

  • 项目合作:你出场景,我们出技术与交付
  • 产品集成:把语音/视频能力接进你的系统
  • 私有化交付:按你的客户要求部署到指定环境
  • 技术对接:接口、协议、联调由我们配合
Try it now · 在线拨测

现在就能拨通,亲自听完一单

无需安装、无需申请——浏览器打开测试软电话,用预置测试坐席拨入 9020,与知枢语音客服真实对话,从"想点喝的"到"已下单",全程听完整。

STEP 1
打开测试软电话

浏览器访问 voice.pian-ai.com,手机 / 电脑均可,WebRTC 免安装。

STEP 2
登录预置测试坐席

已预填分机 1001,密码 pVisb4XtuFwdNJsW0RBrlu2W,一键登录即注册上线。

STEP 3
拨打 9020 接通客服

说一句"我想点个喝的",听 AI 问品、报价、核对电话、确认下单的完整闭环。

立即拨测 → voice.pian-ai.com
演示环境 · 每通最长 10 分钟自动结束 · 不会产生真实扣款
Onboarding · 400 接入

保留你现有的 400 号码,接上 AI 客服

不用换号、不用改运营商。你现有的 400 号码继续由原运营方提供,只需在后台做一个中继转接,把来电转到我们的落地通道。

STEP 1

确认落地方式

保留你现有 400 号码与运营方,将 400 来电以 SIP 中继方式转接至我方落地通道。

STEP 2

双方交换资料

我方提供落地接入地址、支持的语音编码、落地号位;贵方提供真实主叫号透传与中继出局源 IP。

STEP 3

我方配置上线

配置中继与路由映射并生效。不影响任何在途通话——实测零停机。

STEP 4

三方联调验收

验收不看"接通了没有",而是三项同时对齐:落地路由正确、到 AI 引擎的长连接已建立、AI 侧一整通完整跑完且时长正常。

已接通的能力
400 号码直达中文下单店(演示),已实拨验证 英文店同通道可接(同一套系统、不同语种) 知识库查询号位已预留,检索接入中
响应时效
资料齐备后,配置与联调可在一个工作日内完成 呼叫方向为纯被叫落地,我方不注册、不主动外呼

两个我们实拨踩过的坑,提前对齐可省一轮联调:① 语音编码要按号段确认——只提 PCMU 会被回 488,需按我方支持的编码协商; ② 主叫号必须透传——不透传则每一通都是"新客户、无档案",欢迎语与历史记录都会退化。 具体接入参数(落地地址、端口、可用号位等)我们会在对接时定向提供,不放在公开页面上。

Contact · 联系我们

把需求说给我们,先把效果听一遍

可以先在线拨测听完整闭环;也欢迎带着业务场景与技术要求来,我们逐条对照应答,并给到部署方案与交付节奏。

☎
座机
029-88734421
📱
手机
13319282382
✉️
邮箱
22418225@qq.com
西安偏爱信息技术有限公司 · 知枢 KnowAxis · 在线拨测入口:voice.pian-ai.com(拨打 9020)
Get a demo

一通电话,见到下单闭环

想看自己的业务场景怎么落地?预约一次演示:拨入电话,现场听完 AI 从接听到订单号的完整对话。也欢迎带着贵司的技术要求来,我们逐条对照应答。

打电话给我们 13319282382
voice.pian-ai.com · 需求对照应答 · 部署方案 · 交付与验收