月初,Daniel 团队的新一代 Kaldi 语音项目获得了小米2023百万美金技术大奖评选的二等奖。近日,两位《超脑少年团》成员“小孩哥”高培淇和宫一森来到小米祝贺偶像Daniel 获奖。
01
继往开来:
站在 Kaldi 的肩膀上
Kaldi 是一款开源的语音识别工具包,主要用于语音识别、说话人识别、自然语言处理等领域。
在智能语音方面,大到微软、苹果、腾讯这样的巨头,小到各种初创企业,几乎都曾或在使用 Kaldi 的技术进行研发及开发产品。而小米首席语音科学家Daniel Povey正是 Kaldi 的创始人。
Kaldi之父、小米集团首席语音科学家 Daniel Povey
说到为什么还要研发新一代 Kaldi,也是随着深度学习技术的发展以及硬件算力的提升,智能语音领域也进入到一个新的发展阶段,Kaldi 也需要不断更新以适应新的应用场景和技术趋势。
Daniel 博士在2019年注意到了 Transformer 架构的潜力,并判断构建通用基础模型的时机已经到来,加入小米后,他就开始实施这一蓝图,研发新一代 Kaldi 语音基础引擎。
02
深耕底层:
新一代 Kaldi 的技术突破
新一代 Kaldi是一个开源的智能语音技术工具集,包含核心算法库k2、通用语音数据处理工具包Lhotse、解决方案集合 Icefall 以及服务端引擎 Sherpa 四个子项目,开发者可以基于这些工具集轻松定制自己的智能语音应用。
如果把一个AI应用比喻为一座冰山,那用户所能感知到的应用界面就是暴露在“海平面”之上的冰峰,强有力地托起这些应用的核心和庞大的技术基底,则是被深埋在“海平面”之下。
深藏在“海平面”之下的新一代 Kaldi 通用技术基底有哪些?它们又能够带来怎样的作用?下面就为大家介绍。
▍全新声学编码器:zipformer
Zipformer是一个应用 Attention 机制的通用声学编码器,不仅可以用在语音领域,初步实验验证其在文本和图像任务上同样适用。
Zipformer 具有效果更好、计算更快、更省内存等优点,这使得 Zipformer 模型非常适合于低资源设备端部署。
▍首创神经网络优化器: ScaledAdam
全新升级的神经网络优化器——ScaledAdam是新一代 Kaldi 团队在业界最知名的优化器 Adam 的基础上,引入了可学习的缩放因子,实现了网络训练时间大幅缩短。而且ScaledAdam与Adam一样,是一个通用的网络训练优化器。
▍业界最快Transducer 损失函数:Pruned RNN-T
新一代 Kaldi 团队还研发了业界最快的 Transducer 损失函数—— Pruned RNN-T。
实验数据显示,相比 PyTorch 中实现的 RNN-T 损失函数,Pruned RNN-T 损失函数在仅使用 1/5 显存的基础上,取得了约 10 倍的速度提升。
▍有限状态转换器:可微分 FST
可微分FST(Finite State Transducer)是一个有限状态转换器,可以构建复杂的语言处理模型。
新一代 Kaldi 团队创造性的实现了运行于 GPU 的可微分有限状态机,使开发者只需要在外部构建好图的拓扑结构,将其他的一切计算和训练的部分交给 k2 引擎, 从而降低建模的工作量,提高灵活性。此外,新一代 Kaldi 团队还实现了基于 GPU 的状态机解码方法,实现了语音识别解码的全链路 GPU 加速。
新一代 Kaldi 还有众多杰出的成果,如:近乎零成本的知识蒸馏技术,让小模型也能学习到大模型的本领;基于时延惩罚的低时延端到端模型的训练方法;PromptASR 语音识别系统;高效数据集构建方案 textsearch ; 全平台语音任务服务引擎 sherpa 等等。集众多优质技术于一身的新一代 Kaldi ,也将会在未来给大家带来更多实用的惊喜,敬请期待吧!
03
开源共享:
我为人人,人人为我
新一代 Kaldi 作为一个基础引擎,不仅推动了公司的技术发展,更对业界产生了深刻的影响。
首先,它可以在语音交互层面有力赋能小米「人车家全生态」新战略。以座舱为例,使用新一代 Kaldi 引擎后,座舱的语音识别的性能进一步提升, jira 解决率提升45%,服务器成本也降低一半。
其次,新一代 Kaldi 作为一个基础引擎,不仅可以服务于语音任务,还可以广泛地适用于各种 AI 任务。目前,团队首创的 ScaledAdam 优化器已经用在了小米自研大模型中。
最后,在智能家居领域中,通过使用新一代 Kaldi 技术,人们可以通过语音指令控制家电设备、查询天气、播放音乐等;在教育行业中,可以对学生进行口语测试和纠正,提高学生的口语表达和听力理解能力;在医疗行业中,可以实现自动化的病历记录和诊断,提高医疗行业的效率。可以说,新一代 Kaldi 的出现正在对各行各业产生积极的影响。
坚持开源是新一代 Kaldi 与前一代一脉相承的底色。“我为人人,人人为我”,这是 Daniel 坚持 Kaldi 开源的期望,也是小米积极拥抱开源的初心。
“人因梦想而伟大,又因坚持梦想而成长。”Daniel借用雷军的话,寄语和高培淇、宫一森一样怀揣着编程梦想的科技少年。今日的科技少年也一定会成长为未来科研事业中的栋梁。
最后,让我们把目光再次聚焦到获奖的新一代 Kaldi 团队,这是一个创新和经验的结合体,正是因为他们,新⼀代 Kaldi 取得了众多世界领先的成果。期待新一代 Kaldi 在未来,给大家带来更多极致、好用的技术,让开源普惠大众。
推荐
更多超励志!他从餐厅服务生成长为国际枪王
1996年出生的刘付鸿锋,曾是一名餐厅服务生。18岁参军入伍,立志做特战尖兵;22岁在国际竞赛中获个人狙击第一名、综合战斗狙击第三名,荣立一等功;后被保送武警警官学院,如今成了少尉排长。他说,谁也不是天生就能成为什么,就看能不能坚持。(央视军事)来源:人民日报
在大山里架起电力“天路”
↑11月20日拍摄的安徽送变电工程有限公司徽州至金桥220千伏线路工程施工现场(无人机照片)。新华社记者 刘军喜 摄初冬时节,在安徽省黄山市黄山区的大山里,有一群电力工人,他们奋战在青山深处,克服山高、路险等困难,架设起电力“天路”,全力推进徽州至金桥220千伏线路工程建设。该工程建成投运后,将为黄山市北部地区提供更加充裕的电能供应,更好地服务当地经济社会发展。↑11月20日拍摄的安徽送变电工程有
习近平:坚定不移推动构建亚太命运共同体
近日,国家主席习近平在亚太经合组织工商领导人峰会上发表题为《坚守初心 共促发展 开启亚太合作新篇章》书面演讲,强调中国将坚定不移推动构建亚太命运共同体,为亚太稳定繁荣作出更多贡献。习近平指出,世界又一次站到十字路口。世界向何处去?亚太怎么办?我们必须给出答案。今天,党建网整理了习近平总书记的部分相关重要论述,与大家一同学习提高。2022年11月18日,亚太经合组织第二十九次领导人非正式会议在泰国曼
总书记关心的苹果成为乡亲们脱贫致富的“幸福果”
陕西延安山梁沟峁间,一排排苹果树整齐排列。采摘工作已经基本结束,村民们正在忙着给苹果树施肥、清园、打药,为明年的丰收做准备。今年10月26日,习近平总书记在陕西省延安市安塞区高桥镇南沟村考察时,在苹果园同老乡们亲切交流,令当地干部群众倍受鼓舞。10月26日至28日,中共中央总书记、国家主席、中央军委主席习近平在陕西省延安市、河南省安阳市考察。这是26日下午,习近平在延安市安塞区高桥镇南沟村苹果园同
三江源小城“阿布”上演“穿过寒冬拥抱你”
图为志愿者为丹周卓玛配送透析液。受访者供图(抗击新冠肺炎)三江源小城“阿布”上演“穿过寒冬拥抱你”中新网西宁11月22日电 题:三江源小城“阿布”上演“穿过寒冬拥抱你”中新网记者 李江宁立冬后的三江源已迎来了几场降雪,草原褪去绿色,空气中充满了寒意。生活在青海玉树藏族自治州玉树市的丹周卓玛却在寒冷的冬天收获了一生中最难忘的温暖。“亲爱的小妹妹,每一次透析可能都是我们无法感同身受的绝望体验,但你的身
陆婷玉拍摄《时尚COSMO》摩登造型惊艳 待播剧雪鹰领主引人期待
陆婷玉拍摄了杂志《时尚COSMO》11月刊,并释出写真大片及花絮。图中,陆婷玉多套造型十分抢眼,条纹西装、复古连衣裙,搭配她原生感的黑长直发型慵懒又高级,隔着屏幕都能感受到满满的秋日气息和摩登氛围,让人眼前一亮。镜头下的陆婷玉故事感十足,张弛有度、又甜又酷,氛围感被拿捏恰到好处!一直给人留下温柔甜美印象的陆婷玉,此次杂志一经发出便收获了不少称赞,粉丝和网友不禁感叹:“原来甜妹也可以又御又飒”,无不
刘亦芊最新写真释出 演绎多变风格尽显青春洒脱
近日,新人刘亦芊发布了一组最新写真大片。释出写真中,刘亦芊甜美不减,飒气十足,通过尝试时尚复古、甜酷、梦幻等多种风格尽显青春活力和无限可能性,用超强的镜头表现力塑造多元风格大片展现时尚可塑性。少女的调皮与优雅穿梭在复古滤镜下,带来全新的视觉体验。这套经典的复古学院风LOOK,以简洁优雅的毛呢复古套装和帽饰元素作为装饰。剪裁修身的开衫和半裙衬托修长的身材,搭配学院风的白色衬衫打底,复古又充满少女感,
邱意浓写真曝光 温柔法式风情眼神满满故事感
近日,有媒体曝光演员邱意浓最新写真,照片中,邱意浓身穿方领针织连衣裙,搭配清爽披肩长发,露出迷人肩颈线,简单的造型满满高级感;连衣裙勾勒出身材曲线的同时,尽显法式优雅。在释出图中,邱意浓嫣然浅笑,眼神静谧且深邃,充满了温柔的力量,灯光如暖阳般打在棕色针织毛衣上,仿佛散发着栗子味的焦糖甜香。画面氛围感十足,搭配邱意浓眼神里的故事感,尽显秋日魅力。
宁心《云襄传》之曝新角色 演戏是她最纯粹的享受
9月14日由导演游达志执导的江湖奇谋大剧《云襄传》官方微博正式发布“明珠郡主”的角色海报。海报中,青年演员宁心,出生8月20日出生于四川自贡,头戴黑色帽子,着绿灰色男儿身服饰,面容清绝秀气,将“明珠郡主”一角的纯真可爱气质拿捏得十分精准。宁心化身秀气可爱造型惊艳亮相《云襄传》此次曝光的云襄郡主角色海报,人物造型与画面设计颇费心思。画面中,宁心身穿灰绿男儿服饰、头戴黑色乌纱圆顶大帽,造型细节处处体现
姚晨与金鸡再续前缘 担任创投大会主单元主评审并亮相闭幕式
第35届中国电影金鸡奖颁奖典礼在万众期待中于11月12日在中国厦门成功举办。自1981年创办以来,经过多年的打磨,中国电影金鸡奖已经成为中国大陆电影界权威、专业的电影奖,并于2019年设立金鸡电影创投大会,是电影新人、投资人、制片人交流融汇的主阵地,为中国电影增添了无数新生力量。今年的创投大会评审阵容强大,其中演员、监制姚晨今年作为主单元主评审参与金鸡创投大会,引发网友们的热烈讨论与期待。姚晨和金