“從ChatGPT發(fā)布至今短短不到一年的時(shí)間，人工智能企業(yè)、大模型廠商以及社會(huì)各界風(fēng)起云涌，在不到一年時(shí)間內(nèi)，我們欣喜地看到，大模型正日益深入地跟每個(gè)人息息相關(guān)。”在10月20日舉辦的2023科大訊飛全球1024開(kāi)發(fā)者大會(huì)上，科大訊飛董事長(zhǎng)劉慶峰感嘆到。
ChatGPT的出現(xiàn)引爆了一場(chǎng)人工智能的狂歡，各方勢(shì)力紛紛下場(chǎng)，開(kāi)啟“百模大戰(zhàn)”。今年5月6日，訊飛星火認(rèn)知大模型V1.0發(fā)布時(shí)，科大訊飛定下了今年的三個(gè)發(fā)展目標(biāo)：6月9日，突破開(kāi)放式問(wèn)答、多輪對(duì)話能力明顯提升、數(shù)學(xué)能力再升級(jí)；8月15日，代碼能力升級(jí)以及多模態(tài)交互能力提升；10月24日，實(shí)現(xiàn)通用模型對(duì)標(biāo)ChatGPT，并在教育、醫(yī)療等領(lǐng)域做到業(yè)界領(lǐng)先。
10月24日，科大訊飛如期交出成績(jī)單。訊飛星火認(rèn)知大模型V3.0正式發(fā)布，在文本生成、語(yǔ)言理解、知識(shí)問(wèn)答、邏輯推理、數(shù)學(xué)能力、代碼能力以及多模態(tài)能力方面都有所提升。
此外，訊飛聯(lián)合行業(yè)龍頭共同發(fā)布12個(gè)行業(yè)大模型，加速產(chǎn)業(yè)落地。其自主創(chuàng)新的大模型算力平臺(tái)已經(jīng)啟動(dòng)。訊飛聯(lián)合昇騰生態(tài)共同發(fā)布“飛星一號(hào)”大模型算力平臺(tái)，并啟動(dòng)對(duì)標(biāo)GPT-4的更大參數(shù)規(guī)模的星火大模型訓(xùn)練。
此次開(kāi)發(fā)者大會(huì)上，劉慶峰定下了一個(gè)新目標(biāo)：2024年上半年，訊飛星火將實(shí)現(xiàn)對(duì)標(biāo)GPT-4。在劉慶峰看來(lái)，這不僅僅是一個(gè)簡(jiǎn)單的技術(shù)對(duì)標(biāo)問(wèn)題，“我們要走出自己的技術(shù)路線，走出自己的產(chǎn)業(yè)方向，形成自己完整的生態(tài)。從這個(gè)角度來(lái)說(shuō)，大模型時(shí)代的序幕才剛剛拉開(kāi)！”劉慶峰說(shuō)到。
而對(duì)于汽車(chē)行業(yè)來(lái)說(shuō)，大模型上車(chē)的步伐也才剛剛拉開(kāi)。
訊飛智駕方案新鮮出爐
人們對(duì)于大模型賦能汽車(chē)的想象空間主要集中在幾個(gè)方面：一是伴隨著大模型在深度理解、邏輯推理、情感捕捉等方面的進(jìn)步，打造類(lèi)人的座艙交互體驗(yàn)。二是依托大模型，通過(guò)多模態(tài)融合等人工智能技術(shù)，進(jìn)一步助力智能駕駛發(fā)展。此外，還有大模型會(huì)帶來(lái)更廣泛的應(yīng)用生態(tài)，以及促進(jìn)“軟件定義汽車(chē)”的發(fā)展等。
10月24日，科大訊飛同步召開(kāi)以“釋放想象力·智能新出行”為主題的智能汽車(chē)新品發(fā)布會(huì)，會(huì)上，科大訊飛發(fā)布了基于訊飛星火V3.0的座艙、音效、智駕三大方向的產(chǎn)品升級(jí)。
大模型的理解、推理、表達(dá)和多模態(tài)知識(shí)學(xué)習(xí)等能力給自動(dòng)駕駛帶來(lái)了更多新的技術(shù)思路，基于訊飛星火認(rèn)知大模型，科大訊飛發(fā)布了兩款行泊一體智駕解決方案——智駕STD和智駕PRO，配備增強(qiáng)型高速NOA(HNOA)、記憶行車(chē)和記憶泊車(chē)等功能。
對(duì)于大模型如何提升自動(dòng)駕駛能力，行業(yè)還在探索初期，在科大訊飛看來(lái)，大模型利用海量數(shù)據(jù)以及駕駛領(lǐng)域知識(shí)的強(qiáng)化，可以用于自動(dòng)駕駛場(chǎng)景數(shù)據(jù)以及駕駛策略的生成，并支持以交互的方式增強(qiáng)對(duì)基礎(chǔ)駕駛模型的理解。
基于此，科大訊飛自研了從深度學(xué)習(xí)訓(xùn)練到模型調(diào)優(yōu)量化、模型推理部署的全棧工具鏈，并打造了智駕應(yīng)用開(kāi)發(fā)框架和中間件，支撐跨平臺(tái)算法快速移植，以及自研4D重建與自動(dòng)標(biāo)注系統(tǒng)提升標(biāo)注的效率和質(zhì)量。
星火大模型將從技術(shù)架構(gòu)層面賦能BEV+transformer智駕感知大模型的研發(fā)，意圖解決智能駕駛當(dāng)前存在的感知不精準(zhǔn)、決策不智能、長(zhǎng)尾不收斂三大技術(shù)難題。
據(jù)訊飛介紹，通過(guò)統(tǒng)一的BEV+Transformer網(wǎng)絡(luò)，可以實(shí)現(xiàn)多模態(tài)、多任務(wù)、長(zhǎng)時(shí)序4D感知等能力。此外，科大訊飛還開(kāi)發(fā)了基于機(jī)器學(xué)習(xí)的超聲波感知算法應(yīng)用，提升感知準(zhǔn)確性和泛化性。
重感知正成為當(dāng)下推動(dòng)高階輔助駕駛快速落地的一大趨勢(shì)，視覺(jué)感覺(jué)的技術(shù)也在加速發(fā)展。
機(jī)器視覺(jué)是科大訊飛2030Top計(jì)劃的核心，在自動(dòng)駕駛對(duì)視覺(jué)依賴(lài)越來(lái)越強(qiáng)的今天，科大訊飛依托在機(jī)器視覺(jué)方面的積累和投入打造智駕方案。
科大訊飛智能汽車(chē)事業(yè)部副總經(jīng)理李衛(wèi)兵認(rèn)為，視覺(jué)感知技術(shù)能夠加速智能駕駛落地，具有輕地圖、重感知、低成本、快落地等特點(diǎn)。
科大訊飛的兩款智駕方案，其中智駕STD算力為15TOPS，憑借6個(gè)攝像頭、5個(gè)毫米波雷達(dá)和12個(gè)超聲波雷達(dá)，能夠?qū)崿F(xiàn)基礎(chǔ)ADAS、自動(dòng)泊車(chē)(APA)、高速NOA、記憶泊車(chē)等在內(nèi)的32項(xiàng)功能點(diǎn)。智駕PRO算力為50TOPS，硬件方案為11個(gè)攝像頭、5個(gè)毫米波雷達(dá)和12個(gè)超聲波雷達(dá)，支持的功能點(diǎn)達(dá)40項(xiàng)。
AI算法研發(fā)能力、完整的數(shù)據(jù)閉環(huán)云平臺(tái)、工程技術(shù)能力等，是科大訊飛行泊一體智駕解決方案的支撐，科大訊飛在此基礎(chǔ)上打造車(chē)云一體的智駕研發(fā)體系。
具體來(lái)看，科大訊飛通過(guò)算法迭代提供基礎(chǔ)設(shè)施支撐和數(shù)據(jù)服務(wù)，打造功能平臺(tái)為安全研發(fā)優(yōu)化神經(jīng)網(wǎng)絡(luò)推理提供數(shù)據(jù)，保證其模型的訓(xùn)練的效率和訓(xùn)練的質(zhì)量。同時(shí)科大訊飛將會(huì)增建百輛規(guī)模的算法研發(fā)測(cè)試數(shù)據(jù)回流的開(kāi)發(fā)平臺(tái)等。
在智駕領(lǐng)域，科大訊飛除提供行泊一體智駕解決方案外，另有四大服務(wù)：采集服務(wù)、數(shù)據(jù)服務(wù)、標(biāo)注服務(wù)、訓(xùn)練服務(wù)。
以數(shù)據(jù)標(biāo)注為例，自動(dòng)駕駛所需標(biāo)注的數(shù)據(jù)類(lèi)型呈現(xiàn)多樣化，數(shù)據(jù)數(shù)量也在呈現(xiàn)指數(shù)級(jí)的提升。然而，目前普遍存在的問(wèn)題是標(biāo)注數(shù)據(jù)的準(zhǔn)確性較低及綜合成本較高。
用人工標(biāo)注的數(shù)據(jù)去訓(xùn)練云端大平臺(tái)，再用訓(xùn)練過(guò)后的云端大平臺(tái)去協(xié)助進(jìn)行自動(dòng)標(biāo)注，結(jié)合少量的質(zhì)檢和人工調(diào)整，能生成更多的標(biāo)注數(shù)據(jù)，形成正向循環(huán)，逐步用來(lái)提升感知大模型的自動(dòng)標(biāo)注的程度和效果，并進(jìn)一步的降低成本?？拼笥嶏w自研4D重建與自動(dòng)標(biāo)注系統(tǒng)，以提升標(biāo)注效率和質(zhì)量。
“未來(lái)我們結(jié)合大模型的精準(zhǔn)的識(shí)別能力，數(shù)據(jù)挖掘能力和強(qiáng)大的生成能力，進(jìn)一步豐富我們的仿真場(chǎng)景，構(gòu)建更接近現(xiàn)實(shí)的仿真環(huán)境，以大幅提升我們算法的迭代效率，支撐整個(gè)智駕系統(tǒng)的快速高效的進(jìn)化。”李衛(wèi)兵說(shuō)到。
李衛(wèi)兵指出，智能汽車(chē)這個(gè)新物質(zhì)的本質(zhì)需求在不斷的進(jìn)化。要能夠做到全生命周期的持續(xù)迭代OTA，需要Tier 1方案提供商有強(qiáng)大的技術(shù)實(shí)力，堅(jiān)定的長(zhǎng)期戰(zhàn)略。在李衛(wèi)兵看來(lái)這也不是一般的小公司能夠做得到。
以數(shù)據(jù)驅(qū)動(dòng)為開(kāi)發(fā)模式的自動(dòng)駕駛發(fā)展階段，大模型賦能自動(dòng)駕駛在車(chē)端、云端實(shí)現(xiàn)端到端的平臺(tái)管理，在數(shù)據(jù)采集標(biāo)注、仿真、算法優(yōu)化等各個(gè)層面賦能自動(dòng)駕駛發(fā)展，科大訊飛這類(lèi)的大模型AI廠商，或?qū)⒂瓉?lái)時(shí)代機(jī)遇。
大模型與智能座艙，碰撞出更多火花
大模型在智能座艙領(lǐng)域的應(yīng)用已有一些產(chǎn)品出現(xiàn)，科大訊飛將訊飛星火V3.0與智能座艙進(jìn)一部結(jié)合，面向多樣化的汽車(chē)使用場(chǎng)景，推出星火座艙OS、星火汽車(chē)APP和星火座艙域控三大產(chǎn)品，支持實(shí)時(shí)檢索，可以實(shí)現(xiàn)插件化調(diào)度，并集成了多模態(tài)生成的能力，目的是為合作伙伴提供自主可控、組件化、更開(kāi)放的座艙解決方案。
大模型上車(chē)的一個(gè)典型應(yīng)用是助力實(shí)現(xiàn)對(duì)話式交互，為車(chē)輛的駕駛出行、導(dǎo)航、娛樂(lè)等環(huán)節(jié)提供強(qiáng)大的支持，使駕駛員和車(chē)輛之間的交流更為自然流暢。這種新型的交互方式正在改變著人們對(duì)于汽車(chē)智能座艙的認(rèn)知。
科大訊飛介紹到，在過(guò)去，人們常常將車(chē)機(jī)屏幕視為車(chē)內(nèi)的一個(gè)平板電腦，然而，隨著對(duì)話式交互的出現(xiàn)，人們開(kāi)始意識(shí)到汽車(chē)智能座艙可以提供更多的可能性。
據(jù)悉，星火座艙OS包括星火汽車(chē)助理和星火場(chǎng)景應(yīng)用兩大部分，語(yǔ)音合成MOS>4.6，大模型業(yè)務(wù)貫穿支持十輪以上的上下文語(yǔ)義繼承，新增實(shí)時(shí)檢索能力。借力大模型賦能，星火座艙OS打造了多個(gè)沉浸式的使用場(chǎng)景，并支持自定義，一句話生成復(fù)雜場(chǎng)景，觸達(dá)200+車(chē)控動(dòng)作。
至于星火汽車(chē)APP則是圍繞用車(chē)場(chǎng)景打造的多樣化大模型車(chē)端應(yīng)用，涵蓋用車(chē)顧問(wèn)、兒童故事、口語(yǔ)陪練、心靈SPA、旅行伙伴等等。
座艙體驗(yàn)的很大組成部分在于其內(nèi)容、應(yīng)用生態(tài)，科大訊飛除了基于其自研的兒童教育、K12教育、音娛資源、聽(tīng)見(jiàn)會(huì)議以及訊飛翻譯五大自建生態(tài)資源外，訊飛星火大模型賦能的智能座艙已經(jīng)與支付寶、咪咕文娛、騰訊音樂(lè)、喜馬拉雅、高德、火山引擎、雷石、能鏈、喜泊客等九家企業(yè)開(kāi)展了深度生態(tài)合作，以滿足車(chē)主多元化需求。此外，科大訊飛智能座艙還與百余家企業(yè)生態(tài)積極合作，期望以豐富全面的軟件生態(tài)賦能智能座艙。
星火座艙域控是科大訊飛打造的智能化AI底座，面向行業(yè)輸出兼容核心AI算法的“核心板”，基于全棧的座艙AI算法和結(jié)合芯片的異構(gòu)算法優(yōu)勢(shì)實(shí)現(xiàn)芯算融合，SOC算力消耗降低10%。
科大訊飛智能汽車(chē)事業(yè)部副總裁和衛(wèi)民表示，是否具備AI算力或NPU加速能力是座艙域控開(kāi)發(fā)的核心競(jìng)爭(zhēng)力。“我們的目標(biāo)是基于星火座艙域控方案，可以提供給Tier 1或車(chē)企一個(gè)平臺(tái)，讓其可以開(kāi)發(fā)自己的差異化應(yīng)用，讓大家以最小的資源，最快的時(shí)間，更好的做產(chǎn)品的差異化。”和衛(wèi)民說(shuō)到。
車(chē)載音效，還有更多玩法
作為駕駛場(chǎng)景下最安全和高效的交互方式，聽(tīng)覺(jué)感官在車(chē)內(nèi)備受關(guān)注，用戶(hù)對(duì)汽車(chē)場(chǎng)景下的聽(tīng)感品質(zhì)要求逐漸提高，對(duì)高級(jí)別車(chē)載音響系統(tǒng)的需求也在持續(xù)增長(zhǎng)，
特別是隨著自動(dòng)駕駛技術(shù)的發(fā)展，人們?cè)谲?chē)?yán)锩娴木Ρ会尫懦鰜?lái)，有更多的機(jī)會(huì)可以去學(xué)習(xí)、工作、娛樂(lè)和休息?，F(xiàn)在智能座艙的發(fā)展，有很多應(yīng)用場(chǎng)景與音效息息相關(guān)，諸如K歌、會(huì)議、看視頻等，要想打造沉浸式的體驗(yàn)，車(chē)載音效的設(shè)計(jì)也必須與時(shí)俱進(jìn)，從單一維度向多維度發(fā)展，從單一場(chǎng)景向多場(chǎng)景延伸。
這為汽車(chē)音效品牌實(shí)現(xiàn)智能化提供了新的機(jī)遇。當(dāng)下無(wú)論是新老品牌都在積極推動(dòng)著智能化產(chǎn)業(yè)升級(jí)。
科大訊飛在智能音效領(lǐng)域算是老玩家了，其認(rèn)為車(chē)載音頻系統(tǒng)的發(fā)展可分為三個(gè)階段：第一個(gè)階段，1930-1984年，是基礎(chǔ)音效階段，包含收音機(jī)、磁帶機(jī)等產(chǎn)品；第二個(gè)階段，1994-2016年，環(huán)繞音效體驗(yàn)階段，涵蓋模擬功放、數(shù)字功放等產(chǎn)品；第三個(gè)階段，2021年往后，車(chē)載音頻系統(tǒng)開(kāi)始進(jìn)入多維表達(dá)與全場(chǎng)景覆蓋的階段，標(biāo)志性產(chǎn)品便是智能音效管理系統(tǒng)。
科大訊飛給汽車(chē)智能音效也做了一個(gè)分級(jí)，與自動(dòng)駕駛類(lèi)似，從L1到L5，對(duì)應(yīng)著從基礎(chǔ)音效、基礎(chǔ)功能到身臨其境的極致體驗(yàn)。
兩年前，科大訊飛在廣州發(fā)布了提供16個(gè)以上通道、20個(gè)以上揚(yáng)聲器的智能車(chē)載音頻系統(tǒng)，開(kāi)始進(jìn)入L3階段。此次，科大訊飛有發(fā)布了支持24個(gè)通道、30個(gè)以上揚(yáng)聲器，具有更強(qiáng)大的AI技術(shù)加持的新一代音頻管理系統(tǒng)。
為了適配不同級(jí)別的車(chē)型，科大訊飛推出了靈活的軟硬一體平臺(tái)，分別是iFlySound STD平臺(tái)、iFlySound PRO平臺(tái)、iFlySound PLUS平臺(tái)。其iFlySound Plus 24ch功放硬件平臺(tái)，將基于應(yīng)用場(chǎng)景的交互、聽(tīng)感、內(nèi)容、顯示與車(chē)控深度融合。
據(jù)介紹，在硬件層面，iFlySound Plus24ch功放硬件平臺(tái)使用高性能浮點(diǎn)DPS，擁有最高2GHZ*2的高速音頻處理加速器和128通道數(shù)字音頻處理能力，可以獲得24bit 96kHz的HD Audio支持，并且兼容未來(lái)E-E架構(gòu)。同時(shí)，科大訊飛在保證性能的前提下，降低了硬件的尺寸和重量，實(shí)現(xiàn)“小型化輕量化”。
在軟件算法層面，基于科大訊飛自研技術(shù)，當(dāng)前已具備3D環(huán)繞、聲場(chǎng)分區(qū)、車(chē)內(nèi)交流償、車(chē)載K歌和大模型音效等多個(gè)音效算法。以此為基礎(chǔ)，科大訊飛推出了基于持續(xù)豐富的聲音庫(kù)、聲浪庫(kù)、音效庫(kù)、功能庫(kù)的訂閱模式。
論大模型如何提升音效體驗(yàn)，科大訊飛做出一些嘗試。在調(diào)音層面，科大訊飛基于大模型聲學(xué)理論體系實(shí)現(xiàn)人機(jī)耦合，端云協(xié)同AI調(diào)音，基于iFlyDSP GUI工具，無(wú)需代碼更改，可以快速完成定制需求，價(jià)值全自研MCU基礎(chǔ)軟件架構(gòu)，可使跨平臺(tái)代碼復(fù)用度超70%，基于此適配不同定位和級(jí)別的車(chē)型。
“未來(lái)，我們可以通過(guò)車(chē)內(nèi)設(shè)備來(lái)采集整車(chē)的環(huán)境，上傳到云端，在云端的話我們會(huì)有深度學(xué)習(xí)的大模型，能夠?qū)?chē)載環(huán)境進(jìn)行深入分析，并且結(jié)合車(chē)型本身的音效綜合定位來(lái)進(jìn)行自動(dòng)化調(diào)音，可以完成調(diào)音師70%以上的技術(shù)性工作，確保在降低成本、提高效率情況下，滿足調(diào)音流程的標(biāo)準(zhǔn)化。”科大訊飛蘇研院常務(wù)副院長(zhǎng)、科大訊飛汽車(chē)事業(yè)部副總經(jīng)理支洪平說(shuō)到。
據(jù)悉，當(dāng)前，科大訊飛車(chē)載音效產(chǎn)品已獲得國(guó)內(nèi)13家主流車(chē)企平臺(tái)化項(xiàng)目定點(diǎn)，合作車(chē)型超過(guò)30款。
結(jié)語(yǔ)
在智能汽車(chē)領(lǐng)域，“大模型上車(chē)”已經(jīng)成為一種趨勢(shì)，它將為智能座艙、自動(dòng)駕駛帶來(lái)更多的智能化、個(gè)性化、高效化的特點(diǎn)，提升用戶(hù)的使用體驗(yàn)。
隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷擴(kuò)展，“大模型上車(chē)”將會(huì)為智能汽車(chē)產(chǎn)業(yè)的發(fā)展和創(chuàng)新帶來(lái)更加廣闊的空間和機(jī)遇。
更深層次的是，大模型將不僅聚焦具體的車(chē)端應(yīng)用體驗(yàn)，而是賦能整個(gè)汽車(chē)產(chǎn)業(yè)鏈條的發(fā)展，無(wú)論是生產(chǎn)、研發(fā)、營(yíng)銷(xiāo)、售后等環(huán)節(jié)，都有所助力，現(xiàn)在才只是剛剛開(kāi)始。
QQ: 751594915網(wǎng)站客服
浙公網(wǎng)安備 33010602009452號(hào)
昵稱(chēng) 驗(yàn)證碼 請(qǐng)輸入正確驗(yàn)證碼
所有評(píng)論僅代表網(wǎng)友意見(jiàn)，與本站立場(chǎng)無(wú)關(guān)