芯耀
405
一、 拋出問題
租車出游或是借用他人車輛時(shí)，我總會(huì)陷入操作困境。車內(nèi)功能五花八門，按鈕位置、功能菜單一概不知。想打開尾箱，手指在車內(nèi)摸索半天也找不到開關(guān)；要加油了，卻怎么也找不到油箱蓋的開啟按鈕，滿心都是無助與迷茫。
獨(dú)自駕車踏上旅程，想提前在目的地周邊精挑好評餐館，預(yù)訂舒適旅店，把行程安排得細(xì)致妥帖。要是途中遇到油箱見底，需要沿途找個(gè)加油站，確保愛車?“能量滿滿”。
行車途中，難免意外不期而至。前一刻還在有條不紊地規(guī)劃行程，下一秒意外突然降臨，瞬間大腦一片空白，整個(gè)人慌了神，手腳都不知道該怎么放，完全不知道如何應(yīng)對，只覺得孤立無援。
目前的確有不同途徑解決以上問題，但能否有更簡潔方式呢？今年DeepSeek的不期而遇，使我有更多想法
二、 想法
一個(gè)智能語言人機(jī)界面。通過喚醒語，激活語音輸入功能，系統(tǒng)幫你實(shí)現(xiàn)各種功能。
1、 車輛功能語言操作
（1）如開關(guān)前大燈、遠(yuǎn)光、雨刷。開個(gè)空調(diào)，設(shè)置溫度，除除前擋玻璃的霧氣。播放音樂，開開油箱蓋，檢查車門是否關(guān)好等等，出來一些安全操作外，這些都可以手不離開方向盤，通過語言輸入實(shí)現(xiàn)。
（2）此前有新聞司機(jī)突發(fā)疾病或車子無法制動(dòng)，是否能通過語音繞過機(jī)械踏板，這都可以探討。部分安全操作，可以增加二次確認(rèn)的環(huán)節(jié)。
（3）導(dǎo)航目前可以使用語言控制，可以與這系統(tǒng)整合在一起。而且可以增加更多智能互動(dòng)，如目的地餐飲旅館介紹，旅游景點(diǎn)介紹。甚至可以進(jìn)行預(yù)定服務(wù)。
2、 車輛功能、應(yīng)急指導(dǎo)
（1）在大語言模型加持下，把汽車相關(guān)安全知識，汽**冊等做成本地知識庫，需要時(shí)不需再到厚厚的操作手冊中翻找，或拿起手機(jī)臨時(shí)搜索。而且可以在屏幕上顯示相關(guān)操作視頻。
（2）當(dāng)有網(wǎng)絡(luò)可以使用聯(lián)網(wǎng)方式獲取更準(zhǔn)確詳盡的信息，無網(wǎng)絡(luò)下（如邊遠(yuǎn)地區(qū)）也可以通過本地部署的簡潔模型，為使用者提供服務(wù)。
（3）需要時(shí)可以通過連接的手機(jī)撥打救援電話；
3、 司機(jī)在駕駛時(shí)，不方便使用手機(jī)，語音對話功能會(huì)更方便安全。同時(shí)屏幕可以輔助顯示關(guān)鍵信息。
三、 本項(xiàng)目實(shí)現(xiàn)功能
1、 系統(tǒng)圖
1、 硬件：
顯示屏：顯示處理過程、語義分類情況、Deepseek的回復(fù)等信息
音箱：輸出語義分類及Deepseek的回復(fù)
2、 音頻處理：語音輸入輸出使用sherpa_onnx庫，是一個(gè)基于 ONNX 運(yùn)行時(shí)的開源語音處理庫，支持多種語音相關(guān)任務(wù)，包括語音識別、語音合成、說話人識別、語言識別等。ASR使用sherpa-ncnn-streaming-zipformer-bilingual-zh-en模型，TTS使用vits-melo-tts-zh_en模型，支持中英文輸入輸出。
3、 樸素貝葉斯語義分類，使用”開”、“關(guān)”、“大燈”、“雨刷”等17個(gè)關(guān)鍵詞，進(jìn)行語義分類，共分“導(dǎo)航命令”、“Deepseek查詢”、“打開前大燈命令”等9個(gè)分類，分類算法見源碼附件中的excel表格。
4、?大型語言模型，使用本地部署的Deepseek 1.5B模型，查詢后，通過語音播送出來。
5、樹莓派5同時(shí)運(yùn)行多個(gè)AI算法，比較勉強(qiáng)，程序中我同時(shí)使用三個(gè)核，一個(gè)核進(jìn)行語音識別和語義分類，一核進(jìn)行Deepseek查詢，一核進(jìn)行語音合成。這樣核間通信比較簡單，只有字符串，核與核之間通信使用Pipe方式。
四、 實(shí)現(xiàn)效果以及源碼
百度網(wǎng)盤鏈接:?https://pan.baidu.com/s/10i-BarrN5Fz1N99xAMtGxQ&Pwd=c77j?提取碼: c77j
五、 不足與展望
2、受個(gè)人能力限制，樸素貝葉斯語義分類只是使用手工做了個(gè)簡單的分類。
3、ASR與TTS更換不同模型，可以支持更多語種，本項(xiàng)目中只是支持中英文兩種。
閱讀全文
