樹莓派Pico是一款非常流行且功能強(qiáng)大的MCU(微控制器)開發(fā)平臺，基于樹莓派的RP2040 MCU，價格僅為4美元。RP2040集成了兩個133 MHz Arm的Cortex-M0+ CPU內(nèi)核，264 kB SRAM和一個獨特的可編程I/O系統(tǒng)。

本指南將通過幾個軟件組件的集成來創(chuàng)建一個具有頻譜可視化和動畫的MIDI播放器。我將探索如何在不使用RTOS的情況下創(chuàng)建一個具有實時音頻合成，可視化和雙核的復(fù)雜軟件。

你可以在下面看到和聽到結(jié)果的預(yù)覽：

在單板上運行Demo

音頻將使用來自pico-extras的PWM音頻驅(qū)動程序生成，LCD將使用來自PIO pico-examples的LCD驅(qū)動程序控制(針對演示進(jìn)行了修改)。

軟件組件將使用CMSIS-Stream開源庫進(jìn)行集成。

MIDI組件來自Len Shustek的Playtune Synth項目，并經(jīng)過大量修改以集成在此演示中。

本演示使用兩個M0+內(nèi)核。

數(shù)據(jù)流和CMSIS-Stream

這個演示使用了幾個來自不同來源的軟件組件：

?樹莓公司開發(fā)的一些軟件：PWM驅(qū)動和LCD驅(qū)動。

?來自Len Shustek的Playsynth_tune項目的一些組件用于音樂合成

?用于信號處理(頻譜計算)的CMSIS-DSP組件

?為此演示開發(fā)的特定于應(yīng)用程序的組件

?手臂- 2D用于最后的展示

這些組件必須連接起來，以達(dá)到預(yù)期的結(jié)果：實時音樂合成與動畫顯示。

對于流應(yīng)用程序，將軟件架構(gòu)表示為突出顯示數(shù)據(jù)流和數(shù)據(jù)依賴關(guān)系的圖形是非常有用的。

這里有兩個圖表：

?一個在核心0上合成音樂：音頻圖。

?核心1上的一個處理和顯示音樂：LCD圖形。

(更高分辨率的圖表可以在項目的github上看到)

實現(xiàn)這些圖形有幾個問題需要解決：

?圖的不同部分使用不同的數(shù)據(jù)速率。例如，LCD的刷新率小于音頻的刷新率。因此，圖中的一些節(jié)點必須比其他節(jié)點執(zhí)行得少得多。如果沒有實時操作系統(tǒng)，我們?nèi)绾屋p松做到這一點?

?由于不同的數(shù)據(jù)速率以及一些節(jié)點在不同大小的緩沖區(qū)上工作，因此需要在節(jié)點之間引入fifo。我們?nèi)绾未_定fifo的大小?

?當(dāng)節(jié)點在相同大小的緩沖區(qū)上工作時，我們?nèi)匀恍枰@些節(jié)點之間的臨時緩沖區(qū)：我們?nèi)绾巫钚』糜趫?zhí)行圖的臨時內(nèi)存?

?我們?nèi)绾卧谶@樣的系統(tǒng)中集成軟件組件：連接到FIFO等……但開發(fā)人員的工作量最小

?所有這些問題都可以手工解決。它們并不難。但它們在開發(fā)流程中增加了摩擦。作為開發(fā)者，你必須考慮所有這些細(xì)節(jié)，而不是專注于產(chǎn)品的真正附加價值。

此外，這些問題使軟件的模塊化程度降低：圖中的任何變化(數(shù)據(jù)速率、組件消耗或產(chǎn)生的緩沖區(qū)大小)都可能影響整個圖的調(diào)度和許多fifo的大小。如果每次更改某些內(nèi)容，就必須考慮并再次修改所有這些圖形調(diào)度細(xì)節(jié)，這會使開發(fā)人員的工作變得更加困難。

CMSIS-Stream的開發(fā)是為了使開發(fā)人員的生活更容易處理所有這些細(xì)節(jié)：

圖是用Python描述的。

CMSIS-Stream根據(jù)Python描述在構(gòu)建時計算一個靜態(tài)調(diào)度：

它是一個周期性的函數(shù)調(diào)用序列，考慮到不同的數(shù)據(jù)速率和緩沖區(qū)大小，它將生成/處理一個樣本流。

CMSIS-Stream考慮計算的調(diào)度和節(jié)點消耗或產(chǎn)生的緩沖區(qū)大小來調(diào)整fifo的大小。

CMSIS-Stream嘗試最小化緩沖區(qū)使用的臨時內(nèi)存。

軟件組件集成在圖中：

如果它們是純函數(shù)就直接。

使用一個非常輕的c++包裝器，它提供了標(biāo)準(zhǔn)的原始指針，用于訪問FIFO組件

這些圖形在python腳本create_audio_graph.py和create_lcd_graph.py中描述。

如果您想了解如何使用CMSIS-Stream并更改圖形，請參閱CMSIS-Stream文檔。

音頻圖

音頻圖表主要由來自Len Shustek的Playsynth_tune項目的組件制作而成。但是為了集成到這個演示中，它們已經(jīng)被修改了很多(可能還引入了一些bug)。

相位增量的定點格式已被修改，以考慮到本演示中使用的音頻速率。

波形振蕩器的音頻插值已被刪除：它可以通過使用Pico HW插值器稍后重新引入。

生成音符命令的序列器是圖形的一部分，不再從外部線程工作。必須更改邏輯以尊重圖的同步行為：在節(jié)點完成當(dāng)前調(diào)度迭代的執(zhí)行之前，必須用注釋命令盡可能多地加載序列器的輸出通道。

向核心1發(fā)送數(shù)據(jù)的節(jié)點沒有阻塞：音頻比顯示更重要。如果在核心1上運行的LCD圖形太慢，它只會錯過幾個音頻塊。

LCD圖形

這個演示使用的LCD只有240像素的寬度。如果目標(biāo)刷新率為40ms，則意味著每40ms只顯示240個樣本。

但在40毫秒內(nèi)產(chǎn)生的音頻樣本遠(yuǎn)遠(yuǎn)超過240個。音頻信號必須經(jīng)過濾波和抽取。LCD圖形包含幅度和頻譜部分的濾波和抽取節(jié)點。抽取因子是相當(dāng)高的，所以高頻將不可見的顯示。

對于頻譜，可以嘗試使用更大的fft和更小的抽取因子來顯示更高頻率的內(nèi)容。使用CMSIS-Stream的優(yōu)點是，您可以通過更改描述LCD圖形的Python中的幾個參數(shù)輕松地進(jìn)行這些實驗。

您可能還需要更改抽取過濾器系數(shù)：這些系數(shù)在main.cpp中定義

光譜計算是標(biāo)準(zhǔn)的：

信號乘以漢寧窗。

它被轉(zhuǎn)換成復(fù)數(shù)。

使用了一個復(fù)雜的FFT。

計算FFT的幅度，并應(yīng)用一些縮放(用于顯示)。

圖形部分使用一些緩沖區(qū)生成器：緩沖區(qū)在不同的調(diào)度迭代之間重用。

振幅和頻譜小部件被引入這些緩沖器。Arm-2D最后使用Pico HW插值器混合這些緩沖區(qū)。

CMSIS-DSP

使用開源計算庫CMSIS-DSP進(jìn)行音頻通道的混合，并使用該庫進(jìn)行濾波和抽取，計算漢寧窗口和FFT。

在M0+上，CMSIS-DSP不能提供任何加速。但是通過使用CMSIS-DSP，您可以將您的軟件移植到更強(qiáng)大的Cortex處理器(M和A)上，其中CMSIS-DSP將免費提供加速。

硬件設(shè)置

如果您使用的是沒有預(yù)焊接頭的樹莓派Pico板，請按照MagPi的“如何將GPIO引腳接頭焊接到樹莓派Pico”指南并將接頭焊接到板上。

LCD通過Pico四路擴(kuò)展器連接，因此沒有其他事情可做。

外部揚聲器必須通過晶體管連接，否則會從Pico引腳產(chǎn)生過多的電流。

揚聲器連接

電線的顏色編碼與下圖一致。不幸的是，我不得不使用我家里可用的東西，它迫使我使用紅色或紫色的線進(jìn)行接地連接，藍(lán)色的線進(jìn)行3V連接。

液晶顯示器連接

LCD通過Pico四路擴(kuò)展器連接，因此沒有其他事情可做：

軟件設(shè)置

設(shè)置Pico SDK環(huán)境

首先，您需要使用Raspberry Pi的Pico SDK和所需的工具鏈來設(shè)置計算機(jī)。

有關(guān)更多信息，請參閱“Raspberry Pi Pico入門”。

本指南的第2.1節(jié)可用于所有操作系統(tǒng)，接下來是具體操作部分：

Linux: 2.2節(jié)

macOS: 9.1節(jié)

Windows：第9.2節(jié)

你需要pico-sdk和pico-extras。

獲取和編譯PicoMusic演示

確保設(shè)置了PICO_SDK環(huán)境變量。

在終端窗口中，克隆git存儲庫并更改目錄：

創(chuàng)建一個構(gòu)建目錄并更改目錄：

運行cmake和make來編譯：

按住板上的BOOTSEL按鈕，同時用USB電纜將板插入計算機(jī)。

復(fù)制流。uf2文件到掛載的Raspberry Pi Pico啟動盤：

測試

只需插入Pico，演示就會開始。你可以用LCD按鈕控制它。

也可以通過USB從主機(jī)上的串行控制臺控制它

結(jié)論

本指南介紹了如何使用帶有LCD和外部揚聲器的樹莓派Pico板來創(chuàng)建實時音樂合成和頻譜圖可視化器。該項目使用了幾個使用CMSIS-Stream庫集成在項目中的組件。

樹莓派RP2040的PIO， DMA和HW插值器是使這個演示成為可能的關(guān)鍵。

本文編譯自hackster.io