短視頻源碼開發(fā)技術主要涉及短視頻拍攝、合成、上傳、轉碼、分發(fā)、加速、播放等。首先，以短視頻拍攝的五大功能為例，分析短視頻拍攝SDK的技術要點。

1、斷點續(xù)拍：是指在拍攝過程中可以分段拍攝，最終拍攝的所有內容都可以合成視頻的功能。不同的視頻內容可以通過斷點續(xù)拍功能輕松拼接，視頻拼接功能可以快速創(chuàng)建，平臺高質量的內容輸出可以進一步加強。

技術實現：在拍攝斷點時，需要直接調用系統(tǒng)API或第三方相機庫，將每個mov格式的視頻片段作為臨時文件保存存儲在沙盒目錄中。然后維護視頻片段地址列表，拍攝結束后合成地址列表中指向的每個視頻片段(如果不需要實現回刪功能，就不需要維護視頻地址列表，只需閱讀單次錄制時存儲的所有臨時視頻片段即可合成)，最后生成一個完整的短視頻。

2、重新拍攝(回刪)：指對拍攝的短視頻內容不滿意時，可以直接剪掉這部分內容進行重拍。短視頻可以通過重拍功能和斷點續(xù)拍進行多次編輯和拍攝，增強了視頻制作的靈活性和便利性。

技術實現：短視頻重拍需要在斷點續(xù)拍功能的基礎上實現。根據斷點續(xù)拍的實現方式，我們來談談實現回刪功能的方式。重拍功能需要維護一個視頻片段地址列表，只需要刪除視頻列表中對應的視頻片段地址即可進行回刪操作。最后只有合成地址列表中指向的視頻片段，合成后才能刪除錄制的所有臨時視頻片段。

3、定制背景音樂：是指用戶可以在短視頻編輯功能中自由添加自己喜歡的背景音樂，通常定制背景音樂支持自己錄制或選擇App中現有的音樂。

實現自定義背景音樂功能的技術，首先要把視頻源分成兩條軌道：音頻軌道和視頻軌道。將背景音樂材料剝離出音頻軌道，將背景音樂音頻軌道插入原聲音頻軌道。原聲和背景音樂的音量可通過AVMutableAudioMixInputParameters進行調整。在成功插入背景音樂之后，通過調用AVMutableComposition相關類別，將獲得的音頻軌道與之前的視頻軌道合成，最終導出為短視頻。

4、貼紙：貼紙是指短視頻拍攝完成后，可自由選擇添加不同的貼紙，貼紙有場景貼紙和人臉貼紙兩種。

技術實現：貼紙功能需要使用人臉檢測功能，實現人臉檢測的方法有兩種：1、人臉識別由第三方數據庫OpenCV開源的跨平臺計算機視覺和機器學習庫進行；2、CoreImage庫由系統(tǒng)自帶，因為CoreImage庫已經提供了CIDetector，所以它非常適合人臉檢測。這兩種方法更推薦OpenCV，因為CoreImage庫只能定位五官位置，如人臉、鼻子、嘴巴、眼睛等。OpenCV不僅可以定位人臉和五官，還可以識別和定位眉毛、側臉和頭發(fā)，從而支持不同部位的貼紙。最終在成功定位貼紙后，可以進行視頻圖像處理。在一些實現中，將上述兩種方法結合起來，首先借用CIDetector優(yōu)秀的性能來框定人臉位置，然后將這個小區(qū)域交給OpenCV識別模型，以標記具體的人臉結構和輪廓位置。作為短視頻美化的核心功能，濾鏡、水印這兩個功能，因為它們的實現方式相似，所以將它們整合在一起。

5、濾鏡：是指拍攝的短視頻可以選擇不同的場景濾鏡，調整美化程度；水印是指短視頻拍攝完成后，可以在短視頻上添加不同的水印，保護短視頻的版權。

技術實現：這兩個功能的本質是處理視頻圖像。大多數短視頻SDK過濾器和水印使用第三方圖像處理庫-GPUImage庫。GPU用于處理圖像，并且自帶大量高質量的圖像處理過濾器。GPUImage還支持定制過濾器，因為這些基本功能不能滿足實際開發(fā)的需要。

6、美顏濾鏡：它是一種濾鏡組合，可組合亮度（GPUImageBrightnessFilter）和雙邊濾波（GPUImageBilateralFilter）兩種濾鏡都能達到美容效果。若要達到更好的效果，可添加所需的濾鏡或調整濾鏡參數。

7、水?。核≈饕峭ㄟ^GPUImageUIElement將水印轉換為圖像數據，然后通過BlenderFilter()將兩個圖像數據合并，其中View可以通過setFrameProcessingCompletionBlock回調動態(tài)調整，從而達到水印動態(tài)變化的效果。

8、定制界面布局和UI風格：在保持兩者實時性的同時，將UI與SDK高度分離，細分SDK的功能邏輯和UI邏輯。這就需要將UI代碼的一部分放入Demo中，并將功能邏輯放入SDK中。確保SDK提供完善的API和UI層交互，使UI層能夠根據SDK的回調及時調整UI風格。此外，還需要合成、上傳、轉碼、分發(fā)、加速和播放短視頻源碼的短視頻內容。國內大部分廠商都依靠現有的CDN和云處理技術，整個鏈路都不能集中。