隨著(zhù)移動(dòng)設備的進(jìn)一步普及，越來(lái)越多的消費者選擇在移動(dòng)設備上觀(guān)看視頻。據eMarketer2019年的數據，美國消費者每天平均在移動(dòng)設備上花費3小時(shí)43分鐘，比花在看電視上的時(shí)間還多了8分鐘，這也是人們第一次被發(fā)現花費在移動(dòng)設備上的時(shí)間多于看電視的時(shí)間。
然而，傳統的內容生產(chǎn)設備制作的視頻大多數是橫屏（landscape）的，而移動(dòng)顯示設備默認是豎屏的（portrait），這就導致橫屏內容在豎屏設備上的播放體驗并不是很好。
視頻裁剪是解決這個(gè)問(wèn)題的方法之一。然而，人工的視頻裁剪是一件非常枯燥、耗時(shí)且精細的工作，普通人很難勝任。因此，誕生了許多智能視頻裁剪的算法，期望通過(guò)算法可以自動(dòng)、快速地完成優(yōu)質(zhì)的視頻裁剪。GoogleAI13日在官博宣布開(kāi)源框架AutoFlip，就是實(shí)現影片智能化自動(dòng)剪裁的一個(gè)解決方案。
AutoFlip是一個(gè)基于MediaPipe框架的智能視頻剪裁工具。它可以根據指定的寬高比，對影片內容進(jìn)行分析，制定最佳裁剪策略，并自動(dòng)輸出相同時(shí)長(cháng)的新視頻。
左：原始視頻（16：9）。中：使用靜態(tài)的居中裁剪（9:16）重新構圖。右：使用AutoFlip（9:16）重新構圖。通過(guò)檢測感興趣的目標物，AutoFlip可以避免裁剪掉重要的內容。
其中，MediaPipe是一款由GoogleResearch開(kāi)發(fā)并開(kāi)源的多媒體機器學(xué)習模型應用框架。目前，YouTube、ARCore、GoogleHome以及Nest等，都已經(jīng)與MediaPipe深度整合。
我們也很幸運地聯(lián)系到了MediaPipe團隊，對有關(guān)AutoFlip移動(dòng)端的適用性提出了一些疑問(wèn)，其中，軟件工程師@jiuqiant表示，根據自己的經(jīng)驗，由于MediaPipe本身是跨平臺框架，因此AutoFlip可以輕松移植到Android和iOS。AutoFlip演示依賴(lài)于MediaPipe的對象檢測和面部跟蹤子圖，它們都是Android和iOS上MediaPipe的實(shí)時(shí)應用程序。因此，AutoFlip在移動(dòng)平臺上也應具有類(lèi)似的性能。
AutoFlip為智能視頻剪裁提供了一套全自動(dòng)的解決方案，它利用先進(jìn)的目標檢測與追蹤技術(shù)理解視頻內容，同時(shí)會(huì )檢測視頻中的場(chǎng)景變化以便分場(chǎng)景進(jìn)行處理。在每一個(gè)場(chǎng)景中，視頻分析會(huì )先分析場(chǎng)景中的顯著(zhù)性?xún)热荩缓笸ㄟ^(guò)選擇不同的相機模式以及對這些顯著(zhù)性?xún)热菰谝曨l中連成的路徑進(jìn)行優(yōu)化，從而達到場(chǎng)景的裁剪與重構。
如圖所示，AutoFlip剪裁影片有三個(gè)重要的步驟：鏡頭邊界檢測、影片內容分析以及重新取景。
如圖所示，AutoFlip剪裁影片有三個(gè)重要的步驟：鏡頭邊界檢測、影片內容分析以及重新取景。
1）鏡頭邊界檢測
場(chǎng)景或者鏡頭是連續的影像序列，不存在任何剪輯。為了偵測鏡頭變化的發(fā)生，AutoFlip會(huì )計算每一幀顏色的直方圖，并與前一幀進(jìn)行比較。當直方圖在一個(gè)歷史的窗口中以明顯不同于以往的速率變化時(shí)，則表示鏡頭切換。為了對整個(gè)場(chǎng)景進(jìn)行優(yōu)化，AutoFlip會(huì )在得出剪輯策略前緩存整個(gè)視頻。
2）鏡頭內容分析
Google利用基于深度學(xué)習技術(shù)的檢測模型在視頻幀中找出有趣、突出的內容，這些內容通常包括人和動(dòng)物。但根據應用程序不同，其他元素也會(huì )被檢測出來(lái)，包括文本和廣告logo、運動(dòng)中的球和動(dòng)作等。
左：體育錄像中的人物檢測。右：兩個(gè)臉部框（“核心”和“所有”臉部標識）
人臉和物體檢測模型通過(guò)MediaPipe整合到AutoFlip中，這是在CPU上使用了TensorFlowLite。這個(gè)架構使得AutoFlip的可擴展性更大，開(kāi)發(fā)者們也因此可以便捷地為不同的使用場(chǎng)景和視頻內容添加新的檢測算法。
3）重新取景
在確定每一幀上感興趣的目標物之后，就可以做出如何重新剪裁視頻內容的邏輯決策了。AutoFlip會(huì )根據物體在鏡頭中的行為，自動(dòng)選擇靜止、平移或追蹤等最佳取景策略。其中，追蹤模式可以在目標對象在畫(huà)面內移動(dòng)時(shí)對其進(jìn)行連續和穩定的跟蹤。
如上圖所示，第一行是AutoFlip根據幀級的邊界框追蹤到的相機路徑，第二行是平滑后的相機路徑。左側是目標對象在畫(huà)面中移動(dòng)的場(chǎng)景，需要一個(gè)追蹤相機路徑；右側是目標物體停留在近乎相同位置的場(chǎng)景，一個(gè)固定攝像機即可拍攝在整個(gè)場(chǎng)景中全部時(shí)長(cháng)的內容。
AutoFlip有一個(gè)屬性圖，可以提供最佳效果或自定義需求的剪輯。如果發(fā)現剪輯出來(lái)的鏡頭無(wú)法覆蓋整個(gè)影片區域的情況時(shí)（例如目標在某一幀視頻中顯得太大），AutoFlip會(huì )自動(dòng)切換到相對不那么激進(jìn)的策略上。它會(huì )使用信箱效應，在保持原始視頻尺寸的同時(shí)用黑邊模式填充影片，使畫(huà)面看起來(lái)更自然。
隨著(zhù)人們用來(lái)觀(guān)看視頻的設備越來(lái)越多樣化，讓任何視頻格式都能快速適應不同屏幕比例的能力也顯得越發(fā)重要。而AutoFlip能夠快速地自動(dòng)剪輯影像，適合在各種設備上播放。
和其它機器學(xué)習算法一樣，AutoFlip的性能會(huì )隨著(zhù)目標檢測等能力的提升而大大加強，尤其是衍生出來(lái)的能力，例如采訪(fǎng)鏡頭中的說(shuō)話(huà)人檢測或動(dòng)漫中的動(dòng)物臉檢測等等。
Google稱(chēng)接下來(lái)會(huì )繼續改進(jìn)AutoFlip，尤其是針對影片前景文字或圖標因為重新取景而被裁掉的情況。同時(shí)，Google也希望AutoFlip能進(jìn)一步融合自然語(yǔ)言處理等技術(shù)，從而實(shí)現更合理的視頻智能剪裁。
References：
https://insights.digitalmediasolutions.com/articles/digital-mobile-dominate
https://github.com/google/mediapipe/issues/471
最后一個(gè)小小的tips，如果大家有針對文章內容的具體問(wèn)題，歡迎在留言區互動(dòng)，我們會(huì )努力將你的問(wèn)題反饋給相應專(zhuān)業(yè)領(lǐng)域的技術(shù)專(zhuān)家，以便大家能夠共同參與討論。
原文鏈接：https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html
