一、元宇宙的構想
1.元宇宙概念的由來
元宇宙(metaverse)概念最早出現在1992年尼爾•斯蒂芬森(Neal Stephenson)的科幻小說《雪崩》(Snow Crash)中，特指一個(ge) 平行於(yu) 現實世界的虛擬數字世界。每個(ge) 人通過控製虛擬世界裏代表自己的虛擬分身來參與(yu) 相關(guan) 社交活動。
清華大學沈陽教授團隊2022年1月發布的《元宇宙發展研究報告2.0版》[1]中把元宇宙描述成整合了多種新技術的互聯網新生態，能為(wei) 使用者提供沉浸式體(ti) 驗，通過數字孿生技術、區塊鏈技術生成虛擬世界的經濟係統、社交係統、身份係統，並且允許使用者進行內(nei) 容生產(chan) 和編輯。
在新型冠狀病毒肺炎疫情(簡稱疫情)防控期間，人們(men) 使用互聯網的時長大幅增長，加速了社會(hui) 虛擬化進程。人類生活中的許多體(ti) 驗也開始向虛擬世界遷移或者進入虛實跨界狀態。對於(yu) 學生而言，線上學習(xi) 由原先短時的偶然狀態變為(wei) 常態。因此有人以宇宙大爆炸奇點理論類比提出：2020年是人類社會(hui) 虛擬化的臨(lin) 界點，2021年是元宇宙元年。但是2022年是否能形成奇點，還有待觀察。
張世城等的《智慧教室3D模型的設計與(yu) 實現》[2]一文指出：隨著信息時代的到來，以及物聯網和3D模型技術的興(xing) 起，各學校開始進行信息化、可視化智慧教室建設，提出在實現物聯網硬件的基礎上，使用ThingJS3D模型可視化技術，給出智慧教室的整體(ti) 策略和體(ti) 係架構，圍繞智慧教室的硬件布局、網絡通信和教室係統的平麵構造、3D模型等方麵進行設計與(yu) 實現。
美國哈佛大學教育學博士鄭燕祥教授在《教育範式轉變：效能保證》[3]一書(shu) 中指出：教育的理念要有根本性、係統性的範式轉變，才能有突破性的進展，以應對全球化、高科技和社會(hui) 發展的挑戰。
2.元宇宙推動教學模式創新
為(wei) 貫徹落實教育事業(ye) 發展“十四五”規劃的有關(guan) 部署，教育部辦公廳發文[4]要求開展虛擬教研室的建設與(yu) 應用探索。筆者團隊根據課題研究對元宇宙雲(yun) 課堂環境進行了研究，闡述了基於(yu) 元宇宙的AI數字人雲(yun) 課堂的教育應用需求分析與(yu) 係統設計。
元宇宙是下一代互聯網生態，是虛擬時空，是全真互聯網，即通過各類智能設備和係統提供人性化、智能化、獨特的數字互動世界。狹義(yi) 的元宇宙指把線下的世界映射到數字世界裏麵去；廣義(yi) 的元宇宙則指建立在數字世界裏的純粹虛擬時空。
元宇宙與(yu) 教育的融合應用涉及兩(liang) 方麵的問題：一是技術頂層設計，即運用係統論的方法，從(cong) 全局的角度對該項技術的各方麵、各層次、各要素統籌規劃，以提升工作效益，高效快捷地實現目標。元宇宙技術頂層設計指為(wei) 實現任何時間、任何地點、任何角色都可以在互動空間中生活和工作而進行的方案研究。二是教育範式研究，即通過創新教學模式，使課堂教學真正促進學生知識、能力、情感等的發展，培養(yang) 學生的創新精神和實踐能力。在“雙減”政策及教育部門提出的校園防疫工作“五管”(管好人員流動、管好校門、管好場所、管好活動、管好應急處置)要求下開展高質量教學工作，是擺在教育工作者麵前的挑戰。常規教學模式已經不能適應新時期社會(hui) 教育發展的需要，亟須教育範式變革。
虛擬數字人作為(wei) 一種人工智能(簡稱AI)產(chan) 物，本文稱為(wei) AI數字人，是元宇宙的關(guan) 鍵要素。將元宇宙雲(yun) 課堂與(yu) AI數字人相結合，有利於(yu) 打造AI新生態下融合多種技術的教育應用新場景。
二、基於(yu) 元宇宙的AI數字人雲(yun) 課堂需求分析
1.AI數字人雲(yun) 課堂的需求分析
(1)總體(ti) 需求分析
第一，元宇宙係統要能在局域網環境下獨立運行，進行AI數字人培訓任務和雲(yun) 課堂交互教學工作；第二，留有雲(yun) 端接口，方便隨時接入雲(yun) 服務器集群進行高算力業(ye) 務處理。
(2)分項需求分析
分項需求包括：實體(ti) 人的跨界數字身份係統(含實體(ti) 人檔案庫以及AI數字人檔案庫)、AI數字人雲(yun) 課堂、AI數字人可使用的魔法裝備。
2.實體(ti) 人的跨界數字身份係統
為(wei) 便於(yu) 將來再生醫學的發展，實體(ti) 人的跨界數字身份係統應能實現實體(ti) 人的肌體(ti) 再生功能，實體(ti) 人檔案庫除了常規檔案基本信息外，還應預留以下選項與(yu) 大數據健康檔案庫對接：包括幹細胞庫編碼、精子庫編碼、虹膜庫編碼、指紋庫編碼等。
AI數字人檔案庫應具備的功能包括：能完成真人的AI數字人建檔、形象打造(含照片合成臉部和捏臉修改)、行為(wei) 學習(xi) 訓練、語音擬合、思維反應訓練(支持自動回答問題的AI知識庫)、信息檢索、模型提取、輸出檔案表(打印表格或者輸出其他格式的文件)等。
3.AI數字人雲(yun) 課堂的構建
構建的目標：打造虛實融合的“雙師”課堂以及16個(ge) 數字人互動對象，方便進行小組合作學習(xi) 和班級授課模式的切換。
(1)可自主互動的虛擬對象
AI虛擬教師2人：授課教師、班主任。AI虛擬教師與(yu) 實體(ti) 人教師組合可打造“多師”課堂教學模式。
虛擬學伴4人：春同學、夏同學、秋同學、冬同學。心理學家認為(wei) ，人的氣質類型一般可分為(wei) 膽汁質、多血質、黏液質和抑鬱質四種。虛擬學伴4人分別對應這四種氣質類型，以多樣化的麵貌輔助師生開展學習(xi) 和訓練。
同時設置10個(ge) 可供實體(ti) 人操控進行互動學習(xi) 的數字身份賬號：甲同學、乙同學、丙同學、丁同學、戊同學、己同學、庚同學、辛同學、壬同學、癸同學。
(2)提供虛實對象間的一對多、多對多互動
根據教學活動的需要，可以開展多元互動，提高學生的學習(xi) 興(xing) 趣和協同學習(xi) 活動的效率。
4.AI數字人可使用的魔法裝備
在元宇宙雲(yun) 課堂中，為(wei) AI數字人賦能的魔法裝備就是一些特殊的係統工具，使用裝備功能，能夠使AI數字人具有強大的“變身”能力。以《西遊記》中的孫悟空作為(wei) 類比，AI數字人的“變身”功能包括以下方麵。
第一，重身術。在元宇宙雲(yun) 課堂中，AI數字人具有“一變多”分身功能，能同時進行多元任務實施。
第二，變身術。AI數字人具有“改頭換麵”的變身功能，可以按照使用者意願改變AI數字人外觀形象。
第三，隱身術/現身術。AI數字人能隱藏數字分身或者再次現身。
第四，變音術。AI數字人具有聲音變化的功能，可以按照意願改變音質音色。
第五，劫身術。AI數字人具有賦能某個(ge) 分身強製接管另一個(ge) AI數字人賬號的功能。
第六，再身術。AI數字人具有賦能某個(ge) 分身進行形象重塑和行為(wei) 舉(ju) 止重新訓練的功能。
三、基於(yu) 元宇宙的AI數字人雲(yun) 課堂係統設計
1.AI數字人的係統生成
元宇宙雲(yun) 課堂的核心技術之一是實現AI數字人的生成。以往的虛擬數字人在3D建模的基礎上采用動畫、麵捕(麵部捕捉)、動捕(動作捕捉)等技術實現真人表情、動作的模擬，但都脫離不開真人的輔助。而AI數字人具有類似真人的感知、理解和表達能力，能通過文本或者語音驅動，可以完全脫離真人的輔助，自主生成具有豐(feng) 富表情和動作的真人分身。AI數字人的自主能力為(wei) 其應用提供了廣闊空間(見圖1)。
圖1 AI數字人的功能構成
AI數字人基於(yu) 多模態融合技術(見圖2)，以文本和語音為(wei) 輸入端口。文本輸入內(nei) 容經深度神經網絡的語音處理單元轉成語音，處理完成後將語音信息返回給語境引擎。語音輸入則直接發送到語境引擎，輸出口唇動作的係數，然後再使用行為(wei) 分析推理引擎將圖像呈現出來，同時可以為(wei) AI數字人形象添加情緒、動作等設定，最終輸出聲畫同步的真人分身視頻。
圖2 多模態融合技術處理流程示意圖
AI數字人主要分為(wei) 兩(liang) 類基礎形態(見圖3)，即播報型和交互型，可滿足不同應用場景的需求。播報型常用於(yu) 一對多服務，如用文本驅動AI數字人進行內(nei) 容播報並配合各類媒體(ti) 素材製作數字媒體(ti) 內(nei) 容；交互型常用於(yu) 一對一服務，如用語言驅動的智慧客服、AI助教等。
圖3 AI數字人兩(liang) 類基礎形態的應用
在具體(ti) 應用中，隻需簡單輸入文字或音頻，即可快速生成具備精確口型、豐(feng) 富表情和動作的AI數字人視頻，可廣泛應用於(yu) 新聞播報、創意視頻製作、虛擬客服、師資培訓、教育課程批量製作等(見圖4)。此外，僅(jin) 需通過輸入文字或者語音，就能製作包含AI數字人、圖片、視頻、PPT、3D模型、動畫等元素的視頻內(nei) 容，有效提升視頻的規模化製作效率。AI數字人的應用優(you) 勢見圖5。
圖4 AI數字人的應用場景
圖5 AI數字人的應用優(you) 勢
(1)形象訂製服務單元
AI數字人形象的製作過程(見圖6)包括：數據采集(真人的視頻、語音錄製)、數據標注(視頻、語音標注)、模型訓練(表情生成模型、語音合成模型)、視頻生成(文本、語音驅動播報和交互)。使用者可訂製2D或3D的數字人，支持8個(ge) 基礎動作、1種姿態、 1種分辨率的設定。
圖6 AI數字人的形象分類及製作步驟
(2)AI數字人係統的軟件功能
具備“平台—播報”服務功能和視頻生成接口(支持私有化部署)，能完成與(yu) 真人對應的AI數字人建檔，支持形象打造、行為(wei) 學習(xi) 訓練、語境擬合、思維反應訓練、信息檢索、模型提取、輸出檔案表等。
(3)AI數字人服務器
為(wei) 保證本地智能互動和及時處理效果，推薦的係統配置為(wei) ：主板(雙路服務器主板)、CPU(Intel銀牌CPU 2塊)、內(nei) 存(“DDR4+16 G”內(nei) 存條10個(ge) )、硬盤(希捷1 000 G+512 G固態硬盤)、顯卡(TeslaT4 16G)、電源(航嘉1 000 W)、鼠標鍵盤(羅技鍵盤鼠標套裝)、顯示器(戴爾24寸寬屏液晶)、機箱(專(zhuan) 業(ye) 4U機箱)、係統(Linux CentOS 7.6)。
2.AI數字人雲(yun) 課堂的硬件係統架構
AI數字人雲(yun) 課堂係統中的智能學伴可支持知識問答、遊戲互動、學習(xi) 對練、案例講解、學習(xi) 輔導等功能，並能提供7×24小時全天候問答服務(見圖7)。
(1)編輯播控工作站
高配置可提供強大的算力以支持編輯播控工作。推薦的係統配置為(wei) ：CPU(Intel 酷睿i7)、操作係統(Win 10專(zhuan) 業(ye) 版)、主板(PCI-E架構總線高速主板)、內(nei) 存(16G高速內(nei) 存)、電源(高效服務器電源)、顯卡(Nvidia GTX1060)、硬盤(500 G SSD固態硬盤+希捷1 000 G SATA硬盤)、機箱(專(zhuan) 業(ye) 4U機箱)、鼠標鍵盤(羅技鍵盤鼠標套裝)、顯示器(戴爾24英寸IPS寬屏顯示器)。
(2)渲染服務器
高配置可提供強大的算力以支持渲染工作。推薦的係統配置為(wei) ：CPU(Intel Xeon 處理器2塊)、操作係統(Win 10專(zhuan) 業(ye) 版)、主板(雙路服務器高速GPU圖形渲染主板)、內(nei) 存(32 G高速服務器內(nei) 存)、硬盤(500 G SSD固態硬盤+希捷1 000 G SATA硬盤)、電源(高效服務器電源)、顯卡(廣播級高清視頻板卡Nvidia Quadro RTX 4000專(zhuan) 業(ye) 顯卡)、機箱(專(zhuan) 業(ye) 4U機箱)、鼠標鍵盤(羅技鍵盤鼠標套裝)、顯示器(戴爾24英寸IPS寬屏顯示器)。
(3)AI數字人雲(yun) 課堂係統軟件
AI數字人雲(yun) 課堂係統軟件具有便捷的素材資源導入功能、強大的模型處理功能、實時渲染合成功能、播出控製和輸出功能。具體(ti) 包括以下方麵。
采用“製作—播出”分離架構：包含獨立的模板設計端、播出控製端、實時渲染合成端模塊。
可基於(yu) PBR渲染引擎實現各種逼真的渲染效果。
支持導入fbx、obj等格式的模型文件。
支持旋轉、擠壓等造型方法生成物體(ti) 模型。
支持2D文字、3D文字、特效文字生成，支持中文、英文、日文、韓文、泰文、藏文等。
支持圖片、視頻、序列幀、網頁等作為(wei) 貼圖源。
支持流媒體(ti) 、視頻卡輸入等外部視頻源作為(wei) 貼圖源。
支持柱狀圖、餅圖、折線圖、散點圖、麵積圖等圖表製作。
支持外部數據鏈接、內(nei) 部屬性鏈接、函數修改等鏈接機製。
支持各種外部數據源：ODBC，MySQL， PostgreSQL，SQL Server，Access，Excel，TXT格式文本，第三方軟件實時生成數據等。
具備基於(yu) 事件觸發的時間線播出機製，支持手動、定時、自動、外部觸發等渲染播出方式。
支持同時接入多個(ge) AI數字人。
基於(yu) 模板化的播出方式，在播出端打開模板後，隻需修改模板參數，即可替換模板的內(nei) 容，驅動AI數字人生成課堂視頻。
支持數字調音台對各種音頻源進行混音輸出。
渲染端支持錄製、推流、視頻板卡輸出等。
(4)素材資源庫
素材資源庫包含三維場景、圖文包裝模板、前景植入物理模板、數據可視化等素材庫。
(5)網絡交互機
8口網絡交換機，用於(yu) 高效連接控製機、服務器。
(6)線材、工具、輔料
視音頻線材、配件、工具、輔料等。
四、結語
元宇宙是人類的新夢想，但是“羅馬不是一天建成的”，元宇宙的發展也不是一蹴而就的。人類從(cong) 未像今天這樣，融合了信息技術(5G/6G)、“互聯網+” (Web3.0)、人工智能、雲(yun) 計算、大數據、區塊鏈、裸眼技術、全息技術、XR技術(融合VR，AR，MR，HR等)以及遊戲引擎來創造元宇宙的新世界。新技術驅動的“奇點”即將來臨(lin) ，它將引發基礎數學(算法)、信息學(編程、信息熵)、生命科學(腦機接入)、區塊鏈(加密金融)、量子計算(算力)等領域的深入研究和交叉互動，還會(hui) 推動未來學、哲學、邏輯學、倫(lun) 理學、科幻等人文科學體(ti) 係的全新突破[5]。基於(yu) 元宇宙概念及其多種技術融合特點，進行AI數字人雲(yun) 課堂的教育應用需求分析與(yu) 係統設計，就是一種微觀元宇宙技術頂層設計與(yu) 教育範式研究的新嚐試，目的在於(yu) 實現元宇宙技術的教育應用落地。
參考文獻
[1] 沈陽等.元宇宙發展研究報告2.0版[R].清華大學新聞與(yu) 傳(chuan) 播學院新媒體(ti) 研究中心,2022.
[2] 張世城,翟嘉琪.智慧教室3D模型的設計與(yu) 實現[J].現代計算機,2020(36):100-103.
[3] 鄭燕祥.教育範式轉變：效能保證[M].上海:上海教育出版社,2006.
[4] 教育部辦公廳關(guan) 於(yu) 公布首批虛擬教研室建設試點名單的通知[EB/OL]https://www.moe.gov.cn/srcsite/A08/s7056/202203/t20220322_609822.html.
[5] 羅金海.元宇宙的“42條共識”[EB/OL].https://t.cj.sina.com.cn/articles/view/3181745997/bda5974d019014ij0.
覃祖軍(jun) 1 馮(feng) 建剛2 鄭蘭(lan) 梅3
1.北京市數字教育中心(北京電化教育館) 2.天津中科物聯網技術研究所元宇宙產(chan) 業(ye) 技術研究中心 3.北京科教創新信息科學研究院
|
