增強現(xiàn)實技術(shù)（AR）是在虛擬現(xiàn)實（VR）技術(shù)基礎(chǔ)上發(fā)展起來的圖形學(xué)領(lǐng)域新技術(shù)，可以將依托計算機建立的虛擬模型與使用者肉眼所見到的真實場景相融合，即將虛擬場景、模型或系統(tǒng)信息與真實場景相疊加，從而憑借從虛擬場景中所獲得的視覺系統(tǒng)無法獲取的額外信息增強對真實場景的認識和感知。AR以注冊、跟蹤、顯示和交互為技術(shù)支撐，具有真實場景和虛擬場景的信息集成、實時交互和三維注冊等三個突出特點。AR技術(shù)廣泛應(yīng)用于軍事、醫(yī)療、教育、建筑等領(lǐng)域，在外科領(lǐng)域，AR技術(shù)利用VR技術(shù)將X線、CT、MR、PET等多模態(tài)影像三維重建后融合于患者相應(yīng)的臟器位置，外科醫(yī)生可以獲得肉眼無法看到的臟器內(nèi)部情況和與相鄰器官的空間信息，強化手術(shù)的精確性和真實感，對于術(shù)前計劃制定、術(shù)中引導(dǎo)和提高手術(shù)質(zhì)量等方面均具有較大的應(yīng)用價值。由于解剖的復(fù)雜性和創(chuàng)傷的不可預(yù)見性，創(chuàng)傷骨科的手術(shù)難度和風(fēng)險較高，AR技術(shù)在創(chuàng)傷骨科的有效應(yīng)用將極大地提高手術(shù)成功率，但目前仍處于探索階段，本文對AR技術(shù)在國內(nèi)創(chuàng)傷骨科領(lǐng)域的應(yīng)用進行了分類綜述。
AR的技術(shù)原理
AR技術(shù)是在VR技術(shù)基礎(chǔ)上發(fā)展起來的，VR技術(shù)利用計算機產(chǎn)生虛擬場景，強調(diào)虛擬場景給人感觀效果上的沉浸感，使用者可以及時、全方位地觀察三維空間內(nèi)的情況，以自然的方式與虛擬對象進行交互溝通，例如利用CT或MR的三維重建技術(shù)模擬真實病灶的情況，測量病變的實際大小和形狀。而AR則利用圖形技術(shù)、可視化技術(shù)和傳感技術(shù)，將虛擬的場景準確地呈現(xiàn)在真實環(huán)境中，是對真實場景的補充，不改變使用者在真實場景中的客觀感受，使用者通過各種方式與虛擬對象進行交互溝通。AR技術(shù)可幫助骨科醫(yī)生制定詳細的術(shù)前計劃，設(shè)計手術(shù)入路、骨窗范圍和螺釘進入角度，如圖1——3。
AR技術(shù)硬件要求相對較低，關(guān)鍵技術(shù)是配準的精確度和顯示技術(shù)的真實感。在創(chuàng)傷骨科領(lǐng)域的基本操作步驟為：通過X線、CT或MR等采集骨折處的解剖信息，利用VR技術(shù)形成虛擬模型圖像，將虛擬圖像與內(nèi)固定器材等真實圖像精確配準，并在手術(shù)過程中實時跟蹤顯示。本文從配準、跟蹤、顯示和交互等四個支撐技術(shù)方面對其原理進行介紹。
配準技術(shù) 要實現(xiàn)虛擬和真實物體的精確重疊，需將虛擬物體重現(xiàn)在真實物體的準確位置，即配準技術(shù)。如果缺乏準確地配準技術(shù)，虛擬場景可能會漂浮在真實場景之外，因此配準對AR技術(shù)至關(guān)重要，見圖4——6。采用基準點配準法，通過對肢體的DR圖像灰度對比度的調(diào)整，得到清晰的皮膚和骨骼邊緣線，利用三點決定一個平面的原理進行配準，將兩幅圖像中的皮膚和骨髂邊緣線用一系列的藍點和紅點標(biāo)注出來，利用專用的計算軟件使合成后的圖像藍點線和紅點線重合，即將光學(xué)圖像的皮膚邊緣和X線影像的皮膚邊緣匹配。
跟蹤技術(shù) 跟蹤技術(shù)主要是實時顯示病變部位和手術(shù)器械位置變化情況，要求范圍大、精確度高，目前主要是通過機械式、磁力式、超聲式和光學(xué)式位置傳感器完成。但這些傳感器各有不足，尚不能完全滿足AR技術(shù)的要求。今后的發(fā)展方向為混合式?蹤技術(shù)，相互彌補各傳感器的不足從而提高跟蹤效率。
顯示技術(shù) AR的顯示技術(shù)分為基于計算機屏幕和基于頭盔式顯示器，基于計算機屏幕的顯示方式在醫(yī)學(xué)中最為常用，可以3D形式顯示場景圖像，方便使用者戴立體眼鏡進行觀看。頭盔式顯示器分為視頻透視式和光學(xué)透視式，視頻透視式通過安裝在使用者頭部的攝像機獲取真實影像，并通過計算機將虛擬圖像疊加在視頻信號上。光學(xué)透視式則通過安裝在眼前的半透半反光學(xué)合成器，看到真實場景及增強圖像。但由于影響手術(shù)醫(yī)師的操作及聚焦虛實影像共同平面的困難度，目前在外科領(lǐng)域應(yīng)用極少。
交互技術(shù) 利用手勢識別、語音識別、力反饋設(shè)備、六自由度鼠標(biāo)、數(shù)據(jù)手套及特定標(biāo)志等工具，在系統(tǒng)中預(yù)先設(shè)定對應(yīng)的動作，以便在系統(tǒng)識別后進行相應(yīng)操作，實現(xiàn)術(shù)者與計算機系統(tǒng)之間的溝通對話，從而在復(fù)雜結(jié)構(gòu)區(qū)域的手術(shù)中發(fā)揮重要作用。
AR技術(shù)在創(chuàng)傷骨科領(lǐng)域應(yīng)用的必要性
在創(chuàng)傷骨科領(lǐng)域，由于脊柱、骨盆和脛骨近端等部位解剖結(jié)構(gòu)的復(fù)雜性，加之骨折損傷的不可預(yù)見性，手術(shù)操作中易導(dǎo)致神經(jīng)和血管的損傷，利用AR技術(shù)進行個體化內(nèi)固定物設(shè)計、模擬復(fù)位和固定效果，結(jié)合生物學(xué)內(nèi)固定的理念，指導(dǎo)手術(shù)過程中鋼板的塑形和固定螺釘?shù)木珳手梅?，評估手術(shù)治療的效果，可有效提升骨折手術(shù)的安全性和精確性，縮短手術(shù)時間。在脊柱手術(shù)中，AR技術(shù)可幫助手術(shù)醫(yī)師完善立體概念，利用數(shù)字化技術(shù)、三維建模技術(shù)和術(shù)中導(dǎo)航技術(shù)，制定個體化的術(shù)前計劃，降低手術(shù)的難度和風(fēng)險，減少醫(yī)患雙方放射線的暴露，在關(guān)節(jié)外科可根據(jù)關(guān)節(jié)的三維形態(tài)學(xué)信息，通過運動范圍模擬、術(shù)中定位和跟蹤，對選擇手術(shù)入路、提高定位的精度意義重大，可結(jié)合材料學(xué)設(shè)計個性化關(guān)節(jié)假體，更符合患者的生物力學(xué)特點和運動功能，提高假體的質(zhì)量和使用壽命。在骨折后的康復(fù)治療中，AR技術(shù)可以日常常規(guī)動作為基礎(chǔ)，為康復(fù)訓(xùn)練提供可重復(fù)進行的目的性主動運動，有效喚醒神經(jīng)元的殘余功能，促使大腦對動作質(zhì)量進行修正，最終恢復(fù)原有的功能并建立新的代償，實現(xiàn)功能重塑從而改善肢體功能，將學(xué)習(xí)到的運動技能轉(zhuǎn)移到真實環(huán)境中，同時可輔助骨科教學(xué)。
AR技術(shù)在創(chuàng)傷骨科中的應(yīng)用現(xiàn)狀
在脊柱骨折中的應(yīng)用 陳宣煌等采用Mimics軟件三維重建設(shè)計結(jié)合3D打印技術(shù)，設(shè)計了腰椎椎弓根螺釘置釘?shù)篮椭沃?，在手術(shù)中進行數(shù)字化導(dǎo)航置釘，準確率達97%，優(yōu)良率達95%。樊勇等采用術(shù)前計算機軟件設(shè)計了截骨區(qū)域、范圍，術(shù)中采用三維導(dǎo)航技術(shù)進行精確截骨矯形，可提高矯正胸腰椎段骨折術(shù)后繼發(fā)角狀后凸畸形手術(shù)的安全性，有效提高復(fù)雜脊柱畸形的治療效果。譚海濤等采用了CT連續(xù)掃描重建頸椎三維模型，設(shè)計與頸椎椎板吻合的反向模板，模擬最佳螺釘進釘通道，采用導(dǎo)航模板輔助置入椎弓根螺釘164枚，未發(fā)現(xiàn)相關(guān)動脈、神經(jīng)損傷并發(fā)癥，認為數(shù)字化導(dǎo)航模板可提高頸椎置釘?shù)臏蚀_性，增加手術(shù)的安全性。
在關(guān)節(jié)骨折中的應(yīng)用 Zemirline等以增強現(xiàn)實為基礎(chǔ)的導(dǎo)航系統(tǒng)與腕關(guān)節(jié)鏡相結(jié)合清晰顯示腕關(guān)節(jié)骨折情況、位置關(guān)系和移位情況，在復(fù)雜性腕關(guān)節(jié)骨折治療中準確提供切口位置及定位距離，手術(shù)成功率明顯高于傳統(tǒng)手術(shù)方式。張進等利用薄層CT掃描進行三維建模，導(dǎo)入GeomagicStudio和GeomagicSpark進行反求及正向設(shè)計，用3D打印技術(shù)制作出經(jīng)皮導(dǎo)板，精準定位后對肩關(guān)節(jié)傷病患者進行穿刺活檢，實現(xiàn)了肩關(guān)節(jié)周圍的精準穿刺。章瑩等采用CT三維重建、快速成形、三維模擬手術(shù)和個體化預(yù)手術(shù)的基礎(chǔ)上輔助實施肩關(guān)節(jié)骨折手術(shù)治療，認為可縮短骨折復(fù)位固定時間，提高手術(shù)的精確度。
在骨盆骨折中的應(yīng)用 莊巖等針對髖臼后柱解剖結(jié)構(gòu)個體差異大的特點，依據(jù)正常側(cè)髖臼CT數(shù)據(jù)進行三維重建，測量股骨頭直徑、髖臼后壁、近端和遠端3段曲率半徑，基于此結(jié)果設(shè)計出3種解剖型接骨板，較傳統(tǒng)?骨板設(shè)計更為合理。張元智等利用CT三維重建和逆向工程技術(shù)，對志愿者標(biāo)準骶骨前后位進行多層剖分，確定經(jīng)皮橫向骶髂關(guān)節(jié)螺釘最優(yōu)釘?shù)?，治療骶骨縱行骨折患者12例，未發(fā)生血管、神經(jīng)損傷和螺釘松動等并發(fā)癥。韋葛堇等對復(fù)雜骨盆骨折患者行CT掃描重建骨折數(shù)字化模型，模擬骨折復(fù)位，與螺釘、鋼板等內(nèi)固定器材擬合，建立數(shù)字化骨盆虛擬手術(shù)設(shè)計系統(tǒng)，個體化設(shè)計復(fù)雜骨盆骨折手術(shù)方案，使內(nèi)固定器材的植入更加準確和直觀。
在長骨骨折中的應(yīng)用 屠永剛等對脛骨骨折處及對應(yīng)健側(cè)骨骼處采用CT薄層掃描獲得原始數(shù)據(jù)，采用鏡像技術(shù)、成型技術(shù)和數(shù)控模具工程技術(shù)，根據(jù)患者骨骼及骨折的個體化差異設(shè)計出數(shù)字化接骨板，治療脛骨干骺端合并脛骨干復(fù)雜骨折10例，患者踝關(guān)節(jié)和膝關(guān)節(jié)功能恢復(fù)滿意。童德迪等采用術(shù)中即時三維計算機導(dǎo)航輔助吻合血管的腓骨移植術(shù)治療股骨頭缺血壞死，用注冊過的磨鉆清除囊變病灶及硬化骨，磨除過程在計算機顯示屏實時監(jiān)控下完成，可徹底、精確地清除病灶，為保留關(guān)節(jié)提供了新的術(shù)式。林海濱等對股骨遠端骨折患者予以三維重建、骨折復(fù)位，3D打印后進行現(xiàn)實骨骼模型內(nèi)固定，然后導(dǎo)航放置接骨板及螺釘，結(jié)果顯示術(shù)前設(shè)計與現(xiàn)實手術(shù)實施效果相似度極高，可以精確地指導(dǎo)接骨板放置和螺釘固定。
AR技術(shù)的發(fā)展與局限性
AR技術(shù)在骨科領(lǐng)域的最終目標(biāo)是將計算機生成的虛擬場景與術(shù)者所處的真實場景進行有機結(jié)合，通過軟硬件系統(tǒng)的協(xié)調(diào)作用，使術(shù)者以自然的方式在虛擬和真實場景中進行三維交互，術(shù)者能夠精準地計劃與模擬手術(shù)步驟，使手術(shù)更加精準、微創(chuàng)，降低手術(shù)對全身內(nèi)環(huán)境的干擾和造成的局部創(chuàng)傷，減少術(shù)中醫(yī)患雙方接受的放射劑量，提高手術(shù)治療的效果，使骨科手術(shù)的治療效果呈現(xiàn)質(zhì)的飛躍，AR技術(shù)代表了今后骨科的發(fā)展方向，必將對骨科的發(fā)展產(chǎn)生深遠的影響，是精準骨科不可或缺的基礎(chǔ)條件。
創(chuàng)傷骨科中由于創(chuàng)傷的不可預(yù)見性及復(fù)合傷的復(fù)雜性，使AR技術(shù)的應(yīng)用顯得尤為重要，目前的研究多列入國家和省部級科學(xué)基金項目，充分說明國家對AR技術(shù)的重視與大力投入。在國內(nèi)創(chuàng)傷骨科領(lǐng)域，目前研究多集中于利用CT、MR影像進行虛擬現(xiàn)實的三維重建，然后利用AR技術(shù)進行3D打印模型的創(chuàng)建，或先打印出實際骨折部位，利用AR技術(shù)進行模擬手術(shù)操作，從而獲得更加真實的手術(shù)感受，可大幅降低手術(shù)風(fēng)險。但目前研究多集中于虛實配準和可視化兩部分，在跟蹤和交互部分涉及較少，研究問題相對單一，涉及面較窄。此外，AR技術(shù)在創(chuàng)傷骨科仍處于研究發(fā)展階段，遠不能滿足臨床需求，需進一步完善軟硬件性能，虛實場景之間配準誤差、骨折復(fù)位時移位跟蹤問題、術(shù)者與系統(tǒng)之間的交互問題仍舊困擾著臨床和科研工作者。總之，AR技術(shù)在創(chuàng)傷骨科具有廣闊的發(fā)展前景，但仍有漫長的道路需要前行。（來源：醫(yī)脈通）
文獻來源：張愛民， 方艷偉， 張英澤。 增強現(xiàn)實技術(shù)在創(chuàng)傷骨科疾病的應(yīng)用現(xiàn)狀[J]. 中華老年骨科與康復(fù)電子雜志， 2017（2）：120-123.