狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT？

關鍵字：()；；()；()；；()；(；；)；

瀏覽次數：16924｜歡迎推文：

科技產業資訊室(iKnow) - 陳家駿、許正乾發表於 2023年8月10日

圖、狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT？

眾所周知，這一波OpenAI夯遍全球的ChatGPT，係指一種基於生成式預訓練轉換模型(Generative Pre-trained Transformer，簡稱GPT)，其字母中的「T」代表Transformer即轉換模型之意。然而，該Transformer模型中極為重要之「自注意力」(Self-attention)，卻並非由OpenAI所原創，而是由軟體科技業的領頭羊Google研究實驗室，所創造出來的大型語言模型之核心技術。

近年來Google一向積極建構AI相關智財，並以擁有眾多AI相關專利組合技術著稱。此Google所創造出的Transformer模型，為這波聊天機器人在深度學習方面帶來重大突破，該轉換模型神經網路(Transformer Neural Networks)關鍵技術，為ChatGPT-3打下強大基礎，更醞釀出眾多生成式AI (Generative AI)，得以有今日的非凡成就，故此一Transformer模型之自注意力機制，Google可謂是原始發明人。

按Google旗下科學家2017年在神經資訊處理系統（NIPS: Neural Information Processing Systems，後更名為NeuroIPS）會議上，發表一篇題為《Attention is All You Need》的開創性論文。截至2023年1月，該論文已被引用超過62,000次，成為AI領域被引用次數最多的論文之一。Google不僅創造這項技術，還獲得相關的專利，其中如極為重要之US 10,452,978 B2專利[1]（以下稱’978專利），是一件在專利佈局上涵蓋非常全面的專利(請參本刊之前報導：Google Transformer模型專利 – ChatGPT自注意力機制之重要推手)，其最早先透過美國臨時案於2017年5月23日與2017年8月4日先行申請，然後在2018年6月28日轉為正式案申請，並在2019年10月22日被核准授予。

這意味著，Google可以透過訴訟來維權，從而挫敗競爭對手。但，Google會用Self-attention專利來挑戰ChatGPT嗎？值得關注。其實，根據別人論文中的技術來開發應用，不一定就會侵犯到該技術中的專利，這還得看實際個案而定，但就Open AI之GPT中Transformer模型的運用，的確帶有一些’978專利申請範圍內之特徵，但是否真的落入請求項的範圍，當然還需視Claim Construction的結果而定。具體而言，Google的’978專利包含系統項、電腦儲存媒介項與方法項，其中又以系統項涵蓋層面最廣，所以就系統項之獨立項1所記載的重要元件，再配合專利說明書中的實施例做統整，現試圖用簡單的方式說明’978專利中Transformer模型的技術特徵。關於系統項的獨立項1所記載的重點，整理如下：

系統包含一或多計算機，透過計算機執行指令一序列轉導神經網路(Sequence Transduction Neural Network)，該序列轉導神經網路將一輸入序列轉導為一輸出序列[2]；
該序列轉導神經網路包含一編碼神經網路（其實就是編碼器），用以接收該輸入序列並產生編碼表示法（其實就是詞嵌入(Word Embedding)[3]），以及一解碼神經網路（其實就是解碼器），用以接收該編碼表示法並產生該輸出序列；
該編碼神經網路又包含一或多個編碼器子網路(Encoder Subnetwork)，用以接收該編碼表示法並處理其對應的輸入位置做位置嵌入(Positional Embedding)，而位置嵌入正是透過編碼器自注意力子層(Encoder Self-attention Sub-layer)所接收與執行；以及
透過編碼器子網路應用一自注意力機制，使多個輸入位置而產生對應的個別輸出，其中該注意力機制又包含計算Q (Query)、K (Key)、V (Value)矩陣等三大步驟，最後將Q、K、V矩陣計算完畢後而產生對應的個別輸出。

關於’978專利的詳細內涵，請參前揭文：「Google Transformer模型專利 – ChatGPT自注意力機制之重要推手」。如從’978專利獨立項1所揭露的技術內容來看，真的與Transformer模型相關的技術特徵只有3與4。換言之，若把3和4抽離，’978專利可能就和習知的深度學習神經網路沒什麼兩樣。簡單來說，Transformer模型的特色就是，透過結合位置嵌入與自注意力機制的運作，而能夠在冗長的輸入序列中，做出很好的語言推理與「理解」（或是「類理解」），例如機器翻譯、人機對話，就是很好的應用場景。

過去AI發展因歷經幾波載沉載浮之影響，專利部署相對不那麼被重視，很多學術文獻的發表往往停留在概念驗證階段，而AI平台帶來的典範轉移(paradigm shifts)，也僅在少數利基市場(niche markets)中發生，較少去實行專利貨幣化。至2014年AI迎來深度學習革命性破口，於2015年深度神經網路包括圖像辨識、語音識別等方面開始大幅超越人類，一些企業才開始積極建構AI智財組合。而Google在AI相關之智財權保護很積極，其在收購DeepMind後，將許多公開發表或習知概念申請專利[4]，隨意簡單檢索其於WIPO的專利至少即有數百多件，甚至 Alphabet子公司DeepMind，也擁有強大的IP智財組合，帶動業者紛紛起而效尤。

當時為了證明AI公司的估值合理，風險投資常會建議對一些核心技術申請專利，但10年前由於仍受限於算力和晶片技術的影響，即便有再好的AI演算法，也難以透過當時的技術水平，作出今日各領域令人驚豔的AI創新產品與服務，所以投資AI研發的風險仍大。因此，Google在對待處理許多AI新創時，可能遵循類似的思路，認為拿AI專利起訴別人或許無太大的商業意義，而業界共同努力建立AI生態系統才是王道。換言之，長期以來Google的理念，似乎是抱持著開放其研究成果(available as open source)，讓外部研究人員用Google開源的AI相關研究與程式碼，繼續迭代開發，而相對的，這樣也有利於Google的產品與服務，發展為屬於Google自己的技術生態圈。

然而，近幾個月來的情況似乎發生了些變化，隨者ChatGPT、DALL-E、Midjourney等具突破性典範轉移工具席捲市場，在在挑戰Google作為AI領域的主導地位，且甚至可能會削弱其重要之搜尋引擎的業務時，Google領導階層的態度可能略有改變，其領導階層認為，Google在努力發布產品的同時，應將新技術保留在內部，DeepMind實驗室研究人員皆認知：「是時候進行競爭，並將知識保留在公司內了(keep knowledge in-house)」。

Google迄未提告緣由 1 -- 專利正面之多贏戰略思惟
基本上，在科技領域中專利常被拿來捍衛自家技術，實務上向來是業界的優先策略，以鞏固其市場上合法壟斷之優勢地位，同時也得以此對抗眾多NPE專利怪獸。但OpenAI原先聯合創始人之一的Elon Musk，於2014年率先開放特斯拉的智財，將其所有專利組合開源(open-sourcing)供業界使用，以防止在電動車領域中造成不公平競爭，頓時刷新科技業界的三觀。

影響所及，AI雖已發展了一甲子，現正處於重中之重的技術領域中，但不知為何相對較克制，大幅佈局AI相關專利，似非業界認為最優先的項目，即使像知名如OpenAI，似乎也未就核心AI技術布局專利，如用「OpenAI」做檢索似乎難以發現其所獲准之專利（有人認為係因OpenAI最初係非營利組織，較乏積極保護IP的商業思維）。

本質上言，各科技大咖最終都會創造出彼此可疊加互利之技術，彼此有把餅做大之win-win雙贏默契，以致於AI相關的專利申請更多是防禦性措施考量，而非攻擊性策略。因此，或許Google的想法是，對軟體框架開源供全世界RD一起開發，基於軟體專利訴訟本來不好打且經濟效益不高，所以與其花時間成本挑起專利戰，不如直接open source讓所有開發者習慣用Google的技術，使各家程式設計師自然成為Google的follower，這可能是Google在專利與商業之間的戰略思維[5]。

準此，Google在生成式AI的關鍵理論方面，雖然處於領先地位，並且在使用自注意力的核心神經網路技術上占優勢地位，但基於上述之「春秋大義」，因而暫不太可能對OpenAI採取法律行動；由此也使業界儼然瀰漫一股氛圍，即AI生態系統應於整個科技領域中，讓業界人士共同努力互相奠基發展來達成，致力使AI世界變為更美好的多贏營運。

Google迄未提告緣由 2 -- AI專利訴訟先天困境 + 業界「恐怖平衡」
退一步言，縱使不是基於以上的高調理念，那為何科技公司已申請獲准AI專利卻較少去執行？

其實像美國這種動輒專利興訟的國家，目前在AI技術領域中的訴訟，比起其他像手機或半導體光電領域動輒有大量官司，兵戎相見的情況相對較少。按AI語言模型本身，本就是一種利用軟體執行演算法的產物，因難以檢視競爭對手的產品以了解其程式開發的邏輯，所以有時很難判斷是否侵犯專利；再加上，訴訟中縱使透過證據開示取得程式碼，但基於所謂AI黑盒子(black box)難題--不知其所以然，舉證上尚有許多不易克服之技術問題；尤其是針對軟體或演算法方面相關專利訴訟，將會面臨專利法第101條適格標的（抽象概念）之障礙與挑戰，經常使權利人提告後，賠了夫人又折兵--官司敗訴專利又被無效[6]，所以可能使業界不願輕易發動訴訟。

基於此，Google雖得以訴訟執行專利，但侵權指控如不夠精確，則該法律行動會產生高昂法律成本，甚至可能導致自己的專利被無效。更何況，如Google起訴微軟侵犯專利，微軟也可能會立即拿其他專利來反擊Google，最後可能各自不得不鳴金收兵，這使得科技巨頭在AI各應用領域雖不斷競爭，但彼此卻又相互牽制，不輕易啟動訴訟，故有論者用「互保毀滅」(mutually assured destruction)的「恐怖平衡」來解釋，為何Google還未使用這些專利來對抗競爭對手的緣故，因此，Google或許暫不會就新興生成AI技術捲入法律糾紛，因為訴訟本極具挑戰，公司目前更應專注於如何將技術成功整合到現有業務中[7]。

有鑑於此，儘管Google涵蓋AI許多領域擁有強大智財組合，並已拔得頭籌獲頒ChatGPT關鍵之「基於注意力序列轉導」(attention-based sequence transduction)之發明專利，但似乎尚未打算在AI領域「展示」其IP實力。然而，隨著生成式AI繼續席捲市場，且微軟已將OpenAI工具整合到其龐大的產品生態系統中，在此種強大的競爭態勢下，「戰爭與和平」的板塊是否將來會有所改變，亟有待觀察。

戰國群雄最終難免一戰？ -- Google如日後才執行專利之潛在爭議
另一種可能是，因ChatGPT才發行不久，而收費也不過是這幾個月的事，所以Google不急於此時提告，否則可預計損害賠償金額也不高，何況這回合Google和微軟之間的競爭，並非像10年前Apple/Samsung/HTC間的手機大戰，不是那種非得拼出個你死我活的生存戰，因此現在專利權人其實不急著提告，而可慢慢等將來ChatGPT銷售數年之後再說。

假設Google的專利可能涵蓋ChatGPT中的應用，則不論是一對一文義侵害全要件原則，還是針對實質相同手段、達成實質相同功能而產生實質相同的結果所構成的均等論，依過去美國專利訴訟中一般原告的立場，其實Google都可能挑出一些落入範圍的使用來主張[8]，但Google此時還按兵不動，繼續保持觀望的態度等個幾年，那麼在法律上會衍生出一個專利法的問題，即ChatGPT既已夯得震天價響而無人不知曉，因此身為專利權人的Google顯然知道此狀況，如仍遲遲不提告，這在美國專利訴訟中，是否會有所謂「權利行使怠惰」(Laches)的爭議產生。

Google會構成失權效？專利請求權消滅時效 v. 權利行使怠惰
依美國專利法第35 U.S.C. § 286條規定，侵權損賠可以追溯6年，在此請求權消滅時效(Statutory Limitations)期限內，皆得向侵權者主張回溯6年之損害賠償。但另一方面與此有關的觀念是，美國案例法(Case Laws)中，還有一種稱為「權利行使怠惰」之衡平抗辯(Equitable Defense)，此種態樣在實務上可構成被告的積極抗辯(Affirmative Defenses)，如權利人明知侵權卻在權利上睡眠，導致其嗣後不得再主張，構成法律上的一種「失權效」。

專利法上之權利行使怠惰，長久以來為美國侵權理論中的實務課題，針對原告權利人就侵權之存在，事實上已知悉或可得而知(actual or constructive knowledge of the facts)，卻不合理的延宕不主張權利而給予不利之對待。此權利行使怠惰抗辯之目的，係為了防止專利權人在權利上怠惰，而讓不知情的侵權者於多年後遭受突擊，因時限拖長情況變動對其在防禦上，產生有失公平之負擔或不利益，蓋被告如能即早面對訴訟，發現侵權可能時，商業上應讓其有機會調整，技術上應讓其轉換或進行迴避設計(Design Around)，或讓其有機會作財務上應變，而不致在多年後突被告而措手不及。總之，為維護法律安定與確定性，讓雞養大了再殺的思惟不可取，遂有此權利行使怠惰之抗辯產生。

美國最高法院之判例啓示
但也因此，消滅時效和權利怠惰，這二項法律概念間形成衝突，亦即縱使確實有權利怠惰，但是否仍可於請求權消滅時效內提告？專利權人明知被侵權而遲遲不告，延宕多時譬如到了6年時效屆滿前二個月才起訴，是否仍得適用權利怠惰？關於這兩者間之衝突，美國在SCA Hygiene Products Aktiebolag v. First Quality Baby Products案中，專利權人在法定6年內行使權利，但卻遭CAFC巡迴上訴法院認為，其行為構成權利怠惰而不得主張專利，判定即使在請求權消滅時效內，仍得適用權利怠惰。

原告不服上訴後，最高法院在2016年核准聽審(grant certiorari)，基於2014年Petrella v. Metro-Goldwyn-Mayer案中，最高法院曾判定於著作權請求權消滅時效內，Laches不得再作為抗辯，惟Petrella案因係著作權而非專利，法院對此上訴案，針對權利怠惰於專利請求權消滅時效內得否適用？著作權與專利權間應否有差別待遇？為避免不同案例間有所杆格，才使得最高法院准予聽審[9]。嗣於2017年最高法院駁回CAFC的判決，認為國會既已於立法中明定6年請求權消滅時效而無其他限制，即不得任意額外再適用權利怠惰抗辯，讓6年法定消滅時效縮短，並明確表明智財中專利與著作權應有一致之標準。

但另一方面，最高法院也未對「專利權人讓雞養大後再殺」的思惟背書，強調如同Petrella案所述，縱使權利行使怠惰之抗辯無法適用，但普通法中(Common Law)之「衡平禁反言抗辯」(Equitable Estoppel Defense)仍得發揮作用，亦即仍得視個案事實，檢視專利權人之行為有無違反禁反言，以抗衡專利權人先按兵不動，誘使侵權者繼續投資侵權商品，多年後予以突擊衍生鉅大賠償訴訟，導致對其防禦產生有失公平或不利益等種種情況綜合認定，故衡平禁反言原則仍得適用作為抗辯。

因此， ChatGPT只要繼續被使用，從起訴日起算專利請求權都可回溯6年，也就是說，消滅時效的6年優於權利怠惰的不行使，專利權人在期限中任何時候起訴，都不需擔心權利怠惰的問題。因此，Google只要其間無任何積極語言或行為可被認定為禁反言，即可好整以暇等待市場大賣之後再來主張。

小結：山雨欲來？
總之，Google目前尚未提告，仍處於西線無戰事的階段，將來如何尚不得而知，按照過去慣例，各大企業當然都會繼續針對生成式AI，積極開發產品與創新服務，同時也會繼續做好專利組合，以便將來即使被告也可累積籌碼作為談判和反制之工具，美國企業間各科技大咖的合縱連橫頻繁，此消彼長向來變化莫測！況且科技發展充滿變數，一哩之外都是迷霧！因此，將來權利人是否提告的發展甚值關注，吾人且拭目以待。(5854個字；圖1)

註解：

[1] https://patents.google.com/patent/US10452978B2/en?oq=US10452978B2

[2] 轉導或稱轉換，指將一種形式或訊號轉換成另一種形式或訊號的過程。在Google的專利中多次提到「序列轉導 (sequence transduction)」，指的就是輸入一段文字或語音序列後，可轉換為另一種形式的表示而被輸出，即時翻譯就是典型的序列轉導行為。

[3] 所謂的詞嵌入意味將單詞予以編碼成數值型態的向量來表示。
[4] 例如Dropout是用於解決深度學習模型中過度擬合的系統和方法，Google於2013、2016和2019年向USPTO申請並已獲准三項專利。
[5] 不過Google雖不告人，但在最近這一波生成式AI訴訟風波中，因樹大招風其與母公司Alphabet、兄弟公司DeepMind，還是不免被別人告著作權侵害和不正競爭等，係北加州地院之J.L., C.B., K.S., et al., v. Alphabet, Inc., et al案(Case 3:23-cv-03440-LB Filed 07/11/23).
[6] 美國幾件與AI相關專家系統、機器學習、語音與圖像辨識等演算法的專利訴訟個案，如Vehicle Intelligence and Safety LLC v. Mercedes-Benz USA, LLC, Daimler AG 專家系統案(Fed. Cir.2015), 78 F. Supp. 3d 884 (N.D. Ill. 2015); Blue Spike LLC v. Google, Inc. 訊號辨識系統案(No. 14-cv-01650-YGR; No. 16-1054 (Fed. Cir. 2016)); Purepredictive v. H20.AI, Inc 機器學習案(No. 17-cv-03049, N.D. Cal., Aug. 29, 2017); Word to Info v. Apple Siri語音識別/自然語言處理案(Case 2:17-cv-00592-JRG Document 1, 2017).以上好幾件都通不過101適格標的之檢驗。
[7] 康乃爾大學法學教授Matthew D'Amore表示：在此領域申請專利需要克服很多障礙，或許比智能手機時代還要困難…..，短期內暫時不會出現重大的法律衝突，因大型科技公司都正忙於在此領域投入大量資金，且都知道各自都遵循相同的專利策略。
[8] 有趣的是，如向ChatGPT下指令詢問，它「客氣」的回應(甩鍋？)：雖然GPT使用Self-attention，但目前還不清楚Google的專利為何，也不知是否涵蓋GPT架構中Self-attention的使用。
[9] 美國最高法院對上訴案大部分並不會受理，通常只挑具有重大法律問題或意義的案件才核准聽審。

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾因子數據股份有限公司共同創辦人

參考資料：
SCA Hygiene Products Aktiebolag v. First Quality Baby Products, 137 S.Ct. 954 (2017)
Petrella v. Metro-Goldwyn-Mayer, Inc., 134 S.Ct. 1962 (2014)
Can Google Challenge OpenAI With Self-Attention Patent? Forbes, 2023/01/23.
Thomas Maxwell, Google's patents cover tech in ChatGPT. But fighting rivals in court isn't worth it, legal experts say. Insider, 2023/05/27.
Can Google Challenge OpenAI? Electronic Smith, 2023/02/02.
Inside Google’s Decade-long Attempt to Patent Dropout. PI IP LAW, 2022/11/23.
AI人工智慧深度、強化學習相關專利及美國先期機器學習侵權訴訟案例分析。月旦民商法雜誌，2019/09(65期)p.102-136。

相關文章：
1. Google Transformer模型專利 – ChatGPT自注意力機制之重要推手
2. 蘋果最新專利披露其正在研究捲曲式iPhone，而非折疊式iPhone
3. 以ChatGPT撰擬專利可行性評估及其法律風險
4. 以ChatGPT檢索專利可行評估及其法律風險
5. Midjourney與Stability AI擴散模型自動生成引爆著作侵權疑雲？——圖形影像篇
6. 最新專利顯示，蘋果想在AirPods耳機盒增加觸控螢幕，可能讓iPod起死回生，創造新市場

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------