︿
Top

狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT?

瀏覽次數:16587| 歡迎推文: facebook twitter wechat Linked

科技產業資訊室(iKnow) - 陳家駿、許正乾 發表於 2023年8月10日
facebook twitter wechat twitter

圖、狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT?
 
眾所周知,這一波OpenAI夯遍全球的ChatGPT,係指一種基於生成式預訓練轉換模型(Generative Pre-trained Transformer,簡稱GPT),其字母中的「T」代表Transformer即轉換模型之意。然而,該Transformer模型中極為重要之「自注意力」(Self-attention),卻並非由OpenAI所原創,而是由軟體科技業的領頭羊Google研究實驗室,所創造出來的大型語言模型之核心技術。
 
近年來Google一向積極建構AI相關智財,並以擁有眾多AI相關專利組合技術著稱。此Google所創造出的Transformer模型,為這波聊天機器人在深度學習方面帶來重大突破,該轉換模型神經網路(Transformer Neural Networks)關鍵技術,為ChatGPT-3打下強大基礎,更醞釀出眾多生成式AI (Generative AI),得以有今日的非凡成就,故此一Transformer模型之自注意力機制,Google可謂是原始發明人。
 
按Google旗下科學家2017年在神經資訊處理系統(NIPS: Neural Information Processing Systems,後更名為NeuroIPS)會議上,發表一篇題為《Attention is All You Need》的開創性論文。截至2023年1月,該論文已被引用超過62,000次,成為AI領域被引用次數最多的論文之一。Google不僅創造這項技術,還獲得相關的專利,其中如極為重要之US 10,452,978 B2專利[1](以下稱’978專利),是一件在專利佈局上涵蓋非常全面的專利(請參本刊之前報導:Google Transformer模型專利 – ChatGPT自注意力機制之重要推手),其最早先透過美國臨時案於2017年5月23日與2017年8月4日先行申請,然後在2018年6月28日轉為正式案申請,並在2019年10月22日被核准授予。

這意味著,Google可以透過訴訟來維權,從而挫敗競爭對手。但,Google會用Self-attention專利來挑戰ChatGPT嗎?值得關注。其實,根據別人論文中的技術來開發應用,不一定就會侵犯到該技術中的專利,這還得看實際個案而定,但就Open AI之GPT中Transformer模型的運用,的確帶有一些’978專利申請範圍內之特徵,但是否真的落入請求項的範圍,當然還需視Claim Construction的結果而定。具體而言,Google的’978專利包含系統項、電腦儲存媒介項與方法項,其中又以系統項涵蓋層面最廣,所以就系統項之獨立項1所記載的重要元件,再配合專利說明書中的實施例做統整,現試圖用簡單的方式說明’978專利中Transformer模型的技術特徵。關於系統項的獨立項1所記載的重點,整理如下:
  1. 系統包含一或多計算機,透過計算機執行指令一序列轉導神經網路(Sequence Transduction Neural Network),該序列轉導神經網路將一輸入序列轉導為一輸出序列[2]
  2. 該序列轉導神經網路包含一編碼神經網路(其實就是編碼器),用以接收該輸入序列並產生編碼表示法(其實就是詞嵌入(Word Embedding)[3]),以及一解碼神經網路(其實就是解碼器),用以接收該編碼表示法並產生該輸出序列;
  3. 該編碼神經網路又包含一或多個編碼器子網路(Encoder Subnetwork),用以接收該編碼表示法並處理其對應的輸入位置做位置嵌入(Positional Embedding),而位置嵌入正是透過編碼器自注意力子層(Encoder Self-attention Sub-layer)所接收與執行;以及
  4. 透過編碼器子網路應用一自注意力機制,使多個輸入位置而產生對應的個別輸出,其中該注意力機制又包含計算Q (Query)、K (Key)、V (Value)矩陣等三大步驟,最後將Q、K、V矩陣計算完畢後而產生對應的個別輸出。
關於’978專利的詳細內涵,請參前揭文:「Google Transformer模型專利 – ChatGPT自注意力機制之重要推手」。如從’978專利獨立項1所揭露的技術內容來看,真的與Transformer模型相關的技術特徵只有3與4。換言之,若把3和4抽離,’978專利可能就和習知的深度學習神經網路沒什麼兩樣。簡單來說,Transformer模型的特色就是,透過結合位置嵌入與自注意力機制的運作,而能夠在冗長的輸入序列中,做出很好的語言推理與「理解」(或是「類理解」),例如機器翻譯、人機對話,就是很好的應用場景。
 
過去AI發展因歷經幾波載沉載浮之影響,專利部署相對不那麼被重視,很多學術文獻的發表往往停留在概念驗證階段,而AI平台帶來的典範轉移(paradigm shifts),也僅在少數利基市場(niche markets)中發生,較少去實行專利貨幣化。至2014年AI迎來深度學習革命性破口,於2015年深度神經網路包括圖像辨識、語音識別等方面開始大幅超越人類,一些企業才開始積極建構AI智財組合。而Google在AI相關之智財權保護很積極,其在收購DeepMind後,將許多公開發表或習知概念申請專利[4],隨意簡單檢索其於WIPO的專利至少即有數百多件,甚至 Alphabet子公司DeepMind,也擁有強大的IP智財組合,帶動業者紛紛起而效尤。
 
當時為了證明AI公司的估值合理,風險投資常會建議對一些核心技術申請專利,但10年前由於仍受限於算力和晶片技術的影響,即便有再好的AI演算法,也難以透過當時的技術水平,作出今日各領域令人驚豔的AI創新產品與服務,所以投資AI研發的風險仍大。因此,Google在對待處理許多AI新創時,可能遵循類似的思路,認為拿AI專利起訴別人或許無太大的商業意義,而業界共同努力建立AI生態系統才是王道。換言之,長期以來Google的理念,似乎是抱持著開放其研究成果(available as open source),讓外部研究人員用Google開源的AI相關研究與程式碼,繼續迭代開發,而相對的,這樣也有利於Google的產品與服務,發展為屬於Google自己的技術生態圈。
 
然而,近幾個月來的情況似乎發生了些變化,隨者ChatGPT、DALL-E、Midjourney等具突破性典範轉移工具席捲市場,在在挑戰Google作為AI領域的主導地位,且甚至可能會削弱其重要之搜尋引擎的業務時,Google領導階層的態度可能略有改變,其領導階層認為,Google在努力發布產品的同時,應將新技術保留在內部,DeepMind實驗室研究人員皆認知:「是時候進行競爭,並將知識保留在公司內了(keep knowledge in-house)」。
 
Google迄未提告緣由 1 -- 專利正面之多贏戰略思惟
基本上,在科技領域中專利常被拿來捍衛自家技術,實務上向來是業界的優先策略,以鞏固其市場上合法壟斷之優勢地位,同時也得以此對抗眾多NPE專利怪獸。但OpenAI原先聯合創始人之一的Elon Musk,於2014年率先開放特斯拉的智財,將其所有專利組合開源(open-sourcing)供業界使用,以防止在電動車領域中造成不公平競爭,頓時刷新科技業界的三觀。
 
影響所及,AI雖已發展了一甲子,現正處於重中之重的技術領域中,但不知為何相對較克制,大幅佈局AI相關專利,似非業界認為最優先的項目,即使像知名如OpenAI,似乎也未就核心AI技術布局專利,如用「OpenAI」做檢索似乎難以發現其所獲准之專利(有人認為係因OpenAI最初係非營利組織,較乏積極保護IP的商業思維)。
 
本質上言,各科技大咖最終都會創造出彼此可疊加互利之技術,彼此有把餅做大之win-win雙贏默契,以致於AI相關的專利申請更多是防禦性措施考量,而非攻擊性策略。因此,或許Google的想法是,對軟體框架開源供全世界RD一起開發,基於軟體專利訴訟本來不好打且經濟效益不高,所以與其花時間成本挑起專利戰,不如直接open source讓所有開發者習慣用Google的技術,使各家程式設計師自然成為Google的follower,這可能是Google在專利與商業之間的戰略思維[5]
 
準此,Google在生成式AI的關鍵理論方面,雖然處於領先地位,並且在使用自注意力的核心神經網路技術上占優勢地位,但基於上述之「春秋大義」,因而暫不太可能對OpenAI採取法律行動;由此也使業界儼然瀰漫一股氛圍,即AI生態系統應於整個科技領域中,讓業界人士共同努力互相奠基發展來達成,致力使AI世界變為更美好的多贏營運。

Google迄未提告緣由 2 -- AI專利訴訟先天困境 + 業界「恐怖平衡」
退一步言,縱使不是基於以上的高調理念,那為何科技公司已申請獲准AI專利卻較少去執行?
 
其實像美國這種動輒專利興訟的國家,目前在AI技術領域中的訴訟,比起其他像手機或半導體光電領域動輒有大量官司,兵戎相見的情況相對較少。按AI語言模型本身,本就是一種利用軟體執行演算法的產物,因難以檢視競爭對手的產品以了解其程式開發的邏輯,所以有時很難判斷是否侵犯專利;再加上,訴訟中縱使透過證據開示取得程式碼,但基於所謂AI黑盒子(black box)難題--不知其所以然,舉證上尚有許多不易克服之技術問題;尤其是針對軟體或演算法方面相關專利訴訟,將會面臨專利法第101條適格標的(抽象概念)之障礙與挑戰,經常使權利人提告後,賠了夫人又折兵--官司敗訴專利又被無效[6],所以可能使業界不願輕易發動訴訟。

基於此,Google雖得以訴訟執行專利,但侵權指控如不夠精確,則該法律行動會產生高昂法律成本,甚至可能導致自己的專利被無效。更何況,如Google起訴微軟侵犯專利,微軟也可能會立即拿其他專利來反擊Google,最後可能各自不得不鳴金收兵,這使得科技巨頭在AI各應用領域雖不斷競爭,但彼此卻又相互牽制,不輕易啟動訴訟,故有論者用「互保毀滅」(mutually assured destruction)的「恐怖平衡」來解釋,為何Google還未使用這些專利來對抗競爭對手的緣故,因此,Google或許暫不會就新興生成AI技術捲入法律糾紛,因為訴訟本極具挑戰,公司目前更應專注於如何將技術成功整合到現有業務中[7]
 
有鑑於此,儘管Google涵蓋AI許多領域擁有強大智財組合,並已拔得頭籌獲頒ChatGPT關鍵之「基於注意力序列轉導」(attention-based sequence transduction)之發明專利,但似乎尚未打算在AI領域「展示」其IP實力。然而,隨著生成式AI繼續席捲市場,且微軟已將OpenAI工具整合到其龐大的產品生態系統中,在此種強大的競爭態勢下,「戰爭與和平」的板塊是否將來會有所改變,亟有待觀察。
 
戰國群雄最終難免一戰 -- Google如日後才執行專利之潛在爭議
另一種可能是,因ChatGPT才發行不久,而收費也不過是這幾個月的事,所以Google不急於此時提告,否則可預計損害賠償金額也不高,何況這回合Google和微軟之間的競爭,並非像10年前Apple/Samsung/HTC間的手機大戰,不是那種非得拼出個你死我活的生存戰,因此現在專利權人其實不急著提告,而可慢慢等將來ChatGPT銷售數年之後再說。
 
假設Google的專利可能涵蓋ChatGPT中的應用,則不論是一對一文義侵害全要件原則,還是針對實質相同手段、達成實質相同功能而產生實質相同的結果所構成的均等論,依過去美國專利訴訟中一般原告的立場,其實Google都可能挑出一些落入範圍的使用來主張[8],但Google此時還按兵不動,繼續保持觀望的態度等個幾年,那麼在法律上會衍生出一個專利法的問題,即ChatGPT既已夯得震天價響而無人不知曉,因此身為專利權人的Google顯然知道此狀況,如仍遲遲不提告,這在美國專利訴訟中,是否會有所謂「權利行使怠惰」(Laches)的爭議產生。
 
Google會構成失權效?專利請求權消滅時效 v. 權利行使怠惰
依美國專利法第35 U.S.C. § 286條規定,侵權損賠可以追溯6年,在此請求權消滅時效(Statutory Limitations)期限內,皆得向侵權者主張回溯6年之損害賠償。但另一方面與此有關的觀念是,美國案例法(Case Laws)中,還有一種稱為「權利行使怠惰」之衡平抗辯(Equitable Defense),此種態樣在實務上可構成被告的積極抗辯(Affirmative Defenses),如權利人明知侵權卻在權利上睡眠,導致其嗣後不得再主張,構成法律上的一種「失權效」。
 
專利法上之權利行使怠惰,長久以來為美國侵權理論中的實務課題,針對原告權利人就侵權之存在,事實上已知悉或可得而知(actual or constructive knowledge of the facts),卻不合理的延宕不主張權利而給予不利之對待。此權利行使怠惰抗辯之目的,係為了防止專利權人在權利上怠惰,而讓不知情的侵權者於多年後遭受突擊,因時限拖長情況變動對其在防禦上,產生有失公平之負擔或不利益,蓋被告如能即早面對訴訟,發現侵權可能時,商業上應讓其有機會調整,技術上應讓其轉換或進行迴避設計(Design Around),或讓其有機會作財務上應變,而不致在多年後突被告而措手不及。總之,為維護法律安定與確定性,讓雞養大了再殺的思惟不可取,遂有此權利行使怠惰之抗辯產生。
 
美國最高法院之判例啓示
但也因此,消滅時效和權利怠惰,這二項法律概念間形成衝突,亦即縱使確實有權利怠惰,但是否仍可於請求權消滅時效內提告?專利權人明知被侵權而遲遲不告,延宕多時譬如到了6年時效屆滿前二個月才起訴,是否仍得適用權利怠惰?關於這兩者間之衝突,美國在SCA Hygiene Products Aktiebolag v. First Quality Baby Products案中,專利權人在法定6年內行使權利,但卻遭CAFC巡迴上訴法院認為,其行為構成權利怠惰而不得主張專利,判定即使在請求權消滅時效內,仍得適用權利怠惰。
 
原告不服上訴後,最高法院在2016年核准聽審(grant certiorari),基於2014年Petrella v. Metro-Goldwyn-Mayer案中,最高法院曾判定於著作權請求權消滅時效內,Laches不得再作為抗辯,惟Petrella案因係著作權而非專利,法院對此上訴案,針對權利怠惰於專利請求權消滅時效內得否適用?著作權與專利權間應否有差別待遇?為避免不同案例間有所杆格,才使得最高法院准予聽審[9]。嗣於2017年最高法院駁回CAFC的判決,認為國會既已於立法中明定6年請求權消滅時效而無其他限制,即不得任意額外再適用權利怠惰抗辯,讓6年法定消滅時效縮短,並明確表明智財中專利與著作權應有一致之標準。
 
但另一方面,最高法院也未對「專利權人讓雞養大後再殺」的思惟背書,強調如同Petrella案所述,縱使權利行使怠惰之抗辯無法適用,但普通法中(Common Law)之「衡平禁反言抗辯」(Equitable Estoppel Defense)仍得發揮作用,亦即仍得視個案事實,檢視專利權人之行為有無違反禁反言,以抗衡專利權人先按兵不動,誘使侵權者繼續投資侵權商品,多年後予以突擊衍生鉅大賠償訴訟,導致對其防禦產生有失公平或不利益等種種情況綜合認定,故衡平禁反言原則仍得適用作為抗辯。
 
因此, ChatGPT只要繼續被使用,從起訴日起算專利請求權都可回溯6年,也就是說,消滅時效的6年優於權利怠惰的不行使,專利權人在期限中任何時候起訴,都不需擔心權利怠惰的問題。因此,Google只要其間無任何積極語言或行為可被認定為禁反言,即可好整以暇等待市場大賣之後再來主張。

小結山雨欲來
總之,Google目前尚未提告,仍處於西線無戰事的階段,將來如何尚不得而知,按照過去慣例,各大企業當然都會繼續針對生成式AI,積極開發產品與創新服務,同時也會繼續做好專利組合,以便將來即使被告也可累積籌碼作為談判和反制之工具,美國企業間各科技大咖的合縱連橫頻繁,此消彼長向來變化莫測!況且科技發展充滿變數,一哩之外都是迷霧!因此,將來權利人是否提告的發展甚值關注,吾人且拭目以待。(5854個字;圖1)

註解:

[1] https://patents.google.com/patent/US10452978B2/en?oq=US10452978B2
[2] 轉導或稱轉換,指將一種形式或訊號轉換成另一種形式或訊號的過程。在Google的專利中多次提到「序列轉導 (sequence transduction)」,指的就是輸入一段文字或語音序列後,可轉換為另一種形式的表示而被輸出,即時翻譯就是典型的序列轉導行為。
[3] 所謂的詞嵌入意味將單詞予以編碼成數值型態的向量來表示。
[4] 例如Dropout是用於解決深度學習模型中過度擬合的系統和方法,Google於2013、2016和2019年向USPTO申請並已獲准三項專利。
[5] 不過Google雖不告人,但在最近這一波生成式AI訴訟風波中,因樹大招風其與母公司Alphabet、兄弟公司DeepMind,還是不免被別人告著作權侵害和不正競爭等,係北加州地院之J.L., C.B., K.S., et al., v. Alphabet, Inc., et al案(Case 3:23-cv-03440-LB Filed 07/11/23).
[6] 美國幾件與AI相關專家系統、機器學習、語音與圖像辨識等演算法的專利訴訟個案,如Vehicle Intelligence and Safety LLC v. Mercedes-Benz USA, LLC, Daimler AG 專家系統案(Fed. Cir.2015), 78 F. Supp. 3d 884 (N.D. Ill. 2015); Blue Spike LLC v. Google, Inc. 訊號辨識系統案(No. 14-cv-01650-YGR; No. 16-1054 (Fed. Cir. 2016)); Purepredictive v. H20.AI, Inc 機器學習案(No. 17-cv-03049, N.D. Cal., Aug. 29, 2017); Word to Info v. Apple Siri語音識別/自然語言處理案(Case 2:17-cv-00592-JRG Document 1, 2017).以上好幾件都通不過101適格標的之檢驗。
[7] 康乃爾大學法學教授Matthew D'Amore表示:在此領域申請專利需要克服很多障礙,或許比智能手機時代還要困難…..,短期內暫時不會出現重大的法律衝突,因大型科技公司都正忙於在此領域投入大量資金,且都知道各自都遵循相同的專利策略。
[8] 有趣的是,如向ChatGPT下指令詢問,它「客氣」的回應(甩鍋?):雖然GPT使用Self-attention,但目前還不清楚Google的專利為何,也不知是否涵蓋GPT架構中Self-attention的使用。
[9] 美國最高法院對上訴案大部分並不會受理,通常只挑具有重大法律問題或意義的案件才核准聽審。

作者資訊:
陳家駿  台灣資訊智慧財產權協會 理事長
許正乾  因子數據股份有限公司 共同創辦人


參考資料:
SCA Hygiene Products Aktiebolag v. First Quality Baby Products, 137 S.Ct. 954 (2017)
Petrella v. Metro-Goldwyn-Mayer, Inc., 134 S.Ct. 1962 (2014)
Can Google Challenge OpenAI With Self-Attention Patent? Forbes, 2023/01/23.
Thomas Maxwell, Google's patents cover tech in ChatGPT. But fighting rivals in court isn't worth it, legal experts say. Insider, 2023/05/27.
Can Google Challenge OpenAI? Electronic Smith, 2023/02/02.
Inside Google’s Decade-long Attempt to Patent Dropout. PI IP LAW, 2022/11/23.
AI人工智慧深度、強化學習相關專利及美國先期機器學習侵權訴訟案例分析。月旦民商法雜誌,2019/09(65期)p.102-136


相關文章:
1. Google Transformer模型專利 – ChatGPT自注意力機制之重要推手
2. 蘋果最新專利披露其正在研究捲曲式iPhone,而非折疊式iPhone
3. 以ChatGPT撰擬專利可行性評估及其法律風險
4. 以ChatGPT檢索專利可行評估及其法律風險
5. Midjourney與Stability AI擴散模型自動生成引爆著作侵權疑雲?——圖形影像篇
6. 最新專利顯示,蘋果想在AirPods耳機盒增加觸控螢幕,可能讓iPod起死回生,創造新市場

 
歡迎來粉絲團按讚!
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述,僅為提供更多訊息,也不構成任何投資建議。
2.著作權所有,非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載,本中心保留一切法律追訴權利。