2023年7月20日，華大智造楊夢團(tuán)隊(duì)在Nature子刊Nature Machine Intelligence上在線發(fā)表了Self-play reinforcement learning guides protein engineering一文，發(fā)布了名為“ EvoPlay”的算法模型。這是繼該團(tuán)隊(duì)在NMI發(fā)表單細(xì)胞對比學(xué)習(xí)自監(jiān)督Concerto算法后，時(shí)隔一年再度發(fā)表AI算法相關(guān)文章。

EvoPlay由“Evo”、“Play”兩個(gè)英文單詞組合而成，前者意為進(jìn)化，指蛋白質(zhì)分子的功能進(jìn)化；Play指的是博弈類搜索算法。EvoPlay實(shí)際上借鑒圍棋自博弈的方式搜索海量蛋白質(zhì)突變空間，并通過結(jié)合不同的功能或結(jié)構(gòu)預(yù)測模擬器，像自動(dòng)駕駛一樣訓(xùn)練一個(gè)智能體完成指定功能增強(qiáng)的蛋白進(jìn)化。研究者將AlphaFold家族模型和AlphaGo家族模型有機(jī)結(jié)合，從而以折疊結(jié)構(gòu)為目標(biāo)高效地設(shè)計(jì)蛋白質(zhì)。

值得一提的是，蛋白質(zhì)的工程化設(shè)計(jì)和改造是基因測序儀的底層基礎(chǔ)，基因測序儀的迭代升級離不開蛋白工程技術(shù)的突破?？茖W(xué)家們通過改造各種各樣的蛋白質(zhì)操縱DNA分子、讀取酶催化的信號從而識別堿基序列。從華大智造測序儀試劑里用到的聚合酶、熒光素酶等各種工具酶，到更廣范圍的生物催化劑、生物傳感器、治療類抗體到生物燃料，都離不開對蛋白質(zhì)的設(shè)計(jì)和改造。

蛋白質(zhì)工程發(fā)展，

從定向進(jìn)化到“從頭設(shè)計(jì)”

21世紀(jì)初迎來了生物催化發(fā)展的第三次突破——體外版本的達(dá)爾文進(jìn)化，定向進(jìn)化——模仿自然選擇的過程，將蛋白質(zhì)或核酸的設(shè)計(jì)引向用戶定義的目標(biāo)。其貢獻(xiàn)者Frances Arnold因此被授予2018年諾貝爾化學(xué)獎(jiǎng)。2019年Arnold又引入了機(jī)器學(xué)習(xí)指導(dǎo)的定向進(jìn)化MLDE （Machine-learning-guided directed evolution）以提高采樣效率來加速進(jìn)化，目前普通MLDE的隨機(jī)采樣效率并不高效，一方面是采樣空間巨大，僅4個(gè)氨基酸位點(diǎn)就能達(dá)到204（160,000）種組合可能性，隨機(jī)采樣方法難以應(yīng)對。另一方面是采樣空間稀疏，在巨大采樣空間中有99%以上序列是無效的，其功能值遠(yuǎn)低于野生型序列或?yàn)?。因此，如何高效地采樣一直是蛋白質(zhì)設(shè)計(jì)領(lǐng)域的重要課題之一。

另外，蛋白質(zhì)的功能與其結(jié)構(gòu)強(qiáng)相關(guān)，2020年發(fā)布的AlphaFold2把人們的注意力重新拉回了對蛋白質(zhì)結(jié)構(gòu)的解析上。AlphaFold2模型的前半部分包含了由MSA（多序列比對）承載的蛋白質(zhì)的進(jìn)化信息，此進(jìn)化信息也越來越多的被證實(shí)可以由蛋白質(zhì)語言預(yù)訓(xùn)練模型的輸出替代，例如近期Meta發(fā)布的ESMFold[2]。接下來，人們獲得了對已知蛋白序列的結(jié)構(gòu)進(jìn)行精準(zhǔn)解析的能力后，使得反過來從指定結(jié)構(gòu)來設(shè)計(jì)合適的蛋白序列成為了可能，即“從頭設(shè)計(jì)”（De Novo Design）。最新的“從頭設(shè)計(jì)”工具包括RFDesign[3]，ProteinMPNN[4]等，都是由華盛頓大學(xué)的David Baker教授團(tuán)隊(duì)所開發(fā)。

強(qiáng)化學(xué)習(xí)在諸多設(shè)計(jì)和優(yōu)化領(lǐng)域都有著廣泛的應(yīng)用，無論是視頻游戲[5]，下棋[6,7]，大語言模型多輪對話聊天（ChatGPT的LLM+RLHF），自動(dòng)駕駛[8]到核聚變控制[9]。此次，華大智造楊夢帶領(lǐng)團(tuán)隊(duì)開發(fā)的EvoPlay算法，把經(jīng)典的強(qiáng)化學(xué)習(xí)應(yīng)用到了蛋白質(zhì)設(shè)計(jì)框架中，不僅能夠增強(qiáng)傳統(tǒng)MLDE的采樣效率，并能夠結(jié)合最新的蛋白質(zhì)結(jié)構(gòu)解析模型（AlphaFold2）直接設(shè)計(jì)出帶目標(biāo)結(jié)構(gòu)的氨基酸序列。EvoPlay既能夠用于傳統(tǒng)定向進(jìn)化，也能夠被納入“從頭設(shè)計(jì)”的框架中。

EvoPlay 與 AlphaZero

視頻1.EvoPlay概念展示。EvoPlay的蛋白質(zhì)序列設(shè)計(jì)過程類似于下棋博弈的過程。在視頻中，隨著每個(gè)棋子的落下，都會(huì)產(chǎn)生新的棋盤局勢，EvoPlay每下一步棋相當(dāng)于在蛋白質(zhì)氨基酸序列的某個(gè)位置進(jìn)行一個(gè)氨基酸的突變。這些突變的序列將映射到代表蛋白質(zhì)功能強(qiáng)度（例如發(fā)光強(qiáng)度，與特定分子的親和力等）的崎嶇地形上。地形的高低代表了蛋白質(zhì)功能的強(qiáng)弱。EvoPlay旨在引導(dǎo)蛋白質(zhì)進(jìn)行高效的突變，使其功能達(dá)到最高峰，就如同在棋盤上取得勝利一樣。（視頻設(shè)計(jì)：楊利華、黃睿、李依格）

DeepMind的下棋策略以及強(qiáng)化學(xué)習(xí)框架是EvoPlay的靈感來源。AlphaGo是DeepMind最重要的AI模型之一。它是一個(gè)基于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的人工智能圍棋程序，2016年，AlphaGo[6]與世界圍棋冠軍李世石進(jìn)行五局三勝的對弈，并以4比1的總比分獲勝，引起了廣泛的關(guān)注和震動(dòng)。這一勝利標(biāo)志著人工智能首次在高度復(fù)雜的游戲中超越人類頂尖選手。

AlphaZero[7]是DeepMind后續(xù)進(jìn)一步發(fā)展的AI模型。它不需要任何人類的經(jīng)驗(yàn)知識，只需要知道游戲規(guī)則便能通過自我對弈和強(qiáng)化學(xué)習(xí)從零開始學(xué)習(xí)并掌握多種棋類游戲，包括圍棋、國際象棋和日本象棋，它以驚人的速度超越了世界上最強(qiáng)大的棋類引擎，并展示了一種通用的自學(xué)習(xí)方法，能夠適應(yīng)不同的領(lǐng)域和問題。

而EvoPlay模型便是借鑒了這種方法，并將其運(yùn)用到了蛋白質(zhì)設(shè)計(jì)領(lǐng)域當(dāng)中。作者將蛋白質(zhì)序列上每一個(gè)位點(diǎn)的突變當(dāng)作是圍棋中的每一次落子，將優(yōu)化的最終序列當(dāng)作是一局圍棋的結(jié)束，通過自我對弈和蒙特卡洛樹搜索在蛋白質(zhì)序列空間中不斷的搜索和優(yōu)化序列，同時(shí)作者使用一個(gè)代理模型來為每一次位點(diǎn)突變進(jìn)行獎(jiǎng)勵(lì)，最終成功生成了大量的具有特定功能的序列。

圖1. EvoPlay 與 AlphaZero

EvoPlay 與 RLHF

在與人的交流反饋中進(jìn)行強(qiáng)化學(xué)習(xí)——RLHF（Reinforcement Learning from Human Feedback），是強(qiáng)化學(xué)習(xí)領(lǐng)域的一個(gè)重要和熱門的研究方向。DeepMind, Microsoft Research, Google Brain等機(jī)構(gòu)都在積極投入RLHF的研究。RLHF是一種以人類反饋為訓(xùn)練基礎(chǔ)的強(qiáng)化學(xué)習(xí)策略，也屬于基于模型（model based）的強(qiáng)化學(xué)習(xí)策略。

RLHF是通過在與人互動(dòng)的過程中獲取人類的反饋，訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型（reward model）并據(jù)此優(yōu)化智能體（agent）的策略。目前流行的訓(xùn)練策略（policy）的算法包括ChatGPT使用的近端策略優(yōu)化（PPO[15] Proximal Policy Optimization），該算法也在EvoPlay基線實(shí)驗(yàn)中有應(yīng)用。與RLHF通過人類反饋訓(xùn)練獎(jiǎng)勵(lì)模型不同，EvoPlay的強(qiáng)化學(xué)習(xí)模式可以被稱為RLPF（Reinforcement Learning from Protein Feedback），即通過蛋白質(zhì)的反饋訓(xùn)練獎(jiǎng)勵(lì)模型。在EvoPlay的RLPF中，環(huán)境獎(jiǎng)勵(lì)同樣由一個(gè)模型來模擬，這個(gè)模型通常被稱為代理模型（surrogate）。通過訓(xùn)練蛋白質(zhì)的功能或者結(jié)構(gòu)相關(guān)的數(shù)據(jù)集得到代理模型，這些數(shù)據(jù)集和已訓(xùn)練環(huán)境模型都包含了蛋白質(zhì)序列與功能或者結(jié)構(gòu)的對應(yīng)關(guān)系，相當(dāng)于強(qiáng)化學(xué)習(xí)的智能體通過改變蛋白質(zhì)序列與蛋白質(zhì)進(jìn)行“交流”，獲取功能以及結(jié)構(gòu)反饋信息。

EvoPlay與超大空間蛋白質(zhì)設(shè)計(jì)

圖2. EvoPlay與超大空間蛋白質(zhì)設(shè)計(jì)

一張19×19的圍棋棋局變數(shù)的空間是3361，相當(dāng)于序列長度為132的蛋白質(zhì)的設(shè)計(jì)空間20132， 這個(gè)空間遠(yuǎn)大于宇宙中的粒子數(shù)1080。如此龐大的組合空間為蛋白質(zhì)設(shè)計(jì)任務(wù)帶來了巨大的挑戰(zhàn)。以本研究的PAB1（Poly(A)-結(jié)合蛋白，全長75個(gè)氨基酸）和GFP（綠色熒光蛋白，全長237個(gè)氨基酸）為例，人們難以為每一個(gè)設(shè)計(jì)的蛋白質(zhì)序列做實(shí)驗(yàn)驗(yàn)證。在強(qiáng)化學(xué)習(xí)框架下，研究人員需要解決的問題是如何構(gòu)建模擬環(huán)境獎(jiǎng)勵(lì)的代理模型，以及如何在不做或者少做實(shí)驗(yàn)的情況下驗(yàn)證該環(huán)境獎(jiǎng)勵(lì)的可靠性。

本文的研究人員構(gòu)造了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）來學(xué)習(xí)這兩個(gè)數(shù)據(jù)集已有的部分實(shí)驗(yàn)數(shù)據(jù)，以此模型作為代理模型。另外值得注意的是，本篇文章的研究人員引入了蛋白質(zhì)語言模型ESM[16,17]來挑選全長位點(diǎn)的子集來縮小設(shè)計(jì)空間，此方法亦應(yīng)用于近期發(fā)表于Nature Biotechnology的抗體設(shè)計(jì)中[18]。其原理是蛋白質(zhì)語言模型在對數(shù)以億級的天然蛋白質(zhì)進(jìn)行無監(jiān)督訓(xùn)練后，能夠根據(jù)所學(xué)到的進(jìn)化信息輸出任意蛋白序列的單個(gè)位點(diǎn)的氨基酸分布評估。對于這兩個(gè)數(shù)據(jù)集，作者采用了TAPE Transformer[19]作為正交的驗(yàn)證指標(biāo)器。

驗(yàn)證結(jié)果表明，EvoPlay在PAB1和GFP兩個(gè)數(shù)據(jù)集上均超越了所有基準(zhǔn)對比算法。例如，Adalead[20]在優(yōu)化過程中頻繁進(jìn)行序列重組，導(dǎo)致其在所有優(yōu)化高點(diǎn)（local peak）附近“沾邊即走”，因此Adalead找到的有效序列比EvoPlay少。貝葉斯優(yōu)化BO[21]在面對蛋白空間這種高維問題時(shí)會(huì)面臨“維度災(zāi)難”問題，導(dǎo)致優(yōu)化效率降低?；趶?qiáng)化學(xué)習(xí)的DyNA-PPO[22] 是2020年序列設(shè)計(jì)領(lǐng)域的最佳模型，但其在優(yōu)化過程中更換代理模型，導(dǎo)致獎(jiǎng)勵(lì)的不確定性增加，與EvoPlay差距明顯。SAC(Soft Actor-Critic)[23]算法旨在最大化獎(jiǎng)勵(lì)和行動(dòng)的不確定性，雖然經(jīng)過改進(jìn)后其效果超過了DyNA-PPO，但其高度的隨機(jī)性，導(dǎo)致它的性能降低。Cbas[24]是基于隱空間表示的變分自編碼器優(yōu)化，其優(yōu)化目標(biāo)不明確。

EvoPlay與AlphaFold2

視頻2. EvoPlay多肽設(shè)計(jì)任務(wù)展示。多肽設(shè)計(jì)任務(wù)的目的是通過策略性的改變多肽的氨基酸序列，以找到與受體蛋白質(zhì)親和力強(qiáng)的多肽。圖中展示了EvoPlay在序列優(yōu)化設(shè)計(jì)過程中，不同的多肽與受體蛋白在空間結(jié)合上的變化趨勢。

在EvoPlay的多肽序列設(shè)計(jì)任務(wù)中，團(tuán)隊(duì)將AlphaFold2作為代理模型。AlphaFold2是DeepMind于2020年開發(fā)的深度學(xué)習(xí)模型，用于蛋白質(zhì)結(jié)構(gòu)預(yù)測，在CASP14的蛋白質(zhì)結(jié)構(gòu)預(yù)測實(shí)驗(yàn)中，它取得了顯著的突破，大大提高了預(yù)測的準(zhǔn)確性。它在蛋白質(zhì)三維結(jié)構(gòu)預(yù)測上的準(zhǔn)確性已經(jīng)達(dá)到實(shí)驗(yàn)室測量的精度，極大地增強(qiáng)了科研人員對蛋白質(zhì)功能、相互作用及疾病機(jī)制的理解。這在藥物設(shè)計(jì)、疾病治療和合成生物學(xué)等領(lǐng)域都有著深遠(yuǎn)的影響。

在EvoPlay的多肽設(shè)計(jì)研究中，團(tuán)隊(duì)利用AlphaFold2構(gòu)建了一個(gè)評估多肽與受體蛋白親和力的評分器，為智能體提供獎(jiǎng)勵(lì)輸出，從而優(yōu)化多肽的設(shè)計(jì)策略。親和力濕實(shí)驗(yàn)驗(yàn)證顯示，在使用相同評分器作為代理模型時(shí)，結(jié)合蒙特卡洛樹搜索（MCTS）和神經(jīng)網(wǎng)絡(luò)的EvoPlay在性能上顯著超越其他基準(zhǔn)方法，如貪心算法[25]和基于模擬退火的MCMC[26]。其設(shè)計(jì)的多肽與受體蛋白的親和力達(dá)到了納摩爾級別。值得注意的是，最近發(fā)布的ESMFold[2]在蛋白結(jié)構(gòu)預(yù)測的精度上接近AlphaFold2。而且，由于其使用蛋白質(zhì)語言模型ESM替代了多序列比對（Multiple Sequences Alignment），ESMFold的響應(yīng)速度顯著提高，使其有望替代AlphaFold2，成為EvoPlay結(jié)構(gòu)相關(guān)任務(wù)的新代理模型。

EvoPlay實(shí)戰(zhàn)1—熒光素酶設(shè)計(jì)

華大智造的研究成果中，其利用EvoPlay前瞻性地設(shè)計(jì)了36個(gè)熒光素酶突變體（其中的29個(gè)變體已申請專利[27]），并通過濕實(shí)驗(yàn)驗(yàn)證，結(jié)果顯示，36個(gè)突變中有26個(gè)比野生型發(fā)出更強(qiáng)的生物熒光；其中，4個(gè)變體比野生型提高了6倍。另外，有11個(gè)突變體優(yōu)于之前的所有變體，其中最好的突變體（GLuc-MT1）比華大之前內(nèi)部突變庫 (見專利[28])中表現(xiàn)最好的變體提高了2倍，或相當(dāng)于比野生型提高7.8倍。此外，作者選取部分突變體進(jìn)行MD模擬，進(jìn)一步揭示了驅(qū)動(dòng)催化活性的一些關(guān)鍵因素，這些分子動(dòng)力學(xué)模擬結(jié)果進(jìn)一步證明了EvoPlay的卓越性能以及其捕捉結(jié)構(gòu)-功能映射中的某些內(nèi)在規(guī)律的能力?？傊珽voPlay在尋找起始庫之外更高適應(yīng)性突變體方面非常有效，并且可以與現(xiàn)有的工程流程相集成。

圖3. 熒光素酶設(shè)計(jì)

EvoPlay實(shí)戰(zhàn)2—多肽設(shè)計(jì)EvoPlay旨在高效地設(shè)計(jì)高質(zhì)量多肽，適用于蛋白質(zhì)-蛋白質(zhì)相互作用、酶設(shè)計(jì)和藥物發(fā)現(xiàn)等多種應(yīng)用領(lǐng)域。另外，為了進(jìn)一步驗(yàn)證了EvoPlay的設(shè)計(jì)多肽方面的性能，作者對于三種基準(zhǔn)算法（EvoPlay, EvoBind[25],MCMC）的每個(gè)起始序列，從按訓(xùn)練損失排序的前五個(gè)設(shè)計(jì)序列中選擇具有最高pLDDT（predicted local distance difference test ）值的多肽，利用BLI（Bio-layer interferometry）技術(shù)檢測多肽與蛋白的親和力，實(shí)驗(yàn)結(jié)果顯示EvoPlay設(shè)計(jì)的五條多肽都表現(xiàn)出針對RNase1蛋白的突出的親和力，其中一條達(dá)到了最高的親和力（Kd=80 nM），遠(yuǎn)高于野生型多肽的親和力（Kd=1uM）。濕實(shí)驗(yàn)室驗(yàn)證結(jié)果表明EvoPlay優(yōu)于EvoBind和MCMC的性能，并且表明EvoPlay能夠有效地捕捉肽-蛋白質(zhì)相互作用界面特征的能力，從而設(shè)計(jì)出高親和力的多肽。

圖4. 多肽設(shè)計(jì)

EvoPlay展望在EvoPlay投稿之后，David Baker團(tuán)隊(duì)在Nature上發(fā)表了標(biāo)題為De novo design of luciferases using deep learning[29]一文，通過針對特定底物搜索得到合適的蛋白質(zhì)骨架，并通過重新設(shè)計(jì)活性位點(diǎn)以及結(jié)合口袋來“從頭設(shè)計(jì)”生成一個(gè)具有一定活性的全新蛋白，離徹底的“無中生有”設(shè)計(jì)蛋白又進(jìn)了一步。此文章中的采樣算法為MCMC，其特點(diǎn)是通過一定概率的“拒絕接受”采樣來增加隨機(jī)性以提高搜索廣度。EvoPlay在多肽任務(wù)設(shè)計(jì)中的性能顯著優(yōu)于MCMC。

我們有理由相信在更多的理性機(jī)制分析以及更精密的結(jié)構(gòu)代理模型的幫助下，EvoPlay的蒙特卡洛樹搜索+神經(jīng)網(wǎng)絡(luò)可以更好地結(jié)合“從頭設(shè)計(jì)”框架，從而為蛋白設(shè)計(jì)領(lǐng)域提供新的思路，也可以用來進(jìn)一步優(yōu)化測序儀里用到的各種工具酶。

圖5.DeepMind與OpenAI發(fā)展路線圖對比

DeepMind作為強(qiáng)化學(xué)習(xí)的集大成者，從2013年玩雅達(dá)利游戲的深度Q網(wǎng)絡(luò)（DQN）[5]到擊敗韓國圍棋冠軍的AlphaGo以及能玩多種棋類的AlphaZero，再到近些年在眾多專業(yè)領(lǐng)域中從0到1的探索（同時(shí)玩棋類和視頻游戲的MuZero[10]，可以兼容對話加玩游戲再加控制機(jī)械臂等的Gato[11]，用于矩陣乘法的AlphaTensor[12]，精通復(fù)雜博弈游戲的DeepNash[13]以及今年的排序算法AlphaDev[14]等等），DeepMind無不在這些特殊領(lǐng)域把強(qiáng)化學(xué)習(xí)發(fā)揮到極致。與DeepMind的眾多特殊領(lǐng)域?qū)２拍Ｐ筒呗孕纬甚r明對比的是OpenAI的通用大模型策略，即以大數(shù)據(jù)為依托，通過預(yù)訓(xùn)練大型的自然語言模型來獲得通用人工智能的目的。OpenAI從2018年開始，一直致力于更新GPT模型，直到2022年11月，全面對齊RLHF（在與人的交流反饋中進(jìn)行強(qiáng)化學(xué)習(xí)）的ChatGPT發(fā)布，標(biāo)志著大語言模型（LLM）時(shí)代的正式來臨， OpenAI的大數(shù)據(jù)通才模型戰(zhàn)略進(jìn)入新的階段。但二者并非涇渭分明，把高效的向前搜索和向后回看用于大語言模型的 Prompt導(dǎo)航，很有可能賦予LLM長程規(guī)劃和自主決策的能力，OpenAI和DeepMind的兩條路線融合，將很有可能推動(dòng)AGI照進(jìn)現(xiàn)實(shí)。

隨著自動(dòng)化生物實(shí)驗(yàn)室的蓬勃發(fā)展，以及微流控技術(shù)廣泛用于分子篩選和進(jìn)化，更多的自動(dòng)駕駛實(shí)驗(yàn)室（Self-driving Lab）即將出現(xiàn)。生命科學(xué)和技術(shù)實(shí)驗(yàn)室中的各個(gè)環(huán)節(jié)，包括實(shí)驗(yàn)的執(zhí)行、數(shù)據(jù)的收集和分析、實(shí)驗(yàn)計(jì)劃的制定等， 如Design-Build-Test-Learn (DBTL)的循環(huán)的自主執(zhí)行，都可以由自動(dòng)化系統(tǒng)和人工智能來完成，而不需要人類進(jìn)行主動(dòng)的干預(yù)或操作。智能體還可以通過LLM等工具整合外部知識，多輪迭代探索，連續(xù)學(xué)習(xí)，創(chuàng)造出滿足人類需求的酶、抗體、小分子、基因序列甚至人造細(xì)胞。人工智能和機(jī)器人有巨大潛力推動(dòng)人類科學(xué)進(jìn)一步探索未知的邊界，期待人工智能（AI）和生物智能（BI）和諧共生。

華大智造楊夢為文章通訊作者，王藝，唐輝，黃立超，潘璐璐，楊理想為文章的共同作者。該項(xiàng)目由科技部重點(diǎn)研發(fā)計(jì)劃BT與IT融合重點(diǎn)專項(xiàng)、深圳市科技創(chuàng)新委員會(huì)重大專項(xiàng)支持。

參考文獻(xiàn)

[1] Yang, K. K., Wu, Z. & Arnold, F. H. Machine-learning-guided directed evolution for protein engineering. Nat. Methods 16, 687-694 (2019).

[2] Lin Z, Akin H, Rao R, et al. Evolutionary-scale prediction of atomic-level protein structure with a language model[J]. Science, 2023, 379(6637): 1123-1130.

[3] Wang, J. et al. Scaffolding protein functional sites using deep learning. Science 377, 387-394 (2022).

[4] Dauparas, J. et al. Robust deep learning–based protein sequence design using ProteinMPNN. Science 378, 49-56 (2022).

[5] Mnih, V. et al. Human-level control through deep reinforcement learning. Nature 518, 529-533 (2015).[6]Silver, D. et al. Mastering the game of go without human knowledge. Nature 550, 354-359 (2017).

[7] Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science 362, 1140-1144 (2018).

[8] Feng, S., Sun, H., Yan, X. et al. Dense reinforcement learning for safety validation of autonomous vehicles. Nature 615, 620–627 (2023).

[9] Degrave, J. et al. Magnetic control of tokamak plasmas through deep reinforcement learning. Nature 602, 414-419 (2022).

[10] Schrittwieser J, Antonoglou I, Hubert T, et al. Mastering atari, go, chess and shogi by planning with a learned model[J]. Nature, 2020, 588(7839): 604-609.

[11] Reed S, Zolna K, Parisotto E, et al. A generalist agent[J]. arXiv preprint arXiv:2205.06175, 2022

[12] Fawzi A, Balog M, Huang A, et al. Discovering faster matrix multiplication algorithms with reinforcement learning[J]. Nature, 2022, 610(7930): 47-53.

[13] Perolat J, De Vylder B, Hennes D, et al. Mastering the game of Stratego with model-free multiagent reinforcement learning[J]. Science, 2022, 378(6623): 990-996.

[14] Mankowitz D J, Michi A, Zhernov A, et al. Faster sorting algorithms discovered using deep reinforcement learning[J]. Nature, 2023, 618(7964): 257-263.

[15] Schulman J, Wolski F, Dhariwal P, et al. Proximal policy optimization algorithms[J]. arXiv preprint arXiv:1707.06347, 2017.

[16] Rives, A. et al. Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. Proc. Natl. Acad. Sci. 118, e2016239118 (2021).

[17] Meier, J. et al. Language models enable zero-shot prediction of the effects of mutations on protein function. Advances in Neural Information Processing Systems 34, 29287-29303 (NeurIPS, 2021).

[18] Hie, B. L. et al. Efficient evolution of human antibodies from general protein language models and sequence information alone. Nat. Biotechnol. (2023).

[19] Rao, R. et al. Evaluating protein transfer learning with TAPE. Advances in neural information processing systems 32 (NeurIPS, 2019).

[20] Sinai, S. et al. AdaLead: A simple and robust adaptive greedy search algorithm for sequence design. Preprint at https://arxiv.org/abs/2010.02141 (2020).

[21] González J, Dai Z, Hennig P, et al. Batch Bayesian optimization via local penalization. In Proc. 38th International Conference on Machine Learning 648-657 (PMLR, 2016).

[22] Angermueller, C. et al. Model-based reinforcement learning for biological sequence design. International conference on learning representations (ICLR, 2020).

[23] Haarnoja T, Zhou A, Abbeel P, et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor[C]//International conference on machine learning. PMLR, 2018: 1861-1870.

[24] Brookes, D., Park, H. & Listgarten, J. Conditioning by adaptive sampling for robust design. In Proc. 36th International Conference on Machine Learning 773-782 (PMLR, 2019).

[25] Bryant, P. & Elofsson, A. EvoBind: in silico directed evolution of peptide binders with AlphaFold. bioRxiv (2022).

[26] Anishchenko, I. et al. De novo protein design by deep network hallucination. Nature 600, 547-552 (2021).

[27] Yang, M., Pan, L. L., Liu, W. J., Wang, Y., et al. 新型橈足類熒光素酶突變體及其應(yīng)用. PCT/CN2023/087445 (2023).

[28] Zhang, W., Dong, Y. L., Li, J., Zheng, Y. & Zhang, W. W. A Novel Gaussian Luciferase and Application. PCT/CN2021/144051 (2021).

[29] Yeh A H W, Norn C, Kipnis Y, et al. De novo design of luciferases using deep learning[J]. Nature, 2023, 614(7949): 774-780.