-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當前位置：首頁 > 創(chuàng)意學院 > 技術(shù) > 專題列表 > 正文
transformer decoder的構(gòu)造
預訓練的時候做語言模型的訓練
GPT2用更多更深的block
BERT是做NLU，generation做不了
GPT天生就是語言模型，非常適合做generation的任務，在bert里能做的在gpt里也可以做
gpt2訓練寫材料（gpt2訓練寫小說）
發(fā)布時間：2023-03-19 06:36:59
稿源：
創(chuàng)意嶺 閱讀：
138
問大家
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt2訓練寫材料的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng)：https://ai.de1919.com
本文目錄:
一、GPT的auto-regressive語言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進？
1） GPT
在Bert 之后，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有著驚艷的表現(xiàn)，其生成的文本在上下文連貫性和情感表達上都超過了人們對目前階段語言模型的預期。僅從模型架構(gòu)而言，GPT-2 并沒有特別新穎的架構(gòu)，它和 transformer 的 Decoder 類似。相比較于GPT-1，GPT -2 使用了更大的預料，更大和更深的模型。
從transformer的decoder里移除了decoder對encoder的attention部分。也就是消除掉了seq2seq的過程。
GPT是一個語言模型，每一個時刻只能看見當前時刻前面時刻的信息，是一個auto regressive的過程。
GPT2，hidden state的大小有變化，根據(jù)層數(shù)的多少有small，medum，large，extra large的劃分。
GPT的訓練過程是交叉式的預測下一個單詞，測試的時候是輸入一個句子生成另外一個句子。
GPT的預訓練就是訓練一個語言模型。而bert的預訓練是masked language model和nsp的任務。
GPT由多個decocer block組成，每一個decoder block由masked self-attention和feed forward neural network組成。
一個timestamp的hidden state經(jīng)過線性層轉(zhuǎn)換為vocab size大小的embedding， 然后經(jīng)過softmax，算出每個詞匯的概率，找出其中概率最大的詞作為預測輸出，然后下一個時刻的詞作為真實輸出，計算兩者的cross entropy來訓練模型。
每一個timestamp后面的位置都mask掉，設置一個負無群大的值，做softmax的時候，該位置的值就為0。
2）總結(jié)
除了GPT-2 ，GPT-3依舊延續(xù)自己的單向語言模型訓練方式，只不過把模型尺寸增大到了1750億，并且使用45TB數(shù)據(jù)進行訓練
二、playground怎么找到gpt
如果您想在Playground中使用GPT模型，可以按照以下步驟進行：
1. 打開Google Colab（https://colab.research.google.com/）或者Jupyter Notebook等Python編程環(huán)境。
2. 導入相關(guān)的Python庫和GPT模型。例如，可以使用Hugging Face提供的transformers庫來加載預訓練好的GPT-2模型：
```python
!pip install transformers
from transformers import GPT2Tokenizer, GPT2LMHeadModel
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2', pad_token_id=tokenizer.eos_token_id)
```
3. 輸入文本并生成結(jié)果。通過調(diào)用model.generate()方法即可對輸入文本進行自動補全、摘要生成等任務，并輸出相應的結(jié)果。
```python
input_text = "Hello, my name is John and I"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output_ids = model.generate(
input_ids,
max_length=50,
temperature=0.7,
num_beams=5,
no_repeat_ngram_size=4,
)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)
```
需要注意的是，在使用GPT模型時，需要確保計算資源充足，并且遵守相關(guān)法律法規(guī)和道德準則，不得用于非法活動或侵犯他人權(quán)益。
三、《預訓練周刊》第33期：預訓練語言模型的高效分層域適應
關(guān)于周刊
本期周刊，我們選擇了9篇預訓練相關(guān)的論文，涉及詞匯遷移、常識問答、多模態(tài)訓練、層次訓練、對比學習、圖像分割、圖文模型、蛋白質(zhì)作用和免疫特征表示的 探索 。此外，在研究動態(tài)方面，我們選擇了2篇預訓練資訊，將介紹大模型競爭和視覺算法年度回顧方面的一些最新內(nèi)容。最后，在資源推薦方面，我們選擇了1篇預訓練資源，將介紹跨語言摘要方面的一些最新內(nèi)容。
本期貢獻者：申德周 翟珂 吳新剛
論文推薦
標題：俄羅斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微調(diào)Transformer：詞匯遷移）
簡介：本文討論了巨大型預訓練模型為下游任務微調(diào)而引發(fā)遷移學習的 探索 之一：詞匯遷移。自然語言處理領(lǐng)域最新進展中Transformer已成為絕對主流。這些模型的大多數(shù)實際自然語言處理應用通常是通過遷移學習實現(xiàn)的。本文研究了用于微調(diào)的語料庫特定標記化是否會提高模型的最終性能。作者通過一系列的詞匯表優(yōu)化和遷移實驗，證明了這種詞匯表優(yōu)化和遷移策略可以提高模型的性能。作者稱之為：在遷移學習領(lǐng)域開創(chuàng)了詞匯遷移的這一方向。
論文地址：「鏈接」
標題：加州大學 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形轉(zhuǎn)換和一致性優(yōu)化的小樣本常識問答）
簡介：本文在常識問答（CQA）方向研究預訓練語言模型中的知識提取。作者將重點放在更好地利用預訓練語言模型中存儲的知識。雖然研究人員發(fā)現(xiàn)，通過讓預先訓練的語言模型填充精心設計的關(guān)系提取和文本分類提示的空白，可以提取嵌入在預訓練的語言模型中的知識，但目前尚不清楚作者是否可以在CQA中采用這種范式，其中輸入和輸出的形式更加靈活。為此，作者研究了四種可以將自然問題翻譯成完形填空式句子的翻譯方法，以更好地從語言模型中獲取常識性知識，包括基于句法的模型、無監(jiān)督神經(jīng)模型和兩種監(jiān)督神經(jīng)模型。此外，為結(jié)合不同的翻譯方法，作者提議鼓勵使用未標記數(shù)據(jù)對不同翻譯問題進行模型一致性的預測。實驗證明了作者的方法在三個CQA數(shù)據(jù)集上的有效性。
論文地址：「鏈接」
標題：威斯康星大學、微軟等 | RegionCLIP: Region-based Language-Image Pretraining（基于區(qū)域的語言圖像預訓練）
簡介：本文研究了基于識別圖像區(qū)域的語言圖像預訓練模型。業(yè)界使用“圖像-文本對”的對比語言圖像預訓練 (CLIP)在零樣本和遷移學習中的圖像分類方面取得了令人印象深刻的結(jié)果。然而，作者表明直接應用此類模型來識別圖像區(qū)域以進行對象檢測會導致性能不佳，因為存在域偏移：CLIP 被訓練以將圖像作為一個整體與文本描述進行匹配，而沒有捕獲圖像之間的細粒度對齊區(qū)域和文本跨度。為了緩解這個問題，作者提出了一種稱為 RegionCLIP 的新方法，該方法顯著擴展了 CLIP 以學習區(qū)域級視覺表示，從而實現(xiàn)圖像區(qū)域和文本概念之間的細粒度對齊。作者的方法利用 CLIP 模型將圖像區(qū)域與模板標題匹配，然后預訓練作者的模型以在特征空間中對齊這些區(qū)域-文本對。當將作者的預訓練模型轉(zhuǎn)移到開放詞匯對象檢測任務時，作者的方法在 COCO 和 LVIS 數(shù)據(jù)集上的新類別分別顯著優(yōu)于現(xiàn)有技術(shù) 3.8 AP50 和 2.2 AP。
論文地址：「鏈接」
代碼地址：https://github.com/microsoft/RegionCLIP
標題：艾倫AI研究所、慕尼黑大學 | Efficient Hierarchical Domain Adaptation for Pretrained Language Models（預訓練語言模型的高效分層域適應）
簡介：本文研究了以分層樹結(jié)構(gòu)的域表示實現(xiàn)預訓練語言模型的分層。生成式的語言模型，在不同的通用領(lǐng)域語料庫上進行訓練，然而這就限制了它們對更窄領(lǐng)域的適用性，之前的工作表明，持續(xù)的領(lǐng)域內(nèi)訓練可以提供進一步的收益。在本文中，作者介紹了一種使用計算效率高的適配器方法將域適應擴展到許多不同域的方法。作者的方法基于對文本域部分重疊的觀察，作者將域表示為分層樹結(jié)構(gòu)，其中樹中的每個節(jié)點都與一組適配器權(quán)重相關(guān)聯(lián)。當與凍結(jié)的預訓練語言模型相結(jié)合時，這種方法可以實現(xiàn)相關(guān)領(lǐng)域之間的參數(shù)共享，同時避免不相關(guān)領(lǐng)域之間的負面干擾。該方法很高效：對于 D 個域，計算成本為 O(log(D))。GPT-2 的實驗結(jié)果和 C4 中 100 個最具代表性的網(wǎng)站中的大部分顯示了域內(nèi)的全面改進。作者還為保留域提供了一種推理時間算法，并表明對通過樹的多條路徑進行平均可以進一步提高泛化效果，同時僅增加推理的邊際成本。
論文地址：「鏈接」
標題：谷歌、亞馬遜等 | Supervised Graph Contrastive Pretraining for Text Classification（用于文本分類的有監(jiān)督圖對比預訓練）
簡介：本文介紹了用于文本分類的對比預訓練技術(shù)。但是，通常可以使用來自與當前任務共享標簽語義的相關(guān)任務的標記數(shù)據(jù)。作者假設有效地使用這些標記數(shù)據(jù)可以更好地概括當前任務。在本文中，作者提出了一種通過基于圖的監(jiān)督對比學習方法有效利用來自相關(guān)任務的標記數(shù)據(jù)的新方法。作者通過將監(jiān)督信息從示例外推到令牌來制定令牌圖。作者的公式產(chǎn)生了一個嵌入空間，其中屬于同一類的高/低概率標記彼此靠近/遠離。作者還提出了詳細的理論見解、以作為本研究方法的驅(qū)動?；谧髡卟捎玫臄?shù)據(jù)集，實驗表明：作者的方法優(yōu)于預訓練方案 2.5 % 、并且基于示例級對比學習的公式提升約 1.8 %。此外，在零樣本場景中實驗表明跨域有效性平均提升3.91%。最后，作者還證明了該方法可以用作知識蒸餾設置中的噪聲教師模型、約平均提升4.57% 。
論文地址：「鏈接」
標題：百度 | ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation（ERNIE-ViLG：雙向視覺語言生成的統(tǒng)一生成式預訓練）
簡介：視覺語言預訓練模型極大地提高了圖像-文本生成任務的性能，但用于文本-圖像生成任務的大規(guī)模預訓練模型仍在研究中。本文提出了ERNIE-ViLG，一個統(tǒng)一的生成式預訓練框架，基于Transformer模型并將圖像生成和文本生成都表述為以文本/圖像輸入為條件的自回歸生成任務。雙向的圖像-文本生成模型簡化了跨視覺和語言的語義對接。對于文本到圖像的生成過程，作者進一步提出了一種端到端的訓練方法來共同學習視覺序列生成器和圖像重建器。為了 探索 雙向文本-圖像生成的大規(guī)模預訓練的前景，本文在1.45億圖像-中文文本對的大規(guī)模數(shù)據(jù)集上訓練了一個100億參數(shù)的模型，該模型在文本-圖像和圖像-文本任務上都取得了最先進的性能。
論文地址：「鏈接」
標題：華中科大、西安交大、微軟 | A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model（用預訓練視覺語言模型進行零樣本語義分割的基線）
簡介：通過視覺語言預訓練的零樣本圖像分類已經(jīng)漸趨成熟，然而在更廣泛的視覺問題上如物體檢測和語義分割還需研究。本文在預訓練的視覺語言模型CLIP上構(gòu)建零樣本語義分割基線。該問題難點在于語義分割和CLIP模型在不同的視覺顆粒度上執(zhí)行，語義分割在像素上處理，而CLIP在圖像上執(zhí)行。為了彌補處理粒度上的差異，本文沒有使用普遍的基于FCN的單階段框架，而使用一個兩階段的語義分割框架，第一階段提取泛化掩碼，第二階段利用基于圖像的CLIP模型，對第一階段產(chǎn)生的掩碼圖像作物進行零樣本分類。本文的實驗結(jié)果表明，這個簡單的框架在很大程度上超過了目前的先進技術(shù)。憑借其簡單性和強大的性能，本文希望這個框架能夠作為基線以助未來的研究。
論文地址：「鏈接」
標題：中山大學 | AlphaFold2-aware protein-DNA binding site prediction using graph transformer（使用圖Transformer進行結(jié)合AlphaFold2的蛋白質(zhì)-DNA結(jié)合位點預測）
簡介：蛋白質(zhì)與DNA的相互作用在生物系統(tǒng)中起著至關(guān)重要的作用，確定蛋白質(zhì)與DNA的結(jié)合位點是對各種生物活動，如轉(zhuǎn)錄和修復，進行機理理解和設計新型藥物的第一步?，F(xiàn)有的基于序列的方法只考慮了順序相鄰的上下文特征，這對捕捉空間信息是有限的。對此本文提出GraphSite，作者將結(jié)合位點預測問題轉(zhuǎn)化為圖節(jié)點分類任務，并采用基于Transformer的預訓練模型，通過AlphaFold2預測結(jié)構(gòu)，將蛋白質(zhì)結(jié)構(gòu)信息、AlphaFold2中Evoformer的表征和序列進化信息考慮在內(nèi)實現(xiàn)DNA結(jié)合殘基的識別。GraphSite大大改善了基于序列和結(jié)構(gòu)的最新方法，并且在181種蛋白質(zhì)的獨立測試集上得到進一步證實，在AUPR和MCC上分別超過了最先進的基于結(jié)構(gòu)的方法16.4%和11.2%。
論文地址：「鏈接」
標題：耶魯 | Pipeline for retrieval of COVID-19 immune signatures（檢索COVID-19免疫特征的流程）
簡介：隨著生物醫(yī)學文獻出版速度的加快，檢索其中的特定的科學信息變得更有意義。在新冠流行的大背景下，有效地檢索病毒免疫特征，即生物標志物，可以幫助了解不同的SARS-CoV-2感染的免疫反應機制。對此，本文構(gòu)建了一個系統(tǒng)的流程來識別和提取結(jié)構(gòu)化的COVID-19免疫特征。具體而言，作者使用基于SPECTER預訓練的生物文本嵌入，配合SVM分類器來自動識別含有免疫特征的論文，并進一步對這些論文進行半自動查詢流程構(gòu)建，檢索特征信息。此外，基于預訓練嵌入的流程也可確定免疫特征的類型，比如基因表達與其他類型的分析。通過這種方法，部分自動化的文獻挖掘可以幫助快速創(chuàng)建半結(jié)構(gòu)化的知識庫，用于自動分析新出現(xiàn)的 健康 威脅。
論文地址：「鏈接」
資源推薦
標題：孟加拉國工程技術(shù)大學、加州大學洛杉磯分校等 | CrossSum:超越 1500 多個語言對的以英語為中心的跨語言抽象文本摘要數(shù)據(jù)集
簡介：作者提供了 CrossSum：一個包含 165 萬個跨語言文章摘要樣本、包含 45 種語言的 1500 多個語言對的大規(guī)模數(shù)據(jù)集?；诙嗾Z言 XL-Sum 數(shù)據(jù)集，并使用與語言無關(guān)的表示模型通過跨語言檢索來對齊以不同語言編寫的相同文章，作者提出了一種多階段數(shù)據(jù)采樣算法并微調(diào)多語言預訓練模型mT5。實驗結(jié)果表明在 CrossSum 上微調(diào)的模型優(yōu)于摘要+翻譯基線。
論文地址：「鏈接」
資源下載：https://github.com/csebuetnlp/CrossSum
【關(guān)于轉(zhuǎn)載】本文轉(zhuǎn)載于公眾號“智源社區(qū)”，僅用于學術(shù)分享，有任何問題請與我們聯(lián)系：report@aminer.cn
四、關(guān)于UEFI啟動+GPT分區(qū) 的一些經(jīng)驗
隨著時代和科技的發(fā)展，電腦越來越普及，似乎人人都可以張嘴就說“我懂電腦”，但是總有一些看起來完全不懂但實際上非常基礎的東西讓“懂”與“不懂”清晰地劃清界限。比如UEFI+GPT就是其中之一。那些之前認為自己已經(jīng)精通電腦的人，遇到這個東西，忽然發(fā)現(xiàn)自己連以前自以為駕輕就熟的分區(qū)、裝 系統(tǒng) 都不會了。
盡管UEFI以及GPT從誕生迄今已經(jīng) 十余年 了，但是對于絕大多數(shù)人來講它們是完全陌生的，甚至根本就不知道還有這種東西。
但是由于 Windows 8操作系統(tǒng)的面世，預裝Windows8的電腦開始統(tǒng)一采用UEFI+GPT，很多人被迫接觸到，感覺就像突然從天上掉下來的東西一樣，無所適從，一籌莫展——“這到底是個什么東西呢？”
一旦出現(xiàn)系統(tǒng)問題，唯一能做的解決辦法除了品牌機自帶的系統(tǒng)還原，最大能力不過就是把UEFI關(guān)閉，把硬盤從GPT再轉(zhuǎn)成MBR，從而徹底毀掉UEFI+GPT的優(yōu)勢，重新回到陳舊落后的BIOS+MBR的系統(tǒng)安裝和運行方式上來。而每臺電腦的具體情況又不盡相同，有時候即使想用BIOS+MBR也不是肯定能成功的——“我該怎么辦??？”
正文：
之前很長一段時間對UEFI+GPT沒有頭緒，有種無處下手的感覺，雖然UEFI+GPT安裝系統(tǒng)一直沒遇到什么障礙，但是即使查閱了相當數(shù)量的資料，在認識上對于UEFI+GPT也沒有一個完整的概念，總覺得這是一個很難理解的東西，不得要領(lǐng)。不像最初接觸BIOS+MBR的時候那么容易入門直至熟練操作。
先說關(guān)于什么是UEFI和GPT，在此就不做詳解了，感興趣的都了解，不感興趣的說了也沒什么用處。只說一點最基本的，MBR分區(qū)結(jié)構(gòu)只能支持到2.2T的硬盤，超過2.2T就必須采用GPT分區(qū)，而就Windows而言，采用了GPT的硬盤，要想安裝并啟動Windows操作系統(tǒng)，只能選擇高于XP的64位操作系統(tǒng)，并且采用UEFI方式安裝、引導，否則無法啟動，而包括XP在內(nèi)及其之前的32位操作系統(tǒng)完全不支持GPT，別說安裝、引導系統(tǒng)，直接無法識別。3T硬盤時代并不遙遠，要想正常使用你的電腦，這就是采用UEFI+GPT的必要性。
而最關(guān)鍵之處在于， 照目前的形勢來看，由于預裝Windows8電腦的推動，UEFI+GPT已經(jīng)是大勢所趨，與是否2.2T以上硬盤也已經(jīng)沒什么直接關(guān)系，也許就在不久之后的某一天開始所有的電腦全部使用UEFI單一啟動，不會再兼容傳統(tǒng)BIOS。
再說一下關(guān)于BIOS+MBR，從接觸電腦十幾年來，一直都是用的這種組合，直至今日，不敢說對此有多么了解，最起碼在日常操作中基本無障礙了。比如：Windows各個版本甚至再+ Linux +Mac的混合安裝、引導駕輕就熟，任意順序安裝，任意創(chuàng)建、修復引導，多硬盤混合引導，分區(qū)表損壞、主引導記錄損壞的修復、重建等等，都不存在任何問題。
而從一接觸UEFI+GPT，總是感覺這個東西無法理解。甚至一籌莫展，哪怕是引導損壞這樣之前在BIOS+MBR里不叫事的事情，面對UEFI+GPT都束手無策，查了很多資料，除了重裝系統(tǒng)， 在國內(nèi)網(wǎng)絡范圍內(nèi)，全網(wǎng)竟然找不到任何一篇具體解決問題的文章。 現(xiàn)在回想，很長一段時間內(nèi)都無法理解這些問題，很多莫名其妙的所謂專業(yè)文章的誤導在其中作了重要貢獻。
后來索性拋開所有的那些亂七八糟的觀點、定義，按照自己的想法去摸索，經(jīng)過近十天，幾十遍重裝系統(tǒng)，反復的假設、實驗，總算是對UEFI+GPT有了一個總體的概念和較為清晰的認識， 最關(guān)鍵的在于能夠隨意進行UEFI+GPT的安裝和引導修復了，這是最重要的，個人觀點一直都是，必須從實際出發(fā)，即使了解的再多，什么問題也解決不了，紙上談兵，一切等于零。 可以毫不夸張的說， 至少目前為止，本文是全網(wǎng)絡唯一一篇對UEFI+GPT進行實用性介紹和以及解決實際問題的文章。
關(guān)于UEFI的優(yōu)越特性，比如 可操作性、安全性、兼容性、可擴展性之 類的問題，在此不再多說，這是開發(fā)人員的事情，和我沒有關(guān)系。僅僅總結(jié)幾點兩者在系統(tǒng)安裝及引導方式方面一些異同，幫助同樣有此困惑的人理解這個東西：
【重要提示：
本文旨在“授之以漁”，力求融會貫通，知其然更知其所以然。因此本文既不包含網(wǎng)絡上“技術(shù)文章八股文”式的定義、理論的堆砌和釋義，更不是“小白必備”的傻瓜式手把手操作教程，如果對以上兩種千篇一律的所謂“技術(shù)文章”有偏執(zhí)的愛好，請務必及時停止瀏覽，另尋其好?！?
不同點：
1.BIOS+MBR安裝系統(tǒng)要求硬盤只要存在非隱藏、活動的主分區(qū)就可以了；而UEFI+GPT要求硬盤上除了存在ESP分區(qū)，還必須存在至少一個主分區(qū)
2.BIOS+MBR一旦系統(tǒng)安裝好之后，如果系統(tǒng)引導文件在單獨的分區(qū)，此分區(qū)可以在操作系統(tǒng)中可見，也可以設置此分區(qū)為隱藏，系統(tǒng)都可以正常啟動；而UEFI+GPT系統(tǒng)引導文件所在的ESP分區(qū)在操作系統(tǒng)中為不可見
3.BIOS+MBR啟動要求的活動的主分區(qū)不是唯一固定的，可以任意設定某一分區(qū)為活動的主分區(qū)，然后MBR就可以通過分區(qū)表指引操作系統(tǒng)從此分區(qū)啟動，也就是說，可以在任意分區(qū)（主分區(qū)無論是否活動或者擴展分區(qū)）安裝操作系統(tǒng)，只要存在任意的活動主分區(qū)，就可以從此分區(qū)啟動操作系統(tǒng)；而UEFI+GPT只能把系統(tǒng)引導文件放置在ESP分區(qū)
4.BIOS+MBR的系統(tǒng)引導文件可以和系統(tǒng)文件在同一分區(qū)的根目錄，也可以不與系統(tǒng)文件同一分區(qū)，只要系統(tǒng)引導文件所在分區(qū)為活動的主分區(qū)即可啟動操作系統(tǒng)；而UEFI+GPT只能把系統(tǒng)引導文件放置在ESP分區(qū)，且操作系統(tǒng)必須在另外的主分區(qū)，也就是說， UEFI+GPT強制要求系統(tǒng)啟動文件與系統(tǒng)文件必須分離，不在同一分區(qū)。
相同點：
1.BIOS+MBR和UEFI+GPT的系統(tǒng)引導文件都可以放置在單獨的分區(qū)，這一點在上面的第4點里已經(jīng)說的很清楚
2.BIOS+MBR的系統(tǒng)引導文件所在的活動主分區(qū)位置不是固定的，可以隨意設置任意分區(qū)滿足此條件，UEFI+GPT的ESP的位置也是可以隨意設置的，在硬盤起始位置、中間位置、末尾，都可以，只要分區(qū)屬性和其中的引導文件正確，就可以引導啟動操作系統(tǒng)（參考文中附圖）
3.BIOS+MBR的系統(tǒng)引導文件所在的分區(qū)和UEFI+GPT的ESP分區(qū)都可以分配任意大小，而不是ESP必須100M
4.BIOS+MBR安裝系統(tǒng)所需的非隱藏、活動主分區(qū)和UEFI+GPT的系統(tǒng)的ESP分區(qū)，都可以同時設置多個，但是即使有多個相同屬性的分區(qū)，系統(tǒng)安裝時安裝程序都是自動寫入第一個，啟動時也都是從第一個啟動（參考文中附圖）
補充：
1.使用BIOS+MBR和UEFI+GPT安裝的系統(tǒng)文件是一模一樣的，唯一的區(qū)別只是引導方式的不同，因此使用GHOST手動備份的系統(tǒng)，MBR和GPT可以任意交叉還原，只要做好引導修復就沒有任何問題
2.GHOST始終是系統(tǒng)備份還原神器，只要熟練掌握GHOST手動操作，至少目前為止Windows系統(tǒng)的范圍之內(nèi)，無論什么版本，無論MBR還是GPT，都可以隨意備份還原。
3.MBR與GPT分區(qū)互轉(zhuǎn)的話，與“刪除所有分區(qū)”以及“全盤格式化”沒有任何必然聯(lián)系，你格式化一萬遍硬盤也還是原來的分區(qū)結(jié)構(gòu)，只有通過轉(zhuǎn)換操作才可以到另一種，而這個轉(zhuǎn)換操作與“刪除所有分區(qū)”以及“全盤格式化”沒什么關(guān)系。
著重強調(diào)一點：
以上所有經(jīng)驗均基于UEFI+GPT的組合，而實際上， UEFI啟動（Windows操作系統(tǒng)）的話，并不強制要求硬盤必須為GPT分區(qū)，而是只要硬盤上存在EFI啟動文件且位于FAT（16/32）分區(qū)就可以了（UEFI無法從NTFS分區(qū)啟動）。 因此如果是小于2.2T的硬盤，不必非得轉(zhuǎn)換成GPT也可以引導系統(tǒng)啟動。也就是說，UEFI+MBR也是可行的，而GPT硬盤的話，則必須使用UEFI引導，BIOS無法原生引導GPT硬盤上的操作系統(tǒng)（Windows）。
關(guān)于這一點，如果感覺不能理解的話，可以通過以下具體應用來參考。
注：
綜觀網(wǎng)上那些關(guān)于UEFI的所謂技術(shù)類文章，除了毫無實用價值和實際意義，而且都不同程度的存在各種各樣的因循誤導，繼而被以訛傳訛，最終成為一些人堅信不疑的“定律”。這樣的誤導主要表現(xiàn)為兩點：
1. 就是剛剛說的 ，“UEFI啟動系統(tǒng)必須是GPT分區(qū)”， 這個已經(jīng)說得很明白了，并且有實例解析，無需再討論
2. 另外一個就是不知道從什么時候什么人開始謠傳的 “UEFI的優(yōu)勢就是啟動速度快” 或者 “UEFI啟動比傳統(tǒng)BIOS啟動速度快”。 無論UEFI還是GPT，與電腦啟動速度沒有任何必然聯(lián)系。或者說，只要硬件環(huán)境相同、系統(tǒng)一樣，無論UEFI+GPT安裝還是BIOS+MBR安裝系統(tǒng)，啟動速度沒有區(qū)別
GPT
MBR
附：部分Windows桌面操作系統(tǒng)對GPT的支持
數(shù)據(jù)讀寫系統(tǒng)啟動
WindowsXP32位不支持GPT不支持GPT
WindowsXP64位支持GPT不支持GPT
WindowsVista32位支持GPT不支持GPT
WindowsVista64位支持GPT支持GPT（需UEFI）
Windows732位支持GPT不支持GPT
Windows764位支持GPT支持GPT（需UEFI）
Windows832位支持GPT不支持GPT
Windows864位支持GPT支持GPT（需UEFI）
有了以上的經(jīng)驗總結(jié)，就可以輕松解決以下問題了：
1.UEFI+GPT環(huán)境下以任意方式安裝操作系統(tǒng)（單系統(tǒng)或者多系統(tǒng)） 。這個不必詳解了
2.最主要的問題： UEFI+GPT引導修復操作（EFI引導文件損壞、ESP分區(qū)損壞或者丟失之后手動重建EFI引導等等）。 這個在此也不做詳解，這是 這段時間反復研究、實踐的最重要成果 ，因此姑且算是有所保留賣個關(guān)子吧，如果是結(jié)合以上幾點經(jīng)驗總結(jié)，對UEFI+GPT有一定的了解之后，應該不難揣摩出辦法
3. 如果主板不支持UEFI，使用折中的辦法來解決大硬盤使用問題 ，這個問題以前我也已經(jīng)多次提過。
第一種辦法就是使用多塊硬盤，MBR+GPT組合，MBR 硬盤作為啟動引導盤。
小于2.2T的硬盤采用MBR，大于2.2T的硬盤采用GPT，這樣的話，解決方案就很靈活了，可以根據(jù)以上所列相同點的第1條和補充里面第2條，使用MBR硬盤建一個非隱藏活動主分區(qū)，放置系統(tǒng)引導文件，然后將系統(tǒng)安裝在MBR硬盤或者GPT硬盤都可以，無論單系統(tǒng)還是多系統(tǒng)都無所謂，兩塊硬盤交叉安裝操作系統(tǒng)也沒有任何問題
強調(diào)兩點 ：
1.這樣安裝的話不限于64位操作系統(tǒng)及XP以上版本，理論上只要是能對GPT硬盤進行讀寫的系統(tǒng)版本就可以安裝。實際測試，32位XP和2003sp1以及之前的版本，電腦事先安裝GPT硬盤的情況下，即使系統(tǒng)安裝在MBR硬盤，原版系統(tǒng)安裝，沒有問題，如果是Ghost系統(tǒng)，有可能出現(xiàn)卡死或者藍屏等問題導致無法順利安裝；先在MBR硬盤安裝好系統(tǒng)，然后再裝GPT硬盤，無論原版還是Ghost系統(tǒng)都沒有問題，只是GPT分區(qū)無法識別（解決方法很簡單，就是使用2003sp2的disk.sys文件替換到以上系統(tǒng)，就可以完美識別GPT分區(qū)，此法簡單易操作，且不涉及系統(tǒng)穩(wěn)定問題，感興趣的話可以自行搜索）。64位XP安裝在MBR硬盤，引導、啟動都沒有問題，安裝在GPT硬盤無法引導。其他系統(tǒng)無論32位還是64位，無論安裝在MBR還是GPT，都可以正常引導啟動；
2.BIOS安裝系統(tǒng)到GPT硬盤僅限于Ghost方式，Ghost解壓完畢后手動修復引導即可。
第二種辦法是單塊大于2.2T的硬盤+U盤或者光盤組合
使用GPT分區(qū)結(jié)構(gòu)對硬盤進行分區(qū)，是否創(chuàng)建ESP分區(qū)都無所謂，因為主板不支持UEFI，創(chuàng)建此分區(qū)也沒什么用，全憑個人愛好了。然后只能使用Ghost方式解壓安裝操作系統(tǒng)到硬盤，無論單系統(tǒng)還是多系統(tǒng)，全部安裝完畢后，準備一個U盤，大小無所謂，只要不小于十幾M就行，使用分區(qū)軟件設為活動主分區(qū)，插在電腦上。進PE（2003sp1以上版本），手動或者使用工具軟件修復單系統(tǒng)或者多系統(tǒng)引導，將引導文件寫入U盤。然后就可以使用此U盤啟動所安裝的單系統(tǒng)或者多系統(tǒng)了。此方法實際上就是用U盤代替了第一種方法中的小硬盤而已，沒什么本質(zhì)區(qū)別。（這個方法大概10年前我就在電腦論壇發(fā)過帖子，當時考慮的是用U盤做一個 系統(tǒng)啟動鑰匙 ，因為系統(tǒng)引導文件在U盤上，電腦如果不插這個U盤是無法啟動的。MBR硬盤系統(tǒng)：Windows864位+Windows732位+WindowsXP32位，GPT硬盤系統(tǒng)：Windows832位+Windows764位+WindowsVista32位，測試環(huán)境：雜牌945主板、32M老U盤，測試通過。）
另外還可以再使用光盤來代替U盤，具體方法說起來更簡單，用軟件創(chuàng)建一個可啟動光盤（創(chuàng)建方法自行查詢，會做的不用講，壓根沒接觸過的，另開帖子專門講也不一定看得懂），然后將上面U盤里的系統(tǒng)啟動文件加進去刻錄就可以了。然后使用此光盤啟動電腦，效果和U盤是一樣的。此方法僅僅作為一種可行性的介紹，不推薦使用，U盤比這個方便的多，沒必要多此一舉。
備注： 使用此方法，理論上來講凡是可以對GPT進行讀寫的系統(tǒng)都適用，但實際上XP以上系統(tǒng)無論32位還是64位操作系統(tǒng)全部測試可行，但是2003sp1及XP64位這些可以讀寫GPT的系統(tǒng)也不行，這個不知道是由于NT5.X的ntldr引導機制還是其他的什么原因，有知道原因的朋友不吝賜教！
注：
1.除專門標明“Ghost系統(tǒng)”，本文所提及的系統(tǒng)安裝均為 微軟 原版Windows系統(tǒng)，不包含任何修改版本
2.非UEFI主板安裝原版系統(tǒng)到GPT磁盤，只能采取wim直接解壓到分區(qū)或者先將系統(tǒng)Ghost化，然后解壓安裝的辦法。
3.本文所有結(jié)論全部為反復多次實際測試結(jié)果，不是設想、假設，更不是想象或者幻想以及想當然的以為
4.本文內(nèi)容已經(jīng)多次修訂和修改，這是個人的一點經(jīng)驗總結(jié)，難免有紕漏以及表達不準確之處，望有相關(guān)經(jīng)驗的朋友給予更多幫助
附注：
鑒于許多的網(wǎng)友瀏覽本文之后提出如下問題，因此 酷站網(wǎng)軟 特集中在此做如下補充說明，不再過多贅述及一一答復：
原本很早之前就寫了一篇關(guān)于 預裝win8的電腦改其他系統(tǒng)以及安裝多系統(tǒng) 的文章，雖然經(jīng)過多次修改，最后還是放在電腦里沒有在任何地方發(fā)表出來。
雖然那是親自實踐過 多個品牌和型號 的預裝機器之后總結(jié)出來的經(jīng)驗，但是仍然發(fā)現(xiàn) 在其他品牌和型號的電腦上根本無法通用 。而我不可能也沒條件遍試所有的機器，因此此篇文章就此擱淺。
因此我在我的這篇文章里面沒有涉及任何 預裝win8系統(tǒng)的電腦改系統(tǒng) 的問題。
這是我的一貫態(tài)度，我所寫的都是我親身實踐、確實可行、不需討論的，在我這里不可能出現(xiàn)“我覺得”“我認為”“應該是”這類想象或者幻想的東西。
（在此還是要特別強調(diào)幾點：
1.這個意思并不是說“預裝win8的電腦改其他系統(tǒng)以及安裝多系統(tǒng)”是完全不可行的，只是目前為止還沒找到通用的方法。也就是說可能在某個品牌和型號的電腦上按照某種方法安裝非常順利，但是同樣的方法用在其他品牌和型號的電腦上可能完全不適用。
2.不管是用何種方法，比如Ghost、PE、nt6 hdd installer、快捷安裝器、直接setup、在vhd裝、全盤轉(zhuǎn)換成mbr、手動寫引導等等方法，將其他系統(tǒng)裝進硬盤，只要通過這塊主板啟動，就要面對安裝失敗的問題，因此制約因素在主板上，并不在于采用什么方式安裝系統(tǒng)
https://www.kzwr.com/article/110118
以上就是關(guān)于gpt2訓練寫材料相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀：
ip形象三視圖用什么軟件制作（ip形象三視圖用什么軟件制作好）
贛公網(wǎng)安備 50019002502384號
