nlp

현정천 님의 코드입니다. GPT는 transformer의 decoder 부분을 사용한다. 때문에 기존 transformer에서 encdoder의 출력과 decoder의 출력을 attention해주는 두번째 multi-head-attention 부분을 제거해야 한다. 1. config config = Config({ "n_dec_vocab": len(vocab), "n_dec_seq": 256, "n_layer": 6, "d_hidn": 256, "i_pad": 0, "d_ff": 1024, "n_head": 4, "d_head": 64, "dropout": 0.1, "layer_norm_epsilon": 1e-12 }) print(config) 2. Decoder """ decoder layer """ ..

kaggle 코드를 참고하였습니다. 1. Import Libraries # importing required libraries import torch.nn as nn import torch import torch.nn.functional as F import math,copy,re import warnings import pandas as pd import numpy as np import seaborn as sns import torchtext import matplotlib.pyplot as plt warnings.simplefilter("ignore") print(torch.__version__) 2. Basic components Create Word Embeddings 우선, input sequ..