네거티브 샘플링이란? : 다중 분류를 Binary화, 부정응답학습.

class NegativeSamplingLoss:
    def __init__(self, W: np.ndarray, corpus: List[int], power: float = 0.75, sample_size: int = 5) -> None:
        """
        NegativeSamplingLoss 초기화 메서드.
        
        매개변수:
        W (np.ndarray): 출력 쪽 가중치.
        corpus (List[int]): 말뭉치의 단어 ID 리스트.
        power (float): 단어 확률 분포의 계수.
        sample_size (int): 네거티브 샘플의 수.
        """
        self.sample_size = sample_size
        self.sampler = UnigramSampler(corpus, power, sample_size)  # 유니그램샘플러 init
        
        self.loss_layers = [SigmoidWithLoss() for _ in range(sample_size + 1)]  
        # 손실 계산을 위한 시그모이드 손실 레이어 보관, sample_size + 1 개의 계층 생성, +1 하는 이유는 긍정예도 학습해야 하므로
        
        self.embed_dot_layers = [EmbeddingDot(W) for _ in range(sample_size + 1)]  
        # 임베딩 벡터와의 내적 계산 레이어 보관

        self.params, self.grads = [], []  # 파라미터와 그래디언트를 저장할 리스트 초기화
        for layer in self.embed_dot_layers:  # 각 임베딩에 대해서 실행. layer[0]가 긍정예가 됨.
            self.params += layer.params  # 파라미터를 self.params에 추가
            self.grads += layer.grads  # 그래디언트를 self.grads에 추가

    def forward(self, h: np.ndarray, target: np.ndarray) -> float:
        """
        순전파 메서드.
        
        매개변수:
        h (np.ndarray): 은닉층의 출력.
        target (np.ndarray): 긍정적 예 타겟 단어 인덱스.
        
        반환값:
        float: 손실 값.
        """
        batch_size = target.shape[0]  # 배치 크기 추출
        negative_sample = self.sampler.get_negative_sample(target)  # 네거티브 샘플 생성

        # 긍정적 예 순전파
        score = self.embed_dot_layers[0].forward(h, target)  # [0]가 긍정 예
        correct_label = np.ones(batch_size, dtype=np.int32)  # 긍정적 예의 정답 레이블 (1)
        loss = self.loss_layers[0].forward(score, correct_label)  # 긍정적 예의 손실 계산

        # 부정적 예 순전파
        negative_label = np.zeros(batch_size, dtype=np.int32)  # 부정적 예의 레이블 (0)
        for i in range(self.sample_size):  # 각 부정적 샘플에 대해
            negative_target = negative_sample[:, i]  # 부정적 타겟 추출
            score = self.embed_dot_layers[1 + i].forward(h, negative_target)  # 부정적 예에 대한 계산
            loss += self.loss_layers[1 + i].forward(score, negative_label)  # 부정적 예의 손실 계산을 손실 값에 추가

        return loss

    def backward(self, dout: float = 1) -> np.ndarray:
        """
        역전파 메서드.
        
        매개변수:
        dout (float): 상위 레이어로부터 전달된 미분값.
        
        반환값:
        np.ndarray: 은닉층으로 전달될 미분값.
        """
        dh = 0
        for l0, l1 in zip(self.loss_layers, self.embed_dot_layers):  # 각 손실 레이어와 임베드 닷 레이어에 대해
            dscore = l0.backward(dout)  # 손실 레이어의 역전파 수행
            dh += l1.backward(dscore)  # 임베드 닷 레이어의 역전파 수행 후 dh에 더함

        return dh