직접 해 보기: 작은 언어 모델로 디코딩 전략 비교하기

123456flowchart LR
  A[문장 12개] --> B[단어로 나누기<br/>시작 · 끝 토큰 붙이기]
  B --> C[바이그램 개수 세기<br/>+ 더하기-k 평활화]
  C --> D[다음 단어 확률표 P]
  D --> E[전략별 생성<br/>200문장씩]
  E --> F[지표 4개로 비교]

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110# 작은 단어 바이그램 언어 모델로 디코딩 전략 비교하기 (numpy만 사용)
import numpy as np
from collections import Counter

corpus = """
오늘 회의는 오후 세 시에 시작합니다
오늘 회의는 본관 삼 층에서 시작합니다
내일 회의는 오전 열 시에 시작합니다
오늘 점심은 회사 근처 식당에서 먹습니다
내일 점심은 팀원들과 함께 먹습니다
오늘 보고서는 오후 다섯 시까지 제출합니다
내일 보고서는 오전 중에 제출합니다
팀장님은 오늘 회의에서 보고서를 검토합니다
팀원들은 내일 회의에서 결과를 발표합니다
우리는 오후 세 시에 커피를 마십니다
우리는 회의 전에 커피를 마십니다
오늘 발표는 회의 중에 진행합니다
""".strip().split("\n")

# 1) 토큰화와 어휘
sents = [["<s>"] + s.split() + ["</s>"] for s in corpus]
vocab = sorted({w for s in sents for w in s})
idx = {w: i for i, w in enumerate(vocab)}
V = len(vocab)

# 2) 바이그램 개수 세기 + 더하기-k 평활화 -> 로그 확률(로짓 역할)
k = 0.01
C = np.full((V, V), k)
for s in sents:
    for a, b in zip(s, s[1:]):
        C[idx[a], idx[b]] += 1
C[:, idx["<s>"]] = 0            # 문장 시작 토큰은 다음 토큰으로 나오지 않게
P = C / C.sum(1, keepdims=True)
logits = np.log(P + 1e-12)

def softmax(x):
    e = np.exp(x - x.max()); return e / e.sum()

# 3) 다음 토큰 고르기 규칙들
def pick(prev, rng, mode, T=1.0, top_k=None, top_p=None, min_p=None):
    u = logits[idx[prev]].copy()
    if mode == "greedy":
        return vocab[int(np.argmax(u))]
    p = softmax(u / T)
    if top_k is not None:
        keep = np.argsort(-p)[:top_k]
        m = np.zeros_like(p); m[keep] = p[keep]; p = m / m.sum()
    if top_p is not None:
        order = np.argsort(-p); c = np.cumsum(p[order])
        n = int(np.searchsorted(c, top_p) + 1)
        m = np.zeros_like(p); m[order[:n]] = p[order[:n]]; p = m / m.sum()
    if min_p is not None:
        m = np.where(p >= min_p * p.max(), p, 0.0); p = m / m.sum()
    return vocab[rng.choice(V, p=p)]

def generate(start, rng, max_len=12, **kw):
    out = [start]
    while len(out) < max_len:
        nxt = pick(out[-1], rng, **kw)
        if nxt == "</s>": break
        out.append(nxt)
    return out

def beam(start, b=3, max_len=12):
    beams = [([start], 0.0, False)]
    for _ in range(max_len):
        cand = []
        for seq, lp, done in beams:
            if done: cand.append((seq, lp, True)); continue
            for j in np.argsort(-logits[idx[seq[-1]]])[:b]:
                w = vocab[j]
                cand.append((seq + ([] if w == "</s>" else [w]), lp + logits[idx[seq[-1]], j], w == "</s>"))
        beams = sorted(cand, key=lambda t: t[1] / len(t[0]), reverse=True)[:b]  # 길이로 나눈 점수
        if all(d for _, _, d in beams): break
    return beams[0][0]

# 4) 평가 지표: 다양성(distinct-2)과 반복률
def distinct2(samples):
    bg = [tuple(s[i:i+2]) for s in samples for i in range(len(s) - 1)]
    return len(set(bg)) / max(1, len(bg))

def repeat_rate(samples):
    r = [1 - len(set(s)) / len(s) for s in samples]
    return float(np.mean(r))

def seen_rate(samples):   # 생성 문장이 학습 문장과 똑같은 비율
    S = {" ".join(s[1:-1]) for s in sents}
    return float(np.mean([" ".join(s) in S for s in samples]))

SEEN = {(a, b) for s in sents for a, b in zip(s, s[1:])}
def valid_rate(samples):  # 모든 이웃 단어 쌍이 학습 데이터에 있던 쌍인 비율(말이 되는 정도의 대용)
    return float(np.mean([all((a, b) in SEEN for a, b in zip(s, s[1:])) for s in samples]))

if __name__ == "__main__":
    print("어휘 크기:", V)
    print("탐욕     :", " ".join(generate("오늘", None, mode="greedy")))
    print("빔(b=3)  :", " ".join(beam("오늘")))
    settings = [
        ("온도 0.3", dict(mode="sample", T=0.3)),
        ("온도 1.0", dict(mode="sample", T=1.0)),
        ("온도 2.0", dict(mode="sample", T=2.0)),
        ("top-k 2", dict(mode="sample", top_k=2)),
        ("top-p 0.9", dict(mode="sample", top_p=0.9)),
        ("min-p 0.1", dict(mode="sample", min_p=0.1)),
    ]
    print(f"{'설정':<10}{'distinct-2':>11}{'반복률':>8}{'자연스러움':>8}{'학습문장 복사':>10}  예시")
    for name, kw in settings:
        rng = np.random.default_rng(0)
        samples = [generate("오늘", rng, **kw) for _ in range(200)]
        print(f"{name:<10}{distinct2(samples):>11.3f}{repeat_rate(samples):>8.3f}{valid_rate(samples):>8.2f}{seen_rate(samples):>10.2f}  {' '.join(samples[0])}")

12345678910어휘 크기: 40
탐욕     : 오늘 회의는 본관 삼 층에서 시작합니다
빔(b=3)  : 오늘 회의는 본관 삼 층에서 시작합니다
설정         distinct-2     반복률   자연스러움   학습문장 복사  예시
온도 0.3          0.044   0.000    1.00      0.56  오늘 회의는 본관 삼 층에서 시작합니다
온도 1.0          0.232   0.028    0.34      0.12  오늘 회의는 본관 다섯 결과를 삼 층에서 시작합니다
온도 2.0          0.492   0.092    0.03      0.00  오늘 층에서 본관 검토합니다
top-k 2         0.023   0.000    1.00      0.36  오늘 회의는 본관 삼 층에서 시작합니다
top-p 0.9       0.132   0.008    0.65      0.17  오늘 회의는 본관 다섯 결과를 발표합니다 시까지 제출합니다
min-p 0.1       0.047   0.000    1.00      0.30  오늘 회의는 본관 삼 층에서 시작합니다