Deep Learning UB 2021 — summer school : Day#7



Original Source Here

Бичгэн өгөгдөл

Зурагны хувьд хэмжээс + өнгө гээд түүнийгээ Convolution (хуйлаас?) ашиглаад сургалтаа хийдэг бол бичгэн өгөгдөл шал өөр болоод явчихдаг.

Бичвэр боловсруулах загвар нь эхлээд үгийг боловсруулахаас эхлэнэ. Мэдээж үгийг тоо болгож байж бид тооцоолол хийж чадна. Тэгэхийн тулд 1 үгийг 1 вектороор дүрслэнэ.

Бичиг ← Үг ← Тоо (вектор)

Гэхдээ үгийн сан их бол бид МАШ ТОМ вектор дээр тооцоолол хийх шаардлагатай болно. Тэгэх нь мэдээж хэцүү учир Word Embedding хийдэг.
Word embedding → One-hot vector + шугаман давхарга

Word Embedding сургахад хамгийн энгийн 1 арга нь Word2vec байдаг. Энэ нь том өгөгдлөөс хурдан сурдаг, мөн өөрөө Self-supervised learning ашигладаг.

Self-supervised learning : Зөвхөн Х оролт байхад хангалттай. y хэрэггүй.

2 үгний хоорондын хамаарал → Улс = Нийслэл

Жишээ нь : moon гэдэг үгтэй төстэй үгсийг олох, эсвэл Хятад → Бээжин, Монгол → Улаанбаатар гэх мэт ижил төстэй векторыг олж чаддаг.

Түүнээс гадна хэлний сургалт дээр Language Model, Tokenization, Normalizatoin зэрэг зүйлсийг тооцох хэрэгтэй. Тэр талаар би маш товчхон дурдана.

  • Language Modelling LM : гэдэг нь Үгийн цувааг сургахыг хэлж байгаа. Байгаа өгөгдлөөс бичвэрийн магадлалыг олдог.
    P(“муур хулганыг хөөв”) > P(“хөөв хулгана муурыг”)
  • LM Tokenization : буюу үгийг тэмдэгтрүү хөрвүүлдэг. Тэгэхийн тулд үгээ бүтнээр нь эсвэл үечилж эсвэл үсэг болгоноор гэх мэт сонголтуудтай тулна. Хамгийн гол нь нэгэнт сургаж эхэлсний дараа LM-ээ өөрчилж болохгүй.
  • LM Normalization : Түүнээс гадна ховор үг болон Том, жижиг бичсэн үгсийн ижил гэж үзэх үү г.м асуултууд бий. (normalization : U.S.A vs USA)
  • LM Бичвэрийн магадлал : 1 бүтэн бичвэрийг ОРШИН байх магадлалыг олсноос 1 үгийн араас “Х” гэсэн үг байх магадлал (Нөхцөлт магадлал) олох нь илүү хялбар.
  • LM алдааны функц : Өгөгдөл дэх бичвэрийн магадлалын ИХ болгох зорилготой. NLL ашигладаг.

Товчоор хэлбэл Language Model гэдэг нь тодорхой дараалалтай үгнүүдийн ДАРААЧИЙН үгийг олдог гэсэн үг.

AI/ML

Trending AI/ML Article Identified & Digested via Granola by Ramsey Elbasheer; a Machine-Driven RSS Bot

%d bloggers like this: