ВСЕ СТАТЬИ

← Вернуться к статьям
[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении.
22 декабря в 16:10
habr.comтехнологии

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении.

22 декабря в 16:10•faviconhabr.com•технологии

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении. Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ. ...

Еще статьи из категории

Еще статьи