ВСЕ СТАТЬИ
•
habr.com•технологии
Нейросети перестанут забывать: метод с масками внимания и графом задач. В этой статье я разберу идею DTG‑MA (Dynamic Task‑Graph Masked Attention) пусть будет такое название и сокращение. Есть одна неприятная штука, которую почти каждый ловил на практике, когда пробовал последовательное обучение моделей как катастрофическое забывание. Решение проблемы может быстрее привести нас к полноценному искусственному интеллекту и других задач. В 1997 году когда в институте проходили нейросети возникла идея, что можно нейросеть использовать как хранилище данных...