- Постепенно обучение за поле на невронно излъчване с филтрирана по несигурност дестилация на знания(arXiv)
Автор:Mengqi Guo, Chen Li, Gim Hee Lee
Резюме:Съвременното представяне на полето на неврално излъчване (NeRF) постигна голям успех в задачите за синтез на нов изглед и 3D реконструкция. Те обаче страдат от катастрофалния проблем със забравянето, когато непрекъснато се учат от поточни данни, без да преразглеждат предишните данни за обучение. Това ограничение забранява прилагането на съществуващи NeRF модели към сценарии, при които изображенията идват последователно. С оглед на това, ние изследваме задачата за постепенно обучение за представяне на полето на невронно излъчване в тази работа. Първо предлагаме тръбопровод ученик-учител, за да смекчим катастрофалния проблем със забравянето. По-конкретно, повтаряме процеса на използване на ученика като учител в края на всяка постепенна стъпка и оставяме учителя да ръководи обучението на ученика в следващата стъпка. По този начин мрежата на учениците може да научава нова информация от поточно предаваните данни и едновременно да запазва стари знания от мрежата на учителите. Като се има предвид, че не цялата информация от мрежата на учителите е полезна, тъй като тя се обучава само със старите данни, ние допълнително въвеждаме произволен питащ и филтър, базиран на несигурност, за филтриране на полезна информация. Провеждаме експерименти върху наборите от данни NeRF-synthetic360 и NeRF-real360, където нашият подход значително превъзхожда базовите линии със 7,3% и 25,2% по отношение на PSNR. Освен това, ние също така показваме, че нашият подход може да бъде приложен към набора от данни ScanNet с широкомащабна камера, обърната навън, където надминаваме базовата линия с 60,0% в PSNR.
2.НОЖ: Дестилация на знания с обосновки в свободен текст(arXiv)
Автор: Aaron Chan, Zhiyuan Zeng, Wyatt Lake, Brihi Joshi, Hanjie Chen, Xiang Ren
Резюме:Обосновките със свободен текст (FTR) проследяват как хората общуват, като обясняват процесите на разсъждение чрез естествен език. Редица скорошни разработки проучват как да се подобри обобщаването на езиковия модел (LM) чрез използване на FTR, за да се обучат LM на правилните процеси на разсъждение зад правилните резултати от задачите. Тези предишни разработки имат за цел да се учат от FTR, като ги добавят към входа на LM или целевия изход, но това може да доведе до промяна на разпределението на входа или съответно в конфликт с целта на задачата. Ние предлагаме KNIFE, който дестилира FTR знания от FTR-разширен учител LM (взема както въвеждане на задачи, така и FTR) към ученик LM (взема само въвеждане на задачи), което се използва за извод. Най-важното е, че предните изчисления на учителя LM имат етап на затруднение, в който всички негови FTR състояния са маскирани, което изтласква знания от FTR състоянията към входно/изходните състояния на задачата. След това знанията за FTR се дестилират към LM на ученика чрез обучение на неговите входни/изходни състояния на задачите, за да се приведат в съответствие с LM на учителя. На два набора от данни, отговарящи на въпроси, ние показваме, че KNIFE значително превъзхожда съществуващите FTR методи за обучение, както в напълно контролирани, така и в настройки с ниски ресурси.
