- Помимо дискриминации экземпляров: контрастное самоконтролируемое обучение с учетом отношений(arXiv)
Автор:Ифэй Чжан, Чан Лю, Юй Чжоу, Вэйпин Ван, Цисян Е, Сянъян Цзи
Аннотация. Контрастное обучение с самоконтролем (CSL), основанное на различении экземпляров, обычно привлекает положительные образцы и отталкивает отрицательные для изучения представлений с предварительно определенным бинарным самоконтролем. Однако ванильный CSL не подходит для моделирования сложных отношений экземпляров, ограничивая изученную модель сохранением тонкой семантической структуры. С одной стороны, образцы с одинаковой семантической категорией неизбежно отталкиваются как отрицательные. С другой стороны, различия между образцами не могут быть зафиксированы. В этой статье мы представляем учитывающее отношения контрастивное обучение с самоконтролем (ReCo) для интеграции отношений экземпляра, т. Е. Глобального отношения распределения и локального отношения интерполяции, в структуру CSL в режиме plug-and-play. В частности, мы выравниваем распределения сходства, рассчитанные между положительными якорными представлениями и отрицательными на глобальном уровне, чтобы использовать различные отношения сходства между экземплярами. Согласованность интерполяции на локальном уровне между пространством пикселей и пространством признаков применяется для количественного моделирования различий признаков образцов с явно выраженным сходством. Благодаря явному моделированию отношения экземпляров наш ReCo избегает иррационального отталкивания семантически идентичных образцов и создает хорошо структурированное пространство признаков. Обширные эксперименты, проведенные на часто используемых тестах, подтверждают, что наш ReCo постоянно добивается значительных улучшений производительности.
2. Контрастное обучение с учителем для классификации звуков дыхания(arXiv)
Автор:Ильяс Муммад, Николас Фарруджа
Аннотация:Автоматическая классификация звуков дыхания с использованием машинного обучения является сложной задачей из-за большой биологической изменчивости, несбалансированных наборов данных, а также разнообразия методов записи, используемых для захвата сигнала дыхания. Хотя были предложены наборы данных с аннотированными дыхательными циклами, методы, основанные на контролируемом обучении с использованием только аннотаций, могут быть ограничены в своих возможностях обобщения. В этом исследовании мы решаем эту проблему, используя контролируемое контрастное обучение, полагаясь как на аннотации цикла дыхания, так и на метод частотной и временной маскировки спектрограммы SpecAugment для создания расширенных выборок для репрезентативного обучения с контрастной потерей. Мы демонстрируем, что такой подход может превзойти обучение с учителем, используя эксперименты на сверточной нейронной сети, обученной с нуля, достигая нового уровня техники. Наша работа показывает потенциал контролируемого контрастивного обучения в несбалансированных и шумных условиях. Наш код опубликован по адресу https://github.com/ilyassmoummad/scl_icbhi201.
3.Контролируемое контрастное обучение с помощью словаря(arXiv)
Автор: Патрик Ю. Ву, Ричард Бонно, Джошуа А. Такер, Джонатан Наглер
Аннотация . Анализ текста в социальных науках часто включает использование специализированных словарей для анализа абстрактных понятий, таких как представления об экономике или оскорбления в социальных сетях. Эти словари позволяют исследователям делиться знаниями в предметной области и отмечать тонкое использование слов, относящихся к интересующим понятиям. Мы представляем цель контролируемого контрастного обучения с помощью словаря (DASCL), позволяющую исследователям использовать специализированные словари при точной настройке предварительно обученных языковых моделей. Текст сначала упрощается по ключевым словам: обычный фиксированный токен заменяет любое слово в корпусе, которое появляется в словаре (словарях), относящемся к интересующей концепции. Во время тонкой настройки контролируемая контрастная цель сближает вложения исходного и упрощенного по ключевым словам текста одного и того же класса, одновременно раздвигая вложения разных классов. Упрощенные по ключевым словам тексты одного и того же класса более текстуально похожи, чем их исходные текстовые аналоги, что дополнительно сближает вложения одного и того же класса. Сочетание DASCL и кросс-энтропии улучшает показатели производительности классификации в условиях краткого обучения и приложений социальных наук по сравнению с использованием только кросс-энтропии и альтернативных методов сравнения и увеличения данных.
