Extreme entropy machines : robust information theoretic classification
PBN-AR
Instytucja
Wydział Matematyki i Informatyki (Uniwersytet Jagielloński w Krakowie)
Informacje podstawowe
Główny język publikacji
EN
Czasopismo
Pattern Analysis and Applications (20pkt w roku publikacji)
ISSN
1433-7541
EISSN
1433-755X
Wydawca
DOI
URL
Rok publikacji
2017
Numer zeszytu
2
Strony od-do
383-400
Numer tomu
20
Link do pełnego tekstu
Identyfikator DOI
Liczba arkuszy
Autorzy
(liczba autorów: 2)
Słowa kluczowe
EN
rapid learning
extreme learning machines
random projections
classification
entropy
Open access
Tryb otwartego dostępu
Wersja tekstu w otwartym dostępie
Wersja opublikowana
Licencja otwartego dostępu
Czas opublikowania w otwartym dostępie
Razem z publikacją
Data udostępnienia w sposób otwarty
Streszczenia
Język
EN
Treść
Most existing classification methods are aimed at minimization of empirical risk (through some simple point-based error measured with loss function) with added regularization. We propose to approach the classification problem by applying entropy measures as a model objective function. We focus on quadratic Renyi’s entropy and connected Cauchy-Schwarz Divergence which leads to the construction of extreme entropy machines (EEM). The main contribution of this paper is proposing a model based on the information theoretic concepts which on the one hand shows new, entropic perspective on known linear classifiers and on the other leads to a construction of very robust method competitive with the state of the art noninformation theoretic ones (including Support Vector Machines and Extreme Learning Machines). Evaluation on numerous problems spanning from small, simple ones from UCI repository to the large (hundreds of thousands of samples) extremely unbalanced (up to 100:1 classes’ ratios) datasets shows wide applicability of the EEM in real-life problems. Furthermore, it scales better than all considered competitive methods.
Cechy publikacji
original-article
peer-reviewed
Inne
System-identifier
34413
CrossrefMetadata from Crossref logo
Cytowania
Liczba prac cytujących tę pracę
Brak danych
Referencje
Liczba prac cytowanych przez tę pracę
Brak danych