Kako mogu protumačiti razliku između validacije i točnosti ispitivanja?


Odgovor 1:

Za točnost A mislim da vaš model dobro funkcionira. Pretpostavljam da ste koristili podatke o validaciji za obuku modela A i testne podatke za njihovu procjenu. Budući da su i točnost validacije i točnost ispitivanja visoka, može se reći da je model treniran na pravilan način. Međutim, imam dvije brige.

  1. Ako vam je potreban model s većom preciznošću, morate prilagoditi hiperparamere da bi se poboljšali. Nadzorno učenje nije sve o točnosti. Ako se radi o dvije binarne klasifikacije, trebali biste dobiti područje ROC pod krivuljom da biste vidjeli ima li poteškoća s klasificiranjem lažnih pozitivnih vrijednosti. Ako imate visoku lažnu pozitivu, model je beskoristan.

Za B, mislim da je prefinjeno. Prekomjerno opremanje znači da vaš model funkcionira dobro samo na podacima o obuci i validaciji, a ne na testnim ili novim nepoznatim podacima. Sigurno želite općenitiji model. Morate otkriti zašto je to prefinjeno. Također morate procijeniti ROC područje pod krivuljom.

http: //gim.unmc.edu/dxtests/roc3 ...

Prekomjerno uklapanje u algoritme strojnog učenja - podučavanje strojnog učenja