Das sind Sicherheitsupdates und/oder Bugfixes und die sollte man auch immer durchführen. Bleibt man bei der gleichen Kernelversion, hier 3.13 ändert sich funktionell erst mal auch gar nichts.
Daneben gibt es den sogenannten "Hardware Enablement Stack" welcher in erster Line dazu da ist, den Kernel und den Grafikstack (X-Server) aus neueren Ubuntuversionen für Trusty verfügbar zu machen (Zurückportiert bzw. backport). Das ist aber eigentlich nur für User interessant, welche neue Hardware gekauft haben und diese vom 3.13er Kernel noch nicht unterstützt wird (z.B. neuere Grafikkarten) ohne gleich das ganze System aktualisieren zu müssen (Auch für Spieler sehr interessant (Steam)).
Nachteil ist, dass diese Kernel "Zwischenversionen", wie die entsprechenden Ubuntuversionen, nur 9 Monate Support haben! (Ausnahme ist der Kernel aus Ubuntu 16.04 LTS → V4.4, der bis April 2019 für Trusty supportet wird!)
Wenn Du Deinen Rechner nicht mit neuer Hardware ausgestattet hast, kein Extrem-Spieler bist, dann klare Empfehlung: Bleib bei Trusty und dem 3.13er Kernel, Bugfixes sind aber trotzdem Pflicht und sollen möglichst zeitnah installiert werden!