Поки ви ще не встигли прийти в захват від такої чудової штуки, як лінза, я повинен встигнути сказати про її серйозні недоліки, яких ми не могли помітити раніше, оскільки обмежилися розглядом параксіальних променів. Реальна лінза має скінченну товщину і, взагалі кажучи, виявляє властивості аберації. Наприклад, промінь, спрямований уздовж осі, обов'язково пройде крізь фокус. Промінь, близький до осі, ще проходитиме крізь фокус, але дальші промені почнуть від нього відхилятися: близькі ненабагато, а крайній промінь уже на велику відстань. У результаті замість точкового зображення виходить розпливчаста пляма. Цей ефект називається сферичною аберацією, тому що він виникає внаслідок використання сферичних поверхонь замість поверхонь правильної форми. Для кожної даної відстані від об'єкта до лінзи ефект аберації можна усунути, змінивши форму лінзи або взявши кілька лінз з таким розрахунком, щоб аберації окремих лінз взаємно знищувалися.
Лінзи страждають ще одним недоліком: світло різного кольору має різну швидкість, тобто різні показники заломлення в склі, а тому фокусна відстань для різних кольорів різна. Зображення білої плями виходить кольоровим, тому що, коли у фокусі червоний колір, синій опиняється поза фокусом, і навпаки. Це явище називається хроматичною аберацією.
Бувають і інші спотворення. Якщо об'єкт перебуває не на осі, то домогтися чіткого фокуса неможливо. Найлегше це перевірити, нахиливши наведену на фокус лінзу так, щоб у неї потрапляли промені під великим кутом до осі. Тоді зображення сильно розпливеться, і може статися, що жодного чітко сфокусованого місця не залишиться. Таким чином, лінзи страждають низкою спотворень, і зазвичай оптик-конструктор намагається їх виправити, з'єднуючи по кілька лінз, з тим щоб компенсувати спотворення окремих лінз.
До якої межі можна усунути аберації? Чи можна створити досконалу оптичну систему? Припустимо, що ми зуміли побудувати оптичну систему, яка фокусує світло точно в одну точку. Чи можемо ми тепер знайти вимоги (з погляду принципу Ферма), яким повинна задовольняти наша система? Система завжди має отвір скінченних розмірів, у який входить світло. Для досконалої системи час проходження будь-якого, як завгодно віддаленого від оптичної осі променя однаковий. Але абсолютної досконалості не буває, тому поставимо питання: якою є розумна межа точності збігу всіх часів? Це залежить від того, наскільки досконале зображення ми хочемо мати. Припустимо, що ми хочемо, щоб воно було настільки досконалим, наскільки це взагалі можливо. Тоді з першого погляду здається, що й часи проходження всіх променів потрібно зрівняти з максимальною точністю. Насправді це не так; існує певна межа, за якою будь-яке уточнення безглузде, тому що наближення геометричної оптики перестає працювати!
Згадаємо, що принцип найменшого часу, на відміну від закону збереження енергії та імпульсу, не є точним принципом, а лише деяким наближенням. І тому цікаво встановити, які похибки допустимі в межах точності цього наближення. Відповідь: не має сенсу вимагати рівності часів проходження променів (скажімо, у найгіршому випадку променя вздовж осі і найбільш віддаленого від осі) з точністю, що перевищує період коливання світла. Світло є коливальним процесом з певною частотою, яка пов'язана з довжиною хвилі, і якщо ми домоглися, що часи проходження променів відрізняються на величину, меншу або порядку періоду коливань, то далі зрівнювати часи марно.