Положение дел в Deep Learning

Поймал сегодня себя на такой мысли, что нейросети сегодня чем-то напоминают первые игры, разработку которых очень сильно ограничивало железо.

Взять ту же Elite, авторы которой не могли просто взять и добавить 8 галактик с тысячами планет в 22 кб оперативки. Пришлось им выдумывать псевдослучайную генерацию с фильтрацией “плохих” данных.

Вот и нейросети сегодня - это постоянное перебалансирование таких параметров как размер сети, объем входных данных для обучения, их качество (и степень “упрощения”). И ожидание результатов - дни или недели.

Т.е. не будь ограничения в ресурсах - запуляли бы сразу огромные объемы не особо подготовленных данных и все. Получили бы результат с тем же уровнем “мусорности”, чего бы было достаточно в многих случаях. А так…