Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений.
За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
- что делать с медленными и нестабильными хостами;
- как не устроить DDoS-атаку на сервера клиентов;
- как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
