Как программируют массовую загрузку?

Несмотря на огромное количество открытых библиотек импорт данных (а массовая загрузка это на языке программистов — «Импорт»), как правило, разрабатывается под конкретное предприятие. Это связано с тем, что программное обеспечение (и их конфигурации) и форматы каталогов, прайсов у компаний сильно разные. Если коротоко, то работы выглядят так:

Проектирование

1. Определить источник данных — откуда будут получены релевантные и точные данные? Например, данные будут выгружены из CRM-системы, внутренней учётной системы или 1C. 
2. Определить шаблон файла: форма файла, порядок полей, обязательность и необязательность заполнения полей.
3. Определить частоту загрузок файлов в систему.
4. Определить технические ограничения.

Реализация

1. Написать программный код, протестировать его на реальных данных.

Например, мы часто делаем такую задачу: «нужна массовая загрузка товаров для обновления цен, а изображений для товара нужно автоматически подгружать с Яндекс.Диска».

Если товаров тысячи, то и обновления могут быть ежедневными, то задача усложняется тем, что нужно так организовать обновления, чтобы они не отражались на скорости работы сайта. Во-первых, обновления надо проводить в то время, когда на сайте меньше всего покупателей, а во-вторых повышаются требования к техническому решению по серверной части. Один из сложных импортов мы сделали у дверного маркетплейса ФабрикаДверей. Попроще - для интернет-магазина одежды SV-Center.

Как определить нужна ли вам массовая загрузка?

Критерии, при которых нужна массовая загрузка:

1. Товаров более 500 штук.
2. У товара более 10 характеристик. 
   У товара есть хаарктеристики (например, числовые), в которых легко допустить ошибку.
3. У товара часто (еженедельно/ежедневно) обновляется цена.

Посчитайте затраты, связанные с загрузкой товаров руками человека в перспективе одного года и сравните со стоимостью автоматизации.