БИМ появилась в результате слияния двух ткацких фабрик.
В 1751 году Ямановский, крепостной Шереметева, открыл одну из первых в Иванове полотняных мануфактур. Располагалась она на правом берегу Уводи, в районе современной улицы Зверева. В начале XIX века она стало второй по величине фабрикой после предприятия Е. И. Грачёва и выпускало четверть всей ивановской текстильной продукции.
Второй частью будущей БИМ стала Куваевская мануфактура, которая располагалась на левом берегу Уводи.
В декабре 1916 года на заседании пайщиков «Товарищества Куваевской мануфактуры» было принято решение выкупить ткацкую фабрику у Г. М. Ямановского, что состоялось через месяц, накануне Февральской революции. Таким образом, две фабрики, располагавшиеся на противоположных берегах реки, объединились в одну.
В 1918—1919 годах предприятие было национализировано и получило известное нам название.
В 1921 году БИМ первой в регионе возобновила свою работу после перерыва во время Гражданской войны.
С 1930-х до 1950-х годов фабрика носила имя В. М. Молотова, а после — О. А. Варенцовой.
В годы Великой Отечественной войны Большая Ивановская мануфактура активно выполняла задачи, поставленные партией и советским народом.
Отделочная фабрика БИМ выпустила за годы войны 385 млн метров готовых тканей.
432 рабочих получили почетные грамоты за свой труд во время войны.
Коллектив работников предприятия собрал 75 тысяч рублей на постройку танка, и за этот значительный вклад в развитие бронетанковых сил, работники фабрики получили личную благодарность от И.В. Сталина.