И то, и другое. Почему первое? Потому что мнение миллиона мух ничего не значит. Это баласт нормального общества, который необходимо скинуть.
В настоящее время в обыденной жизни это выражение также используется для обозначения незарегистрированного совместного проживания мужчины и женщины[2], новое значение уже отражено в ряде источников[4] (в отдельных словарях оно обозначается как разговорное и устаревшее[5]).