Аниме «Маленькая сэмпай с моей работы» рассказывает историю о Синодзаки - обычном офисном работнике, который переводится в новую компанию и попадает под опеку молодой начальницы, Шиори Катасэ. Хотя Синодзаки сначала притягивает Шиори своей внимательностью и заботой о работе, он скоро начинает развивать чувства к своей начальнице. Синодзаки становится зависимым от Шиори, и он всё больше и больше сосредотачивается на том, как проявить себя в её глазах. В то же время, Шиори остаётся весьма загадочной личностью, и Синодзаки не может быть уверен в её чувствах. Он задается вопросом, помогает ли она ему только из вежливости, или у неё есть более серьезные чувства к нему. Сюжет развивается в напряженном ритме, когда Синодзаки сталкивается с различными препятствиями, которые мешают ему выразить свои чувства.
Кроме того, он сталкивается с конкуренцией со стороны других коллег, которые также заинтересованы в Шиори. В этом борьбе за любовь Синодзаки вынужден действовать на свой лад, прибегая к самым разным уловкам и трюкам. Однако, сюжет не ограничивается только на любовной линии. Аниме также отображает работу в офисе, смешные ситуации и проблемы, которые возникают на работе. Кроме того, зритель узнает больше о каждом из персонажей, их жизни и увлечениях. В конце концов, Синодзаки находит способ выразить свои чувства к Шиори, и она отвечает взаимностью. Они начинают встречаться и наслаждаются своей любовью. Однако, вскоре возникает новая проблема, которая заставляет их работать вместе, чтобы разрешить конфликт.