Добавьте кнопку Выход

На Android приложения закрывать не принято. Запускаете Калькулятор, закрываете - он остаётся в памяти. Так же ведёт себя любое другое стандартное приложение. Ни в одном стандартном приложении вы не найдёте кнопку Выход. Такова идеология системы. Все недавно запущенные приложения остаются в памяти, никаких ресурсов при этом не потребляют. Насчёт занимаемой памяти беспокоиться не нужно - система сама остановит ненужные процессы, когда памяти станет мало. Управлением памятью занимается система, а не пользователь.

Фоновые службы другое дело. Они работают постоянно и, например, регулярно проверяют обновления данных или приложения. Включать или выключать службу можно в настройках приложения. Даже если полностью остановить приложение, служба будет регулярно запускаться. По умолчанию она выключена и никаких ресурсов не потребляет. В Android даже нет стандартного способа, чтобы "выйти" из приложения. Есть возможность принудительно остановить процесс приложения полностью, но это не является корректным завершением его работы.

Если какое-то приложение или его служба чрезмерно расходует ресурсы, то проблема скорее всего в том, что это приложение написано плохо. И это лишь повод перестать им пользоваться и сообщить об этом разработчику.

Пользователь должен пользоваться приложением не думая о технических деталях. Об этом должны думать разработчики приложения и разработчики операционной системы.