Знаете ли, про Си и C++ тоже можно сказать, что они кросс-платформенны и легко компилируются под любую платформу. С одной стороны это правда – на каждой платформе есть компиляторы для них; более того, на большинстве платформ эти языки принципиально важны внутри самой ОС. Однако для реальной разработки кросс-платформенного ПО приходится очень сильно изворачиваться – потому что у разных операционных систем разные библиотеки, ограничения и возможности. В то же время, код основной логики программы зачастую переносится на другие ОС без изменений.
Насчёт приложений под Андроид ситуация немного другая: дело в том, что там используется своя JVM с привязкой именно под ОС Андроида, с её возможностями и ограничениями. Но приложения написанные чисто на Java действительно запускаются где угодно, где есть JVM – эта программа как раз и написана отдельно под разные ОС и минимизирует различия между ними.
Как и с Си/C++, основную логику приложений на чистом Java и на Андроид можно спокойно переносить друг в друга – если не использовать привязанные только к ним библиотеки.
Update.
Как уже было упомянуто, Java-приложения не нуждаются в перекомпиляции под разные платформы, в то время как C++ нужно компилировать под каждую ОС отдельно, с учётом её фреймворков, библиотек и т.д. Зато используя C++ можно писать почти на любую ОС, как ПК (Windows, Mac OS X, Linux), так и мобильные (Android, iOS), а Java-приложения запускаются только на ПК – конечно, есть ещё Android, но для него приложение здесь нужно сильно дорабатывать, как и в случае с C++.
Если Вас интересует кросс-платформенность в целом, советую почитать про Xamarin Mono, Qt, React Native, Unity (если углубляться в гейм-дев, то ещё Unreal Engine, GameMaker:Studio) – все эти проекты созданы для настоящей кр-платформенности, компиляции под разные ОС с минимумом изменений в коде. При этом, у всех них совершенно разные принципы работы, цены, различные достоинства и недостатки.