В свое время он, успев поработать в Apple, General Magic и Danger, основал свой стартап Android Inc.

Изначально планировалось создавать платформу для «смарт-фотоаппаратов» с облаком, в котором можно было бы хранить фотографии, – в 2004 году это направление еще казалось перспективным. Однако разработчики быстро смекнули, что время цифровых камер заканчивается, и, внеся некоторые изменения в платформу, перешли к более многообещающему проекту – Android для телефонов.

В 2005 году стартап был куплен Google, но даже после слияния с мощным поисковиком остался независимым: у разработчиков программного обеспечения для смартфонов была даже отдельная от других отделов столовая (немалая заслуга Рубина, который настаивал на автономности).

Рубин принимал серьезное участие в развитии Android; помимо этого, он имеет 17 патентов на свои изобретения. В 2013 году он оставил Android, чтобы возглавить запущенный им отдел робототехники, а сейчас, покинув Google окончательно, собирается открыть инкубатор для стартапов в области аппаратных технологий.