મોહમ્મદ રફીએ પણ અન્ય ગાયકોની જેમ એ જમાનામાં અભિનય કરવાનો પ્રયત્ન કર્યો હતો પણ પછી ગાયન પર જ 
વધારે ધ્યાન આપ્યું હતું અને એક ખાસ કારણથી અભિનયને બાજુ પર મૂકી દીધો હતો. મોહમ્મદ રફીએ ‘લૈલા મજનૂ’ (૧૯૪૫) માં એસ.ડી. બાતીશ સાથે ‘તેરા જલવા જિસને દેખા’ ગીત ગાવા ઉપરાંત અભિનય કર્યો હતો. એ પછી દિલીપકુમારની ફિલ્મ ‘જુગનૂ’ (૧૯૪૭) માં ‘વો અપની યાદ દિલાને કો’ ગીત ગાવા સાથે અભિનય કર્યો હતો. મોહમ્મદ રફીના પુત્ર શાહીદ રફીએ એક મુલાકાતમાં કહ્યું છે કે એ જમાનામાં એવો ટ્રેન્ડ હતો કે ગાયક ફિલ્મમાં અભિનય કરતા હતા. જે ગાયકનું ગીત હોય એ અભિનય કરતાં હતા. કે. એલ. સાયગલ, તલત મહેમૂદ, મુકેશ વગેરે ગાયકોએ અભિનય કર્યો હતો.
મોહમ્મદ રફીએ બે ફિલ્મોમાં અભિનય કર્યો પણ એમને ગાયન ગાવાની ધૂન વધારે હતી. જ્યારે અભિનય વખતે મેકઅપ કરવાની વાત આવતી હતી ત્યારે એમને ગમતું ન હતું અને કહેતા પણ હતા કે ચહેરા પર આ ચૂના જેવું લગાવે છે એ મને પસંદ નથી. તે નિર્માતાને કહેતા કે મારે અભિનય કરવો નથી મને બસ ગીત ગાવા દો. શાહીદનું કહેવું છે કે હિન્દી ફિલ્મોમાં પાર્શ્વગાયનની શરૂઆત કરનાર મોહમ્મદ રફી હતા. મોહમ્મદ રફીએ સૌપ્રથમ સંગીતકાર શ્યામ સુંદરની પંજાબી ફિલ્મ ‘ગુલબલોચ’ (૧૯૪૪) માં ગાયું હતું. અને એમની જ હિન્દી ફિલ્મ ‘ગાંવ કી ગોરી’ માં ગાઈને હિન્દીમાં ગાવાની શરૂઆત કરી હતી. શ્યામસુંદર સાથેની મુલાકાતનો પણ કિસ્સો છે. એક વખત લાહોરમાં કે. એલ. સાયગલનો થિયેટરમાં ગાયનનો કાર્યક્રમ હતો. અચાનક વીજળી જતી રહી અને અંધારું થઈ ગયું. માઇક બંધ થયું એટલે સાયગલ અંદર જતાં રહ્યા. ત્યારે ફાનસ સળગાવવામાં આવ્યા. મોહમ્મદ રફી એ કાર્યક્રમ જોવા ગયા હતા અને લોકો એમના ગાયનથી પરિચિત હતા એટલે ગાવા માટે આગ્રહ કર્યો અને સ્ટેજ પર બોલાવ્યા. રફી કોઈ સંકોચ- શરમ વગર સ્ટેજ પર ગયા અને પંજાબી ગીતો ગાવાનું શરૂ કરી દીધું.
શ્યામ સુંદર રફીના અવાજથી પ્રભાવિત થયા અને એમના ભાઈને પોતાનું કાર્ડ આપી મળવા માટે કહ્યું હતું. અને એમણે જ પહેલી તક આપી હતી. શાહીદે કહ્યું કે અસલમાં મોહમ્મદ રફીના પિતા ચાહતા ન હતા કે એ ફિલ્મોમાં કામ કરે. તે આ બાબતની સંપૂર્ણ વિરોધમાં હતા. તે કહેતા હતા કે આ આપણું કામ નથી. પરંતુ રફીને ગાયક બનવાની ધૂન હતી એટલે ચોરીછૂપી શીખતા હતા. રફીને માતાએ ગાયનમાં પ્રોત્સાહન આપ્યું હતું. રફી જ્યારે કારકિર્દી બાનવવા મુંબઇ જઈ રહ્યા હતા ત્યારે એમણે કહ્યું હતું કે મારી દુઆ તારી સાથે છે અને તું બહુ મોટો માણસ બનીને આવીશ.
રફીએ જ્યારે ગાયક તરીકે થોડું નામ કર્યું ત્યારે પિતાએ પોતાનો વિરોધ પાછો ખેંચી લીધો હતો. વર્ષો પછી ગાયક તરીકે ખૂબ સફળ થયા પછી પણ એમને એનું અભિમાન આવ્યું ન હતું. શાહીદે એક કિસ્સો યાદ કરતાં કહ્યું હતું કે મોહમ્મદ રફી જ્યારે ‘નસીબ’ (૧૯૮૧) નું ‘ચલ મેરે ભાઈ તેરે હાથ જોડતા હૂં’ ગાઈને ઘરે આવ્યા ત્યારે બાળકોને ખુશીથી કહ્યું હતું કે તમને ખબર છે? આજે મેં અમિતાભ બચ્ચન સાથે ગીત ગાયું છે! બાળકો એમને અમિતાભ વિશે પૂછવા લાગ્યા ત્યારે એમના કપડાં અને લંબાઈ વિશે બહુ ઉત્સાહથી વાત કરી હતી.
