સંગીતકાર તરીકે શિવ-હરિએ યશ ચોપડાની ‘સિલસિલા’ (૧૯૮૧) થી શરૂઆત કરી હતી પરંતુ એ પહેલાં તેમની જ એક 
ફિલ્મ મળી હોવા છતાં ના પાડી દીધી હતી. યશજીએ શિવ-હરિના સંગીતવાળું આલબમ ‘કૉલ ઓફ ધ વેલી’ (૧૯૬૭) જ્યારે સાંભળ્યું ત્યારથી જ નક્કી કરી લીધું હતું કે ક્યારેક તેમની સાથે કામ કરવું જોઇએ. યશજીએ સૌથી પહેલાં ફિલ્મ ‘કાલા પથ્થર'(૧૯૭૯) માટે જુદા જ સંજોગોમાં તેમનો સંપર્ક કર્યો હતો. એ ફિલ્મમાં રાજેશ રોશન સંગીત આપી રહ્યા હતા. તેમણે કેટલાક ગીતો રેકોર્ડ કરી લીધા હતા પરંતુ બાકીના ગીતો માટે કોઇ કારણથી યશજીએ અન્ય સંગીતકારની મદદ લેવાની જરૂર પડી હતી.
યશજીએ શિવ-હરિનો સંપર્ક કર્યો ત્યારે એમણે ના પાડી દીધી. તેનું કારણ એ હતું કે તેઓ રાજેશ રોશન સાથે અગાઉ વાદ્યવાદક તરીકે કામ કરી ચૂક્યા હતા. તેમની સાથે સંબંધ ખરાબ કરવા માગતા ન હતા અને કોઇ બીજા સંગીત નિર્દેશકનું કામ લેવાનું અનૈતિક માનતા હતા. યશજીને તેમની વાત યોગ્ય લાગી અને વાયદો કર્યો કે ફરી કોઇ ફિલ્મનું સંગીત એમની શૈલીનું હશે ત્યારે તમામ ગીતો એમની પાસે તૈયાર કરાવશે. એ પછી યશજીએ જ્યારે ‘સિલસિલા’ બનાવવાનું વિચાર્યું ત્યારે એમને જ સંગીતકાર તરીકે લીધા. બૉલિવૂડમાં પહેલી જ ફિલ્મના ગીતોથી શિવ-હરિની જોડીએ ધૂમ મચાવી દીધી. ‘સિલસિલા’ નું ગીત-સંગીત અનેક રીતે વિશેષ બની રહ્યું. જાવેદ અખ્તરે ‘દેખા એક ખ્વાબ તો’ ગીતથી પહેલી વખત ગીતકાર તરીકે શરૂઆત કરી હતી અને અમિતાભે પોતે બે ગીતો ગાયા હતા.
એટલું જ નહીં એક ગીતમાં એમના પિતા ડૉ. હરિવંશરાય બચ્ચનના શબ્દો (રંગ બરસે ભીગે ચુનરવાલી) નો પહેલી વખત કોઇ હિન્દી ફિલ્મ માટે ઉપયોગ થયો હતો. જોકે સ્વતંત્ર સંગીત નિર્દેશક તરીકે શિવ-હરિએ જબરદસ્ત સફળતા મેળવી હતી. તેમની જોડીના ટૂંકા નામ પાછળ પણ એક રસપ્રદ વાત છે. સંતૂર વાદક શિવકુમાર શર્મા અને વાંસળી વાદક હરિપ્રસાદ ચૌરસિયાએ ૧૯૭૧ માં સ્ટૉકહોમની એક રેકોર્ડ કંપની માટે વાંસળી અને સંતૂરની જુગલબંદી કરી હતી. એ આલબમનું કવર તૈયાર કરવામાં આવી રહ્યું હતું ત્યારે તેમને થયું કે બંનેના લાંબા નામ લખવામાં આવશે તો એ કોઇ જાહેરાતના હોર્ડિંગ જેવું લાગશે.
તેમણે પોતાના નામોને શક્ય હોય એટલા ટૂંકા કરવાનો પ્રયત્ન કર્યો અને ‘શિવ-હરિ’ નામ રાખ્યું. શિવકુમાર શર્માનું નામ આગળ રાખવા પાછળ પણ કારણ હતું. શિવકુમાર હરિપ્રસાદથી થોડા મહિના મોટા હતા એ ઉપરાંત હરિપ્રસાદના જે મોટા ભાઇનું યુવાવસ્થામાં મૃત્યુ થયું હતું એમનું નામ શિવપ્રસાદ હતું. આમ ભાવનાત્મક રીતે પણ હરિપ્રસાદની ઇચ્છા હતી કે શિવનું નામ પ્રથમ આવવું જોઇએ. અને એમને શિવ-હરિ તરીકે જોડી બનાવી હતી.
