נולד וגדל בטירת הכרמל שם גר גם ראובן עטר, מכוכביה הגדולים של מכבי חיפה, שהבחין בכשרונו והמליץ בפניו להצטרף לקבוצת הנערים במועדונו. כהן לא היה כוכב ולכן התחיל לבנות את עצמו ולנדוד לקבוצות קטנות. הראשון שהבחין בכישוריו היה המאמן הותיק, אורי ויינברג, שלקח אותו למכבי אור-עקיבא בליגה ב`. המהירות והחדות של רפי כהן פוררה הגנות ונאמן למאמנו המשיך אתו להפועל כרמיאל ושם עזר לה להעפיל לליגה א` בה כבש 23 שערים ודורג כסגן מלך השערים במחוז הצפוני. ב-1997 זומן לאימוני מכבי חיפה אבל המנג`ר, גיורא שפיגל העדיף על פניו את רג`יד בארנסי ורפי כהן פנה לעירוני ראשון לציון בה התגלה כפוטנציאל גדול, כבש והחמיץ שערים רבים ובעיקר הבליט את המהירות הגבוהה והיציאה הפתאומית מהמקום. בראשון לציון האלמונית הצליח להוות בורג חשוב בהישרדות הקבוצה בליגה הראשונה. קבוצות בכירות שמו עינן על החלוץ ומי שזכתה בו היתה מכבי חיפה שקלטה אותו בעונת 1999/2000. כהן חשף את כל תכונותיו וכבש בעונתו הראשונה 18 שערים, כמות גבוהה למי שבמשחקים רבים עלה כמחליף או שכלל לא שותף. במכבי חיפה שבר את שיאו הלאומי בכיבוש שערים. העונה הראשונה לא העידה על השנתיים הנפלאות הבאות שה"ארנבת" (כך כינו אותו בחיפה) היה שותף להן. אמנם, בשתי העונות גם יחד כבש את אותה כמות כמו בעונה הראשונה שלו (18) , אבל רפי לא שיחק בקביעות ולכן הכמות מרשימה. בפרט שרובם ככולם היו שערים חשובים במשחקים שהיוו נקודות ציון בדרכה של מכבי חיפה לשתי האליפויות הרצופות שלה. עבור רפי, שתי האליפויות, היו שני התארים הראשונים בקריירה הארוכה שלו. מי היה מאמין שהשחקן הזריז שנע ונד בקבוצות "קטנות" יהיה שותף בחוליית המחץ של אלופת ישראל. את עונת 2002/03 פתח רפי כהן בצורה נפלאה. הוא גילה כושר גבוה במחנה האימונים הטרום-עונתי בגרמניה, ואחר כך כבש צמד לרשת בלשינה בויידרויסק מבלארוס בניצחון (0:4) בשלב הראשון של המסע המופלא של קבוצתו בגביע אירופה לאלופות. רפי גם כבש שער ב"אולד טראפורד" של מנצ`סטר יונייטד, ולמרות ההפסד (5:2) במשחק ההיסטורי היה ברור שהוא מוכן לקראת עונה נהדרת. לרוע מזלו שב לארץ ממבחנים באנגליה, החלוץ הניגרי יעקובו איגביני ורפי כהן נדחק לספסל, עליו בילה כמעט את רוב העונה. אמנם, הוא שיחק ב- 23 משחקי ליגה, רובן ככולן כשעלה לדקות ספורות מספסל המילואים. בשלהי העונה הודה המאמן יצחק שום כי שגה בהמעטת יכולתו, ובכך שלא איפשר לרפי כהן לשחק יותר. בתחילת האימונים במכבי חיפה, ביולי 2003 ויתר המאמן החדש, רוני לוי, על שירותיו של החלוץ.