1、材 料 目 錄 清 單l 材料一 新型O2O免郵社區購創業方案書l 材料二 附件1:調查問卷l 材料三 附件2:專利申請證明文件截圖l 材料四 新型O2O免郵社區購平臺操作手冊材料一我們創業與夢想的起航200萬快遞員煩惱的終結3億網購用戶的期盼 目 錄目 錄3第一章 新型O2O免郵社區購概述51.1 新型O2O免郵社區購概述51.2 新型O2O免郵社區購工作流程61.3 O2O免郵社區購項目的創新與優勢7第二章 新型O2O免郵社區購創意來源102.1 學校與社區快遞現狀調查102.2 社區居民或高校學生小物件網購現狀調查112.3 市民網購現狀采訪122.4 快遞員工作現狀采訪122.5 調查
2、總結12第三章 新型O2O免郵社區購團隊組建133.1 創業計劃與進度安排133.2 公司組建143.3 社區選擇原則163.4 商品分類原則173.5 運營特點183.6 盈利模式18第四章 新型O2O免郵社區購平臺總體架構與設計204.1 平臺總體架構204.2 數據庫建設214.3 平臺開發工程源碼目錄結構224.4 平臺界面設計24第五章 新型O2O免郵社區購平臺商品采購算法275.1 爬蟲算法概述275.2 相關概念285.3 基于通用爬蟲算法的商品信息聚焦爬蟲算法設計285.3.1 通用爬蟲算法與聚焦爬蟲概念285.3.2 聚焦爬蟲算法實現原理29第六章 成本與盈利分析326.1
3、可行性分析326.2 運營成本預算346.3創業啟動資金籌措356.4盈利分析35參 考 文 獻37附件1: 調查問卷38附件2: 專利申請證明文件截圖40第一章 新型O2O免郵社區購概述1.1 新型O2O免郵社區購概述傳統O2O當前大家熟知的O2O:Online To Offline,線上組團、購物與結算,線下按社區(學校、小區等)離線收貨與確認,實現將線下商務機會與互聯網結合在一起,讓互聯網成為線下交易的前臺,我們暫且稱之為傳統O2O。其組團方式是單個商品組團,購買客戶不限地域,因此它僅適用于線下消費(如酒店、餐飲等)商品或服務的團購。這種電子商務團購形式是一種網絡電子商務與實體經營相結合
4、的最近兩三年來飛速興起和發展的電商模式。新型O2O本創意電子商務方案是在以上傳統O2O基礎上發展的一種新型O2O團購方式。它與普通O2O最大的不同是組團對象不是單件商品(或服務)為一個團,而是屬于某一店家的所有商品為一個團,商品類型也不僅僅局限于線下消費商品。其購買客戶會根據地域分成不同社區,同一社區的所有成員購買同一店家的各種商品累計成一個團。憑借社區優勢,線上購買商品后線下定點取貨,以此實現對客戶購物免郵的目的。其最大的優勢就是集中購物,聚集資金,加大與商家的談判能力,以獲得最優惠的價格購買商品,集中配送,降低物流成本,同時能夠實現低價值(郵寄成本比例過高)小物件電商化,不失為一種較為合理
5、的電商發展新模式。我們稱這種新型電商模式為O2O免郵社區購,簡稱社區購。社區購概念的由來O2O免郵社區購是我們提出的一種全新的電子商務團購模式。對單個用戶來說,只需選擇團購按商品價格進行網絡支付(無需支付郵費),成團到貨后接收短信通知并去指定網點面簽和取貨。對于同一社區群體來說,社區群體就是一個購物團體單位,當群體購物總價值或總數量達到一定的規模時,商家可以低成本免郵費采購這些商品然后分發給群體中的個人。對于社區購經營商家來說,需要建設電商網站、分區組團、分社區統一采購進貨、分用戶包裝、短信通知用戶、確認身份并分發商品。社區購中的社區概念借用了一般的社區概念,一般的社區是指有共同文化的居住于同
6、一區域的人群,其特征是有“共同文化”或者“共同地域”,“社區購”的社區強調“共同地域”和“群體規模”。地域范圍限制在同一社區中的群體經常活動范圍。可以是一所學校、一個企事業單位、一個居民小區或者極其鄰近的街道、村落。群體規模有最少數量限制,至少在1000位用戶及以上。1.2 新型O2O免郵社區購工作流程O2O社區購按區域組成電子商務購物社區,比如一所學校是一個社區來設置和布點,一定規模的居民小區是一個社區購布點,一個企事業單位也可以組成一個社區購布點(如圖1-1所示)。圖1-1 O2O社區購的流程圖網站經營方提供各種物品(主要是單件采購在一般網站的郵費占比較重的小物品)供社區成員網購,社區成員
7、購物并支付到電商商家的支付寶賬。當社區成員所購物品按進貨來源分類已經達到團購數量或者金額時,自動組合成不同的團購免郵包裹,此時社區購經營商家通知提供貨源的電子商務網站發貨,商品直接郵寄到社購分點,由社購分點的營業人員直接通知買主來社區取貨點取貨。免郵社區購網站的功能是讓用戶通過注冊賬號,登錄O2O免郵社區購網站,任意選擇自己想要購買的商品,填寫訂單信息,完成在線支付(免去郵費)等流程后,網站平臺會將來自于同一供應商的不同商品在免郵購網站后臺自動累計組團,只要貨源相同的所有商品都自動統計成團,累積訂單數量從而達到我們與貨源商家協商的優惠(免郵)標準,這樣網購用戶不僅可以在我們的網站上隨心以相對的
8、價錢購買任意商品,更重要的是在購買價格低廉的小商品時不再需要考慮相對較高的郵費。為了方便買方隨時取郵件,我們會在達到一定人口數量的高校或社區設立實體社區收貨網點,用來統一接收存放該區域網購用戶的訂單物品,并通知社區的網購用戶領取商品。1.3 O2O免郵社區購項目的創新與優勢一、提出了O2O免郵社區購電商新模式。此新型模式已申報國家專利(證明資料參見圖1-2。注:根據大賽要求特隱去個人信息內容)。與傳統O2O或普通商品團購相比(需要實質發貨),主要有以下幾點不同: 傳統O2O特別適用于餐飲、酒店、服務等無需實質發貨的消費行業,線上付款,線下消費。新型O2O免郵社區購對銷售物品的性質沒有限制,線上
9、付款,線下消費或取貨。 普通商品團購(需要實質發貨)是對某一商品為一個團購內容,團購成員地域不限,累積購買數量達到團購數量即成團,成團后商家需要將商品郵寄給分散在各地的購買者,對購物者來說是一種完全線上模式。新型O2O免郵社區購該模式采用線上線下相結合的形式,線上建立O2O免郵社區購的網絡購物網站平臺,線下在部分社區設立實體收貨網點。購買者直接到社區收貨網點面對面取貨。團購成員限于同一社區成員。圖1-2 國家知識產權局頒發的專利實審通知書二、實現了小物件網購徹底免郵。新型O2O免郵社區購跨越小物件電子商務運營的障礙,大大降低了小物件電子商務交易的成本,使小物件的電子商務交易成為可能。 目前電子
10、商務網購交易中對于低廉小商品的交易存在許多局限性,比如對于許多2元、10元左右的小物件商品,網購消費者在購買時考慮到占比很高的郵資成本,會難于決定購買,或者需要湊單達到一定價值來免郵。而本項目社區購的電商網購模式是按用戶訂單的貨源(商家)分類,同一貨源所有商品累計到一定數額之后,達到與供貨商家協商的優惠標準(比如免郵等),這樣網購用戶可以直接選擇想要購買的商品。即使是2元一件的小物品,也可以輕松免郵買到,而不必考慮高于物價成本或占比例很高的郵費。三、解決了快遞最后100米的問題。通過社區購采購的商品,物流統一送貨到社區網點,由購物者自行到網點拿貨。基于社區設點、取貨時間自由,區域定點方便順路的
11、優勢,實現自取貨物的線下無物流模式。解決了快遞最后100米的難題。同時,當社區購建立在高校校園或居民小區時,能夠解決高校學生群體上課不能隨時收發或社區成員不在家無法收發網購快遞的煩惱。四、轉變被動物流快遞模式為主動物流快遞模式。目前郵寄快遞存在必須預約、入戶、投遞未妥多次周轉等問題,快遞員被動送貨,購物者被動收貨。新型O2O免郵社區購全面鋪開后社區網點具有集中社區快遞的天然優勢,因此社區網點自然會拓展收發快遞的副業。所有快遞公司按照安排的時間送貨到社區網點,用戶主動到網點取貨,顯然被動快遞模式轉變成為了主動快遞模式。五、依托于O2O免郵社區購電商平臺,構建了一種新算法,實現與電商企業合作的新模
12、式。新型O2O免郵社區購合作模式不同于傳統的企業合作,通過協商,供貨商只要愿意共享其在線銷售的商品圖片和基本商品信息,社區購平臺通過基于提出的新算法根據需要抓取供貨商網站商品信息。自動抓取網頁上的商品圖片以及商品信息用于免郵購網站展示,以便客戶購物挑選。這種抓取方法就是社區購平臺專門設計的基于正則表達式的爬蟲算法。第二章 新型O2O免郵社區購創意來源2.1 學校與社區快遞現狀調查不難發現,幾乎每天在校園的門口或者小區的門口都有不同的快遞公司的快遞員在那邊收發快遞,包裹被隨地堆放在地上,不管是什么包裹都互相壓在一起。據調查,80%以上的小區都存在將快遞勉強寄存在門衛或物業公司處的現象,快遞取件并
13、無專門人員管理,居民取件完全靠自覺,去錯快件、丟失快件時有發生。在各大高校更是夸張,物流公司在校園門口設攤現象非常普遍,我們根據隨機抽取的一家普通偏小規模的高校進行調查統計,順豐快遞每天有200件左右快遞,最少的也有30到50件,每天有5家以上快遞公司在校門口或周邊設攤等候。快遞電動車、三輪車、各種快遞包裹在校園攤點顯得非常凌亂,嚴重影響校園環境(如圖2-1)。同學們上課時有快遞電話或短信,上課下課都到校門口接收快遞,嚴重影響課堂紀律。圖2-1 目前網購快遞送貨現場之亂象怎么改善這種快遞設攤亂像?怎么防止同學們上課忙于取快遞影響學習?防止上班無法接收家里的快遞?當下之急是建立社區或學校快遞收發
14、網點!但是在市場經濟的社會,純粹建立收發網點顯然快遞量大、需要人力成本、房租成本,總之成本太高不現實。所以依托于某一項目把收發快遞作為副業值得考慮!2.2 社區居民或高校學生小物件網購現狀調查網購市場前景廣闊。根據中國互聯網信息中心發布的第33次中國互聯網發展狀況統計報告顯示,截至2013年12月底,我國網民總數達到6.18億,在這6.18億網民中。報告指出:網絡購物用戶規模持續增長,團購成為增長亮點。商務類應用保持較高的發展速度,其中網絡購物以及相類似的團購尤為明顯。2013年,中國網絡購物用戶規模達3.02億人,使用率達到48.9%。團購用戶規模達1.41億人,團購的使用率為22.8%,是
15、增長最快的商務類應用。商務類應用的高速發展與支付、物流的完善以及整體環境的推動有密切關系,而團購出現“逆轉”增長,意味著在經歷了野蠻增長后的洗牌,團購已經進入理性發展時期。小物件網購令網民糾結煩惱。電子商務網購市場發展迅速的主要原因是因為網購便捷、搜索商品方便、商品價格比實體店便宜。但根據調查,小物件(郵費成本比例高的物件)網購還不方便,尤其是學生群體在購物時購物大部分購買的是小物件、單件購買常常不得不付出10%以上的郵費,或者為了湊足免郵金額而買些不需要買的東西,造成浪費。在社區與高校網購群體的調查中,設置問題:如果你很想網購的物件本身價格便宜,如價格在60元以下,郵費為6元,你是怎么做的?
16、 多購買一些其它商品湊足免郵 毫不猶疑,喜歡就買 常常放棄購買 因為要用,沒辦法還是買了,但總是很糾結根據我們統計結果顯示,10%用戶選擇A, 30%的用戶選擇C,50%的用戶選擇D,這表明90%的用戶對購買小商品不滿意。如果有一個購物網站,可以團購其他網站的商品,不需要郵費,等短信通知后隨時到學校或社區站點自取商品,你會去這個網站購物么?A. 會考慮 B. 無所謂 C. 不考慮,只在之前習慣的網店購買根據我們統計結果顯示,80%的用戶選擇A。表示據大多數用戶希望購買免郵商品。2.3 市民網購現狀采訪我們調查時對市民進行了采訪,結果表明,社區家庭網購還存在以下問題: 油鹽醬醋、針線等小物件無法
17、直接少量購買。 社區居民不在家無法收發快遞(郵遞員多次投遞未妥)。2.4 快遞員工作現狀采訪 預約時間和快遞入戶花去大量時間。 快遞電動車停在小區樓下,快遞存放門衛導致錯拿快件或是屢屢丟件。2.5 調查總結 以上情況均表明,創建免郵購物平臺、發展社區快遞網點是順應目前電子商務發展和需要的項目,是值得推行和付諸實施的創業項目。第三章 新型O2O免郵社區購團隊組建3.1 創業計劃與進度安排 組建創業團隊12年3月至9月,在導師指導下,基于調查和分析,確定了新型O2O免郵社區購項目,決定組建O2O免郵創業團隊。團隊成員為五人:導師、三名平臺開發干將(10級兩名和11級一名編程主將)、一名設計師(11
18、級新苗計劃項目團隊成員)、兩名文秘(10級電商方向班級尖子生)。 申報專利12年10月至12月,創業團隊進一步確定項目總體規劃與思想,由導師起草,團隊其它成員合作查找文獻并申報專利。 確定方案與搭建開發平臺13年1月至14年3月,利用課余時間多次討論平臺開發方案,最后確定了MVC架構的多層體系和開發方案,允許加入多個社區,以方便后期加盟與擴建,超級管理員下設社區管理員,各社區管理員管理多個部門,設定多級權限。創業組設計師負責整體架構設計和文檔建設;兩位文秘負責界面設計、數據庫創建與商品信息收集,統計等事務;開發干將負責平臺整體架構:一名負責前臺開發設計,一名負責后臺開發設計。整個項目由導師統一
19、協調溝通。目前平臺開發基本完成,后期需要上線并進行支付寶接口調試、網站安全檢測。 選擇貨源、確定試點經營社區13年8月到9月。我們的創業項目是以社區組團,社區選點是第一步,按照團隊的特點是對高校比較熟悉,因此選擇所在學校為首個試點社區。接下來就是選擇貨源,本項目團購設置是按貨源來劃分的,因此,貨源的選擇是決定創業項目成功與失敗的主要步驟。根據調查分析,我們學校學生在1號店和天貓超市等網站購物比較活躍,因此選擇1號店、天貓超市、聯華易購等七家貨源點,分別稱為一樓到七樓,代表七個團購。 公司組建2014年4月至8月,組建公司,目前可能有兩種方式,一種是掛靠已有公司,一種是獨立注冊。準備相關文檔與資
20、料。詳見5.2。公司圖標如下圖3-1,由三人組成,形如大眾的眾,表示一種群體社區和大眾構成的團購,讓人有眾人拾柴火焰高一般的感覺。圖3-1公司圖標公司名稱:免郵社區購有限公司 與貨源經營商(貨源網站)的合作業務洽談2014年8月至12月的主要任務是業務洽談。由于我們項目主要經營1號店、天貓超市、聯華易購等主要網站的在線商品,商品圖片和信息來源是這些供貨商,因此我們經營之前需要與供貨商進行業務洽談,簽訂圖片和資料的使用、價格協商協議。當然,這一業務完全是互惠互利的,我們賣出商品也就是為供貨商賣出商品,并且我們不損害供貨商的利益,如果進貨量不大,依照供貨商賣出價進貨也壓力不大,當然,如果量大,我們
21、希望爭取比供貨商賣出價格要低的協議價,這樣的合作應該是雙方都樂意的事情。 與快遞公司的合作業務洽談2015年1月至3月的主要任務是與各家快遞公司的業務洽談。設置快遞網點作為免郵社區購的拓展業務,既能解決快遞公司最后100米的煩惱,又能維護社區、高校公共環境、防止影響上課、上班次序。 穩步發展業務,擴展社區試點范圍,確定第一批高校社區網點到2016年,用一年時間,擴展平臺的加盟功能,擴展五所高校作為第一批社區網點,允許以加盟的形式加入免郵購創業項目。 擴展業務,確定第二批大型居民社區網點3.2 公司組建首期創建公司為整個項目的總部公司。社區購總部公司分為:社區購策劃部、財務部、網站建設部、商品來
22、源與素材采集部、銷售部、快遞收發部、售后服務部(具體的公司機構布局見圖3-2)。各部門功能如下。一、社區購策劃部:1. 根據公司的戰略規劃,制定各崗位的任務和工作目標2. 負責控制公司的預算,降低成本 3. 網站規劃:網站欄目、功能應用、內容結構的整體規劃 總經理財務部網站建設部銷售部快遞收發部商品來源與素材采集 部售后服務部社區購策劃部圖3-2 公司布局圖4. 需求分析整理:提出網站具體的修善建議和方案。據公司整體發展需要、相關業務部門提出的需求、會員提出的相關議見,調研收集各方用戶體驗,對需求進行深入可行性分析,提出對網站產品的需求規劃和用戶體驗的相應調整 5.吸取、回饋用戶對網站的意見和
23、建議 6.用戶體驗:改善門戶界面及交易環境,增強用戶體驗二、財務部負責公司的帳務往來為主,還有各方面財政狀況的控制和審核,包括網站的初步建設費用,運營費用,收支費用,廣告費用,團隊人員工資制定、年度計劃、公司企業月銷售的盤點,以及公司未來的動向、準確及時的財務報表、市場分析等。三、網站建設部包括網站建設和網站維護。網站建設工作是根據公司的需求建設符合要求的網站。網站維護工作主要是負責公司數據庫的管理和日常維護,配合業務需求開發新的功能,負責同其他各部門的聯系與合作工作;維護公司站點安全運行。四、商品來源與素材采集部1.根據公司以及顧客的需求制定、修改采購戰略2.負責供應商的開發:尋求新供應商,
24、取得報價,組織相關部門進行新供應商的質量體系的評價,建立潛在供應商和供應商數據庫。五、銷售部主要負責回答客戶各種關于本公司及網站的所有咨詢,負責接收客戶的投訴;負責聯系廣告投播商。為客戶提供良好的售前服務以及維護公司的形象以及公司的利益。六、快遞收發部主要負責訂單確認,商品的配送等問題七、售后服務部1. 代為消費者安裝、調試產品; 2. 根據消費者要求,進行有關使用等方面的技術指導;3. 保證維修零配件的供應;4. 負責維修服務;5. 對產品實行“三包”,即包修、包換、包退(現在許多人認為產品售后服務就是為“三包”,這是一種狹義的理解);6. 處理消費者來信來訪以及電話投訴意見,解答消費者的咨
25、詢。同時用各種方式征集消費者對產品質量的意見,并根據情況及時改進。3.3 社區選擇原則團購網站因為它擁有非常強烈的“區域特性”。“O2O社區購”團購首期主要針對在校大學生。大學生有許多共同的興趣愛好以及消費傾向,消費商品較單一,而且大學校園里的消費群體素質較高,容易接受新生事物,對網絡消費等新興模式接受較快,從而為開展網絡團購奠定了良好的基礎。因為對于參加團購的消費者來說首先要滿足在地理位置上的方便;其次要有所需求的商品并且在價格上明顯比其它商家便宜。對于學生來說這兩個特點更是一大吸引點。當前,我國許多城市都建立了各具特色的大學城。在大學城內,大學生的生活起居相對集中。正是這種區域化優勢,使物
26、流配送程序得到大量簡化,從而較好地解決了困擾網絡團購的物流配送問題。但同樣存在一些問題:很多時候學生買的是小物件為主,價格中郵費成本比例高,性價比不夠高;快遞收發擾亂上課次序等問題。對快遞員和居民自身都造成不便等一些問題。O2O免郵“社區購”設想O2O:Online to offline.線上組團、購物與結算,線下按社區(學校、小區等)離線收貨與確認。創業初步選擇高校作為社區網點,第一批小和山三所高校工大、浙外、科技做示范網點,后期擴展到主城區包括浙大、還有下沙高教園區多所院校。后期服務于周邊社區居民,擴大服務群體(具體的社區分布初步設想圖見圖3-3)。社區網點功能設置:商品查詢、短信收發、售
27、后服務、貨物分發。浙大以及下沙高教園區多所學校周邊社區居民、擴大服務群體小和山高教園區(如工大、浙外、科技)圖3-3 社區分布初步設想圖3.4 商品分類原則對不同性質的社區,其商品分類有差別,比如大學生校園社區,分類設為:學習類、生活類、娛樂類、零食類、服裝類、洗漱用品。對居民社區,設置分類為:干果類、水果類、飲料、牛奶、廚房用品、家居用品、紙巾等。因此平臺提供社區自行設置商品分類的功能。3.5 運營特點第一,主動出擊,網站本身先找一些有著潛在消費商品的商家,將此類潛在消費商品信息放到網站上。直接與商家聯系可以為學生獲取更大的優惠,打造低價團購。第二,定期更新團購網里團購內容,以二次加工的商品
28、為價格主打(在與商家協調下取得的最低價的基礎上加一點價),以最貼近學生學習生活類用品為主,如四六級英語試卷、考研書、筆、洗發水、鼠標等。第三,學生在有自身需求的情況下,可以通過網站發起團購。管理員根據所掌握的商家資源對其所需商品最優惠的價格發起團購,一旦到了成團數就向商家訂貨。若未到所預定的成團數,在與已下單的學生討論之下,每位同學加一些錢使得網站不虧損的情況下,根據情況同意者則下單成團。第四,限時限最低成團樓層訂單總金額,Groupon對于團購的參與人數也卡得非常嚴格,畢竟價格低的話當然就需要足夠的人數。它規定只有達到預定人數,每個人都能享受到折扣價;如果缺少人哪怕只有一個,每個人也就享受不
29、到折扣價了。這樣才使得用戶們有較大的熱情去動員各自的人際關系網絡。網站本身充當了中介的作用,并且將最大的利益帶給高校學生。把有意購買低價打折物品的人們召集到一起組成一個團購隊伍,當這個隊伍的人數達到最低限度時,則可成功進行團購,享受最低價格購買商品。如果人數沒有達到最低限度,則此次團購失敗,用戶也無須承擔任何風險。第五,郵件訂閱和邀請,分享返獎金,通過這些方式可以說是實惠的方式來帶動網站實實在在的流量和關注。網站每天團購的服務類商品你愿意買最好,如果確實不需要,看也很有趣,就像看新聞一樣。很多人每天看八卦,本身有閱讀快感。或者能普及一些知識。另外即使你不敢興趣因為邀請好友購買有獎金,你也會通過
30、你在網上的社會關系比如人人網(原校內網),開心網,新浪微博,MNS/QQ等邀請好友來瀏覽和形成購買。3.6 盈利模式我們先看看傳統的團購網站吧,現在傳統的成功團購網站大多都采取的線上的商品直銷與線下的商品展會等盈利方式。我們O2O免郵社區購可以采取哪些盈利的模式呢? 在線銷售利潤這是我們最基本的一項服務,但與傳統的團購網站又有不同之處,傳統的團購網站一般是自己向商家進貨,然后負責把商品賣出去,賺取其中的差價,也就是直銷。而我們O2O免郵社區購項目不同,商品銷售利潤來源主要是商品免郵賺取的差價,比如在1號店某支牙膏的銷售價為5元,郵費為5元,用戶只買一支牙膏,我們的可能為5.1元,因此我們的利潤
31、是0.1元。當然如果同一用戶購買的價值數量達到一號店免郵的金額,我們與進貨商的協議價肯定低于5元,那么我們的利潤是5元減去協議價。 分站加盟授權,利潤分成平臺上線運營第一階段試點一所最熟悉的高校項目之后,整個項目的第二階段主要任務是擴展業務,發展高校加盟。此時可以提供授權給加盟者成立分站,為加盟者提供網絡平臺、運作經驗、共享網站品牌等。由于項目平臺本身建設初期架構已經考慮加盟模塊,加盟無需加盟費。因為財務都是通過公司總部結算的,因此可以采用加盟店的銷售業績與利潤掛鉤,加盟社區的利潤需要到總部結算才能拿到,因此總部可以與各加盟社區分別協定分成比例。第四章 新型O2O免郵社區購平臺總體架構與設計與
32、整個項目配套建設中最重要的任務就是搭建新型O2O免郵社區購平臺。由于我們的商務模式有別于目前任何一家團購網站和任何一家傳統O2O網站,因此我們的平臺運作模式、關鍵部分的實現算法等無法用目前已有平臺移植過來。下面對新型O2O免郵社區購平臺的總體架構和功能模塊進行闡述。4.1 平臺總體架構免郵購電子商務平臺大體上分為前臺和后臺兩部分(如圖4-1)。前臺功能包括用戶注冊、登錄、社區選擇、商品查詢、商品瀏覽、商品購買、加入購物車、訂單查詢、短信接收與查詢;后臺功能根據權限分為多種情況。權限有采購員、發貨員、財務管理員、社區管理員、超級管理員。采購員每個社區設若干位,其權限有商品查詢、訂單查詢、購物車查
33、詢、商品添加、商品URL抓取、庫存量查詢等功能;發貨員每個社區配備若干位,具有商品查詢、訂單查詢、短信管理、訂單發貨狀態修改等功能;財務管理員分總部財務管理和社區財務管理,社區財務管理員有商品查詢、訂單查詢、社區財務統計、結算、報表打印等功能;總部財務除具備社區財務管理所有權限外,還具有總部財務管理、社區財務結算、對外財務(與進貨商之間的)結算等功能;社區管理員擁有社區成員管理、社區財務管理、社區商品查詢、訂單查詢等功能;超級管理員權限最大,擁有以上所有權限以外,還具備成員總部成員管理、社區成員管理功能、定價審核、進貨審核等功能。其中主要功能含義概述如下: 前臺商品瀏覽按我們特意設計的樓層進行
34、分類,一個樓層代表一個團購,分類的列表頁面以及商品詳細信息的頁面。這些商品信息是用后臺的爬蟲模塊從其他合作商的購物網站的網頁上抓取獲得的。 用戶功能,用戶通過郵件激活方式注冊賬號。登錄后可以將想團的商品放入購物車。 商品團形成功能,當不同用戶在同一樓層即同一合作商買的商品到達協商的總數量或者總金額時,該樓層的商品即成為一個團。發貨員發送短信及郵件提示用戶團購形成,用戶在線付款。 后臺商品管理:可以操作商品上架下架;對商品分類在前臺顯示,通過商品的銷售量來了解商品受歡迎的程度,以便協調商品在前臺的顯示順序。 后臺用戶管理:不同級別管理員可以看到相關用戶的基本信息,如用戶名,手機號,大學生社區成員
35、學號、聯系方式、對所有權限管理的用戶授權。 財務管理:可以對各社區的收益進行直觀的呈現,管理員可以根據這個了解當天,當周,當月當季等時間段各社區的收益情況。主功能模塊圖圖4-1免郵購電子商務平臺4.2 數據庫建設整個數據庫設計了樓層表LouCeng、用戶表User、商品分類表goodsClass、商品表goodsTable、訂單表myDingdan。各表詳細結構設計和各表主鍵、外鍵之間的關系如下圖4-1,主要關系表有商品表goodsTable和樓層表LouCeng(樓層號實質是首頁上社區購商家順序號)。商品表goodsTable包含的字段為商品編號gid、來自商品類別表的外鍵商品分類編號gcl
36、assid、商品圖片地址gpicurl、商品描述信息gdescribe、商品所屬樓層glouceng、商品所在url地址gaddress、商品進貨價gbuyprice、商品銷售價格gsellprice等。樓層表LouCeng包含的字段為樓層編號loucengID、樓層名稱lcname、樓層對應商家最低免郵金額mianYouJinE、來自供應商trader表的name為外鍵的商家名稱shangJia、樓層描述miaoShu等字段。UseruidusernameupasswordComIDemailmobilezhucetimeadminTableaidadminnameapasswordxiao
37、quIDemailmobilezhucetimelevelCommunityComIDchinesscityeginashcity外鍵外鍵外鍵mydingdanmidmgidmusermnumbertmoneyStatusxddtimesureTimeLouCengloucengIDlcnamemianYouJinEshangJiamiaoShupic_LuJingimgUrl_REGgbuypriceLabel_REGgnameLabel_REGgaddressUrlLabel_REG外鍵外鍵goodsTablegidgclassidgpicurlgnamegdescribeglouceng
38、gaddressgbuypricegsellpricebegtimeendtimegformulaisCrawtraderidnamepasswordcustomerNameinterAdressphonekhBankkhNamebankzfweizhiinfotime外鍵外鍵goodsClassclassIDchineseClassenglishClass 圖4-2 平臺數據庫與表之間的關系圖 4.3 平臺開發工程源碼目錄結構為了體現平臺良好的擴充性、可維護性以便于項目加盟發展需要,平臺架構體系選擇MVC分層模式。數據庫表對應的bean類管理功能bean業務層短信收發數據收集Form層數據處
39、理Dao層前臺頁面文件夾后臺頁面文件夾圖4-3 源碼目錄結構圖4-2為工程源碼目錄結構,業務層、短信收發、數據處理與收集為C(Control控制層)、管理功能、數據庫表對應Bean為模型層(Model)、前臺頁面和后臺頁面為V(View)視圖層。4.4 平臺界面設計首頁頂端是用戶登錄以及注冊入口,接下來是商品的搜索欄,首頁左側是當前的熱門搜索,右側欄是我們的活動展區,以及最近活動信息,中間是樓層選擇區,底部是我們的品牌活動。首頁界面如圖4-4,圖中紅色方框和箭頭標注了相應功能位置。圖4-4 首頁頁面截圖及說明商品清單頁面截圖如圖4-3,圖中商品清單是從下面這個天貓地址頁面所抓取來的商品http
40、:/ 1.1. 1996500281.9. tfTAd7&cat=51278010&style=g&search_condition=1&user_id=725677994&active=1。這些商品屬于零食類商品,采購員在進貨的時候需要填寫抓取網頁URL地址、樓層和類別信息。 圖4-5 商品清單頁面截圖后臺主頁界面截圖如圖4-6。功能模塊包括商品管理、樓層官管理、訂單管理、用戶管理、商戶管理和商品類別管理、財務管理等模塊,實際界面會根據管理員權限有所不同。圖4-6 后臺主界面截圖商品查詢界面截圖如圖4-7。 圖4-7 后臺商品查詢界面截圖第五章 新型O2O免郵社區購平臺商品采購算法本項目開發
41、的具有網購和管理功能平臺在多個環節上具有特有的配套算法設計,如瀏覽網頁自動檢測所屬社區;注冊會員進行手機驗證和郵箱驗證;團購不是按單種商品成團而是按樓層即商家所有商品免郵金額成團;首頁樓層排序按照各商家的所有商品的綜合因素排序,每天自動刷新;特別是進貨方式不同于一般電商網站,本項目經營的大部分商品從合作供貨方的電商網站選擇和抓取,因此設計了基于正則表達式的抓取算法和配套界面;取貨驗證碼短信發送和取貨驗證算法等。下面對主要的成團算法和頁面抓取算法進行闡述。5.1 爬蟲算法概述平臺建設中很重要的的一項功能就是實現給定URL,能夠實時采集供貨商的協議商品信息(包括商品名稱,原價格、商品圖片、商品詳情
42、等)。采用基于正則表達式的通用爬蟲算法采集得到的數據保證實時性、時效性和針對性。社區購平臺從商品信息抽取算法出發,設計了基于正則表達式的通用爬蟲原理的商品信息聚焦爬蟲算法,為平臺實現了商品采購重要環節。 網絡爬蟲算法的研究已經非常深入并分為幾個分支。一是通用網絡爬蟲,它在爬取網頁過程中沒有對頁面和鏈接進行相關性判斷和語義分析,屬于廣泛主題的采集,因此只適合于廣泛主題的搜索引擎,如當前流行的百度,Google等。二是增量式網絡爬蟲,它極大減小了周期內采集頁面的數量,進而節約了時空開銷,目前流行的搜索引擎大都采用增量式網絡爬蟲。三是基于Agent的網絡爬蟲,Agent是一個能在特定環境中連續和自主
43、地運行的軟件實體,具有自主性、反應性、合作性、學習性,能夠自我學習、自行推理,對外界環境做出反應,并自我調整以適應環境;四是遷移的網絡爬蟲將自己上傳到它所要采集的頁面所在服務器中,在該服務器中進行采集,并將采集結果壓縮回傳到本地。五是主題網絡爬蟲,主題爬蟲又稱聚焦爬蟲,這種爬蟲算法的基礎是通用網絡爬蟲,它只選擇那些與特定主題相關的頁面,而舍棄大量與主題無關的頁面,采集的頁面數大大減少,所以極大地節省了硬件和網絡資源,己采集頁面也由于數量少而刷新快,與特定主題相關使它的頁面利用率極大提高,很好地滿足特定人群對特定領域信息的需求,即聚焦爬蟲能夠很好的滿足個性化需求,成為近年來研究的熱點。5.2 相
44、關概念聚焦爬蟲:聚焦爬蟲是一個自動下載網頁的程序,它根據既定的抓取目標,有選擇的訪問萬維網上的網頁與相關的鏈接獲取所需要的信息。基于通用爬蟲算法的聚焦爬蟲:聚焦爬蟲需要解決的三個問題(1)對抓取目標的描述或定義;(2)對網頁或數據的分析與過濾;(3)對URL的搜索策略。本文給出商品信息聚焦爬蟲的定義是以抓取網絡商品關鍵信息為目的,在一定范圍內對網頁與商品相關的鏈接模式作分析,根據正則規則進行匹配并下載匹配段網頁片段,對其它無關鏈接和頁面內容進行過濾的URL搜索和商品信息(包括圖片)的收集策略。5.3 基于通用爬蟲算法的商品信息聚焦爬蟲算法設計算法由于針對性和時效性相當強,因此,算法對不同的電子
45、商務平臺的有一定的適應性要求,基于通用爬蟲算法的商品信息聚焦爬蟲算法是基于網頁內容分析、規則和模式匹配原理而設計的,不同電子商務平臺有不同的網頁設計模式,此算法需要相應改動才能移植,這里以天貓超市為例,設計基于通用爬蟲算法的商品信息聚焦爬蟲算法。5.3.1 通用爬蟲算法與聚焦爬蟲概念網絡爬蟲是一個自動提取網頁的程序,它為搜索引擎從萬維網上下載網頁,是搜索引擎的重要組成。從一個或若干初始網頁的URL開始,獲得初始網頁上的URL,在抓取網頁的過程中,不斷從當前頁面上抽取新的URL放人隊列,直到滿足系統的一定停止條件,如圖5-1 (a)流程圖所示。圖5-1 通用爬蟲與聚焦爬蟲算法流程本項目算法在通用
46、爬蟲基礎上設計的聚焦爬蟲的工作流程較為復雜,需要根據一定的網頁分析算法過濾與主題無關的鏈接,保留有用的鏈接并將其放人等待抓取的URL隊列。然后,它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL,并重復上述過程,直到達到系統的某一條件時停止,如圖5-1(b)所示。另外,所有被爬蟲抓取的網頁將會被系統存貯,進行一定的分析、過濾,并建立索引,以便之后的查詢和檢索;對于聚焦爬蟲來說,這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。5.3.2 聚焦爬蟲算法實現原理 圖5-2 天貓進口商品:進口餅干糕點頁面基于商品評論的聚焦爬蟲算法流程類似于圖5-1(b),其中的獲取URL對應的整個網頁模塊、根據分析算法分析評價網頁及URL模塊和根據搜索策略選擇URL模塊具體化,其算法針對目標是評價網頁的評價者、評價時間、評價優點、評價缺點等信息。首先給定一產品首頁URL,例如天貓進口商品:進口餅干糕點頁面http:/