創(chuàng)新研發(fā)中心奪得數(shù)字電網(wǎng)開發(fā)者大會算法比賽頭名
點(diǎn)擊量：發(fā)布時間：2021-01-20 17:09
2020年12月，海頤軟件在中國南方電網(wǎng)有限責(zé)任公司舉辦的“數(shù)字電網(wǎng)開發(fā)者大會”算法類比賽“電費(fèi)復(fù)核計算性能優(yōu)化”中獲得了初賽第一、決賽第一的好成績，展現(xiàn)了公司在電費(fèi)復(fù)核業(yè)務(wù)與大數(shù)據(jù)技術(shù)方面的優(yōu)勢。
電費(fèi)復(fù)核工作是電費(fèi)抄核收工作中的一個重要環(huán)節(jié)，同時也是確保電費(fèi)數(shù)據(jù)正確有效的必要環(huán)節(jié)。海頤軟件在電力營銷與大數(shù)據(jù)領(lǐng)域深耕多年，為比賽的最終結(jié)果奠定了良好的基礎(chǔ)。
該題目有30多支參賽隊伍，既包括拓邦、卓維、泰豪在內(nèi)的多個電力領(lǐng)域的老牌“對手”，也包括許多由行業(yè)專家組成的高校隊伍，可謂高手云集。
信科海頤聯(lián)合團(tuán)隊是由海頤創(chuàng)新研發(fā)中心與廣東電力信息科技有限公司（原廣東電網(wǎng)信息中心）聯(lián)合組隊，由信科負(fù)責(zé)題目解讀、以及現(xiàn)場答辯，海頤負(fù)責(zé)整體的方案編寫、技術(shù)實(shí)現(xiàn)和性能調(diào)優(yōu)。海頤團(tuán)隊部分由創(chuàng)新研發(fā)中心的尹書偉帶隊，張威、聶斌、李紅瑛、王昌勇、班喆等多位成員參與。比賽過程中可謂跌宕起伏、一波三折。團(tuán)隊成員默契配合，勇于擔(dān)當(dāng)，攻堅克難，經(jīng)歷了連續(xù)一個月的高強(qiáng)度比賽，以高水準(zhǔn)完成了比賽任務(wù)。
一、確定目標(biāo)，初戰(zhàn)告捷
10月20日，公司了解到南網(wǎng)數(shù)字化部和數(shù)研院共同舉辦“數(shù)字電網(wǎng)開發(fā)者大會”。其中算法類任務(wù)“電費(fèi)復(fù)核計算性能優(yōu)化”正是海頤的業(yè)務(wù)范圍。公司領(lǐng)導(dǎo)要求積極參賽，勇闖佳績，充分展現(xiàn)海頤軟件在電費(fèi)相關(guān)領(lǐng)域的專業(yè)性和技術(shù)實(shí)力！
基于對題目的理解，創(chuàng)新研發(fā)中心從大數(shù)據(jù)團(tuán)隊和電費(fèi)算法團(tuán)隊抽調(diào)了多名技術(shù)骨干，并取得了電力營銷產(chǎn)品部和咨詢服務(wù)部的大力支持。正當(dāng)方案差不多完成時，廣電信科主動找到海頤，想要聯(lián)合組隊。隨后兩家公司組成了“信科海頤聯(lián)隊”一起參賽。為了確保出線，方案初稿完成后，組織了內(nèi)部專家對方案進(jìn)行嚴(yán)格評審。專家的各種追問，各種懷疑，如雪花般飄散，令人無法躲閃，直至深夜24點(diǎn)。在專家團(tuán)一輪輪的挑戰(zhàn)下，團(tuán)隊對方案進(jìn)行了全方位的修改和補(bǔ)充?？偹愕搅?1月2號中午，最終版方案得以提交。
11月10號，初選告捷，方案比拼在所有參賽隊中排名第一！
該題目有30多支參賽隊伍，既包括拓邦、卓維、泰豪在內(nèi)的多個電力領(lǐng)域的老牌“對手”，也包括許多由行業(yè)專家組成的高校隊伍，可謂高手云集。
信科海頤聯(lián)合團(tuán)隊是由海頤創(chuàng)新研發(fā)中心與廣東電力信息科技有限公司（原廣東電網(wǎng)信息中心）聯(lián)合組隊，由信科負(fù)責(zé)題目解讀、以及現(xiàn)場答辯，海頤負(fù)責(zé)整體的方案編寫、技術(shù)實(shí)現(xiàn)和性能調(diào)優(yōu)。海頤團(tuán)隊部分由創(chuàng)新研發(fā)中心的尹書偉帶隊，張威、聶斌、李紅瑛、王昌勇、班喆等多位成員參與。比賽過程中可謂跌宕起伏、一波三折。團(tuán)隊成員默契配合，勇于擔(dān)當(dāng)，攻堅克難，經(jīng)歷了連續(xù)一個月的高強(qiáng)度比賽，以高水準(zhǔn)完成了比賽任務(wù)。
一、確定目標(biāo)，初戰(zhàn)告捷
10月20日，公司了解到南網(wǎng)數(shù)字化部和數(shù)研院共同舉辦“數(shù)字電網(wǎng)開發(fā)者大會”。其中算法類任務(wù)“電費(fèi)復(fù)核計算性能優(yōu)化”正是海頤的業(yè)務(wù)范圍。公司領(lǐng)導(dǎo)要求積極參賽，勇闖佳績，充分展現(xiàn)海頤軟件在電費(fèi)相關(guān)領(lǐng)域的專業(yè)性和技術(shù)實(shí)力！
基于對題目的理解，創(chuàng)新研發(fā)中心從大數(shù)據(jù)團(tuán)隊和電費(fèi)算法團(tuán)隊抽調(diào)了多名技術(shù)骨干，并取得了電力營銷產(chǎn)品部和咨詢服務(wù)部的大力支持。正當(dāng)方案差不多完成時，廣電信科主動找到海頤，想要聯(lián)合組隊。隨后兩家公司組成了“信科海頤聯(lián)隊”一起參賽。為了確保出線，方案初稿完成后，組織了內(nèi)部專家對方案進(jìn)行嚴(yán)格評審。專家的各種追問，各種懷疑，如雪花般飄散，令人無法躲閃，直至深夜24點(diǎn)。在專家團(tuán)一輪輪的挑戰(zhàn)下，團(tuán)隊對方案進(jìn)行了全方位的修改和補(bǔ)充?？偹愕搅?1月2號中午，最終版方案得以提交。
11月10號，初選告捷，方案比拼在所有參賽隊中排名第一！
二、不畏權(quán)威，勇拿一血
初賽成績第一，團(tuán)隊信心倍增，熱情高漲。正準(zhǔn)備一鼓作氣拿下比賽時，發(fā)現(xiàn)事情并沒有想象的那么簡單。本來是說12點(diǎn)出復(fù)賽題目，結(jié)果等了兩個小時題目才給出——是對包含客戶檔案、計量點(diǎn)電量等在內(nèi)的27張業(yè)務(wù)表，單表10億多條記錄，1.3TB的數(shù)據(jù)進(jìn)行142個核查規(guī)則的核查計算，要求100%的準(zhǔn)確性。
團(tuán)隊在技術(shù)棧與比賽環(huán)境陌生的情況下，抓緊學(xué)習(xí)與實(shí)驗(yàn)，從技術(shù)和業(yè)務(wù)兩個角度著手，第一時間完成了程序編寫寫與運(yùn)行測試工作，并試著提交了第一次結(jié)果——0分。系統(tǒng)不會提示哪里錯了，只會提示核查結(jié)果是多了還是少了，而提交次數(shù)沒有限制。于是團(tuán)隊用二分法確定了核查結(jié)果的條數(shù)，熬了個通宵把所有規(guī)則過了一遍，依然覺得正確答案的數(shù)量太少了。此時是11月17號的凌晨4點(diǎn)，距離比賽結(jié)束還有3天時間。
通過和組委會交流，組委會答應(yīng)幫忙看一下結(jié)果條數(shù)，答復(fù)說總數(shù)量沒有問題?？墒俏覀冇纸?jīng)過了一天對結(jié)果答案的反復(fù)排查，“肯定是答案有問題”。最終經(jīng)過幾輪溝通，組委會認(rèn)可了題目中的錯誤并進(jìn)行了修復(fù)。幾小時后，我們順利得拿到了一血，在全部參賽隊伍中第一個準(zhǔn)確跑出了所有的異常數(shù)據(jù)。
初賽成績第一，團(tuán)隊信心倍增，熱情高漲。正準(zhǔn)備一鼓作氣拿下比賽時，發(fā)現(xiàn)事情并沒有想象的那么簡單。本來是說12點(diǎn)出復(fù)賽題目，結(jié)果等了兩個小時題目才給出——是對包含客戶檔案、計量點(diǎn)電量等在內(nèi)的27張業(yè)務(wù)表，單表10億多條記錄，1.3TB的數(shù)據(jù)進(jìn)行142個核查規(guī)則的核查計算，要求100%的準(zhǔn)確性。
團(tuán)隊在技術(shù)棧與比賽環(huán)境陌生的情況下，抓緊學(xué)習(xí)與實(shí)驗(yàn)，從技術(shù)和業(yè)務(wù)兩個角度著手，第一時間完成了程序編寫寫與運(yùn)行測試工作，并試著提交了第一次結(jié)果——0分。系統(tǒng)不會提示哪里錯了，只會提示核查結(jié)果是多了還是少了，而提交次數(shù)沒有限制。于是團(tuán)隊用二分法確定了核查結(jié)果的條數(shù)，熬了個通宵把所有規(guī)則過了一遍，依然覺得正確答案的數(shù)量太少了。此時是11月17號的凌晨4點(diǎn)，距離比賽結(jié)束還有3天時間。
通過和組委會交流，組委會答應(yīng)幫忙看一下結(jié)果條數(shù)，答復(fù)說總數(shù)量沒有問題?？墒俏覀冇纸?jīng)過了一天對結(jié)果答案的反復(fù)排查，“肯定是答案有問題”。最終經(jīng)過幾輪溝通，組委會認(rèn)可了題目中的錯誤并進(jìn)行了修復(fù)。幾小時后，我們順利得拿到了一血，在全部參賽隊伍中第一個準(zhǔn)確跑出了所有的異常數(shù)據(jù)。
三、毫不松懈，精益求精
雖然率先拿到了分?jǐn)?shù)，但是團(tuán)隊并不敢松懈。在我們看來，真正的比賽才剛剛開始，既是跟參賽隊伍的競爭，更是跟我們自己的競爭——我們要在保證準(zhǔn)確性的前提下挖掘出性能極限！
團(tuán)隊利用對計算引擎的充分了解，對異常規(guī)則涉及到的公用結(jié)構(gòu)進(jìn)行了抽象與統(tǒng)一，對代碼進(jìn)行了重構(gòu)，消除了對資源的重復(fù)消耗，計算延遲從首輪的2小時縮短為1小時，在隨后的4輪迭代中，又通過對完整的142個規(guī)則逐個調(diào)優(yōu)以及分布式計算引擎的參數(shù)調(diào)優(yōu)，利用復(fù)核業(yè)務(wù)的長期深耕，逐批優(yōu)化，最終將運(yùn)行時間優(yōu)化至37分鐘。
比賽很快就來到了最后一天的晚上，0點(diǎn)截止提交，此時另外兩支隊伍也提交了正確答案，我們也針對性能瓶頸發(fā)起了最后的總攻。我們不但要優(yōu)化算法，還要保證算法優(yōu)化前后跑出數(shù)據(jù)的準(zhǔn)確性。比賽結(jié)束的當(dāng)晚，有兩個算法雖然性能有所提升，但準(zhǔn)確性總也對不上，團(tuán)隊中有些人都想算了，這倆不優(yōu)化，退回原來性能稍慢的方案吧。聶斌和李紅瑛兩位同事，對著這兩個SQL反復(fù)修改測試，堅決要搶下幾分鐘的優(yōu)勢，時間一分一秒地過著，終于在比賽提交結(jié)束前的20分鐘，跑出了正確的結(jié)果，正確結(jié)果跑出來的那一剎那，團(tuán)隊的每個成員都在歡呼。
最終，結(jié)果不負(fù)努力，我們?nèi)〉昧说谝幻某煽儯?br />
四、及時復(fù)盤，蓄勢再發(fā)
比賽過程中團(tuán)隊充分發(fā)揮了業(yè)務(wù)和技術(shù)的雙重優(yōu)勢，以及海頤人攻堅克難的比賽精神，在短時間內(nèi)快速學(xué)習(xí)掌握了主辦方指定的技術(shù)組件。團(tuán)隊在保證正確性的情況下對結(jié)果精益求精，不斷地進(jìn)行性能優(yōu)化，直到比賽的最后一刻，保證了比賽成績一直領(lǐng)先。期間為了解決比賽中遇到的種種問題，團(tuán)隊爭分奪秒，經(jīng)常加班到下半夜，充分體現(xiàn)了海頤人不畏艱難，努力奮斗的拼搏精神。
團(tuán)隊在賽后也進(jìn)行了復(fù)盤，對當(dāng)前的核查規(guī)則進(jìn)行了梳理與分析，并對比賽過程中用到的方法與架構(gòu)進(jìn)行了優(yōu)化，為核查性能優(yōu)化技術(shù)的實(shí)用落地做好了儲備。比賽僅僅是核查業(yè)務(wù)數(shù)智化的一個開始，團(tuán)隊會以此為契機(jī)更加精進(jìn)在該領(lǐng)域的研究與項目實(shí)踐，保持團(tuán)隊?wèi)?zhàn)斗力，突破更多的業(yè)務(wù)與技術(shù)難題，努力實(shí)現(xiàn)公司的戰(zhàn)略發(fā)展目標(biāo)。
雖然率先拿到了分?jǐn)?shù)，但是團(tuán)隊并不敢松懈。在我們看來，真正的比賽才剛剛開始，既是跟參賽隊伍的競爭，更是跟我們自己的競爭——我們要在保證準(zhǔn)確性的前提下挖掘出性能極限！
團(tuán)隊利用對計算引擎的充分了解，對異常規(guī)則涉及到的公用結(jié)構(gòu)進(jìn)行了抽象與統(tǒng)一，對代碼進(jìn)行了重構(gòu)，消除了對資源的重復(fù)消耗，計算延遲從首輪的2小時縮短為1小時，在隨后的4輪迭代中，又通過對完整的142個規(guī)則逐個調(diào)優(yōu)以及分布式計算引擎的參數(shù)調(diào)優(yōu)，利用復(fù)核業(yè)務(wù)的長期深耕，逐批優(yōu)化，最終將運(yùn)行時間優(yōu)化至37分鐘。
比賽很快就來到了最后一天的晚上，0點(diǎn)截止提交，此時另外兩支隊伍也提交了正確答案，我們也針對性能瓶頸發(fā)起了最后的總攻。我們不但要優(yōu)化算法，還要保證算法優(yōu)化前后跑出數(shù)據(jù)的準(zhǔn)確性。比賽結(jié)束的當(dāng)晚，有兩個算法雖然性能有所提升，但準(zhǔn)確性總也對不上，團(tuán)隊中有些人都想算了，這倆不優(yōu)化，退回原來性能稍慢的方案吧。聶斌和李紅瑛兩位同事，對著這兩個SQL反復(fù)修改測試，堅決要搶下幾分鐘的優(yōu)勢，時間一分一秒地過著，終于在比賽提交結(jié)束前的20分鐘，跑出了正確的結(jié)果，正確結(jié)果跑出來的那一剎那，團(tuán)隊的每個成員都在歡呼。
最終，結(jié)果不負(fù)努力，我們?nèi)〉昧说谝幻某煽儯?br />
四、及時復(fù)盤，蓄勢再發(fā)
比賽過程中團(tuán)隊充分發(fā)揮了業(yè)務(wù)和技術(shù)的雙重優(yōu)勢，以及海頤人攻堅克難的比賽精神，在短時間內(nèi)快速學(xué)習(xí)掌握了主辦方指定的技術(shù)組件。團(tuán)隊在保證正確性的情況下對結(jié)果精益求精，不斷地進(jìn)行性能優(yōu)化，直到比賽的最后一刻，保證了比賽成績一直領(lǐng)先。期間為了解決比賽中遇到的種種問題，團(tuán)隊爭分奪秒，經(jīng)常加班到下半夜，充分體現(xiàn)了海頤人不畏艱難，努力奮斗的拼搏精神。
團(tuán)隊在賽后也進(jìn)行了復(fù)盤，對當(dāng)前的核查規(guī)則進(jìn)行了梳理與分析，并對比賽過程中用到的方法與架構(gòu)進(jìn)行了優(yōu)化，為核查性能優(yōu)化技術(shù)的實(shí)用落地做好了儲備。比賽僅僅是核查業(yè)務(wù)數(shù)智化的一個開始，團(tuán)隊會以此為契機(jī)更加精進(jìn)在該領(lǐng)域的研究與項目實(shí)踐，保持團(tuán)隊?wèi)?zhàn)斗力，突破更多的業(yè)務(wù)與技術(shù)難題，努力實(shí)現(xiàn)公司的戰(zhàn)略發(fā)展目標(biāo)。
掃一掃關(guān)注
版權(quán)所有：2019?煙臺海頤軟件股份有限公司 工信部備案：魯ICP備09096067號
魯公網(wǎng)安備：37069302000219號?