1)設(shè)計并構(gòu)建一個基于 自研的Decoder-only GPT系列架構(gòu)的 0penCSG 醫(yī)療大模型，參數(shù)量達到70 億，采用自研高性能中英文雙語分詞器，極大提高token 壓縮比，自研基座模型架構(gòu)但同時易于轉(zhuǎn)換為llama、mistral、qwen等主流模型結(jié)構(gòu)，以實現(xiàn)更好的下游應用表現(xiàn)。

2)收集和處理大規(guī)模高質(zhì)量的醫(yī)療數(shù)據(jù)，數(shù)據(jù)比例為 60% 醫(yī)療專業(yè)數(shù)據(jù) +40%通用數(shù)據(jù)，確保模型能學習到豐富的醫(yī)學知識。醫(yī)療數(shù)據(jù)包括但不限于各科權(quán)威教材、臨床指南、醫(yī)學文獻、病歷報告、醫(yī)患對話語料等。

3)基于自研的高性能、高可用、可拓展的LightLLM分布式大模型訓練框架，在海量異構(gòu)數(shù)據(jù)上對OpenCSG 醫(yī)療大模型進行高效訓練，最大限度提升模型理解和生成醫(yī)學語言的能力。

4)引入多維度評估體系，在訓練過程中持續(xù)跟蹤模型性能。涵蓋醫(yī)學語言理解、知識掌握、語言生成、邏輯推理、安全和倫理等方面的能力評估。

1)基于自研架構(gòu) OpenCSG 醫(yī)療大模型研發(fā)的智能問診、自動處方分析、醫(yī)療知識檢索等系列創(chuàng)新應用，助力醫(yī)療領(lǐng)域科技公司打造行業(yè)領(lǐng)先的智慧醫(yī)療服務(wù)平臺。

2) OpenCSG 醫(yī)療大模型的卓越表現(xiàn)將為醫(yī)療領(lǐng)域科技公司在醫(yī)療 AI市場開拓新的業(yè)務(wù)場景，樹立技術(shù)領(lǐng)導力品牌形象，吸引更多醫(yī)療機構(gòu)達成戰(zhàn)略合作。

3)探索大語言模型技術(shù)和傳統(tǒng)醫(yī)學專家知識的最佳結(jié)合路徑，形成可規(guī)模化復制的經(jīng)驗模式。為醫(yī)療領(lǐng)域科技公司在醫(yī)療及更多垂直行業(yè)大模型應用方面積累寶貴的技術(shù)和商業(yè)化經(jīng)驗。

本案例采用OpenCSG 自研的 LightLLM 分布式訓練框架進行 OpenCSG 醫(yī)療大模型的預訓練。 預訓練數(shù)據(jù)采集與清洗：

數(shù)據(jù)采集

1)根據(jù)項目預算，與醫(yī)學數(shù)據(jù)供應商合作采購高質(zhì)量結(jié)構(gòu)化和非結(jié)構(gòu)化醫(yī)療數(shù)據(jù)，包括但不限于：

OpenCSG 醫(yī)療大模型的研發(fā)成功，將實現(xiàn)人工智能技術(shù)與傳統(tǒng)醫(yī)學專家經(jīng)驗的高度融合，促進人機協(xié)同診療新模式的形成，助推智慧醫(yī)療行業(yè)的變革發(fā)展。OpenCSG 公司將為醫(yī)學醫(yī)療科技公司基于項目成果持續(xù)打造面向全科醫(yī)療的"醫(yī)學認知智能"，引領(lǐng)多模態(tài)醫(yī)學大模型的技術(shù)趨勢，在醫(yī)療AI領(lǐng)域確立難以撼動的領(lǐng)導者地位。

大模型+醫(yī)療的結(jié)合有望催生智能教學、科研輔助、新藥研發(fā)等全新應用，幫助醫(yī)學科技公司持續(xù)發(fā)掘新的價值空間，牽引產(chǎn)學研用一體化創(chuàng)新。

隨著基于 OpenCSG 醫(yī)療大模型的應用規(guī)模化落地，將為醫(yī)療服務(wù)供給側(cè)帶來效率倍增。廣大患者可享受到更加優(yōu)質(zhì)、均等的智能化診療服務(wù)，大幅提升就醫(yī)獲得感。