diff --git a/dev/workflow/TK_Cust/agents_market_newsletter/市场信息简报/a_market_Intelligence_newsletter_agi.sql b/dev/workflow/TK_Cust/agents_market_newsletter/市场信息简报/a_market_Intelligence_newsletter_agi.sql index 32ae4dd..23fa823 100644 --- a/dev/workflow/TK_Cust/agents_market_newsletter/市场信息简报/a_market_Intelligence_newsletter_agi.sql +++ b/dev/workflow/TK_Cust/agents_market_newsletter/市场信息简报/a_market_Intelligence_newsletter_agi.sql @@ -4,11 +4,11 @@ /*Brilliance stems from wisdoms. */ /*************Head Section**************************************************************************/ /*Script Use: Periodically load data to :a_market_Intelligence_newsletter(市场信息简报) */ -/*Create Date:2025-11-13 14:43:39 */ +/*Create Date:2025-12-09 18:20:25 */ /*SDM Developed By: dev */ /*SDM Developed Date: 2025-11-12 */ /*SDM Checked By: dev */ -/*SDM Checked Date: 2025-11-13 */ +/*SDM Checked Date: 2025-12-09 */ /*Script Developed By: dev */ /*Script Checked By: dev */ /*Source table 1: p70_ai_intelligence.agent_market_summary */ @@ -16,7 +16,7 @@ /*Target Table:a_market_Intelligence_newsletter */ /*ETL Job Name:a_market_Intelligence_newsletter */ /*ETL Frequency:None */ -/*ETL Policy:I */ +/*ETL Policy:F2 */ /********************************************************************************************/ /*******Main Section**************************************************************************/ \set ON_ERROR_STOP on @@ -31,6 +31,13 @@ CREATE TEMPORARY TABLE a_market_Intelligence_newsletter_agi_CUR_I ON COMMIT PRESERVE ROWS; + +/*创建临时表加载不同数据 */ +CREATE TEMPORARY TABLE a_market_Intelligence_newsletter_agi_INS +( LIKE :COMMDB.a_market_Intelligence_newsletter) +ON COMMIT PRESERVE ROWS; + + /*****************************************************************************************************/ /* GROUP 1:Source Table:agent_market_summary**********************************************************/ /*****************************************************************************************************/ @@ -93,59 +100,175 @@ where create_tm >=current_date - interval '7' day -INSERT INTO :COMMDB.a_market_Intelligence_newsletter ( - newsletter_title /*简报标题*/ - ,company_name /*公司名称*/ - ,company_name_ai /*公司名称(AI补全）*/ - ,industry /*行业*/ - ,sub_industry /*子行业*/ - ,province /*省份*/ - ,city /*城市*/ - ,district /*区名（县名）*/ - ,summary /*总结*/ - ,key_info /*其他关键信息（人工分析、商机评分等）*/ - ,tk_relevance /*泰克相关性分析*/ - ,tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ - ,source_url /*来源链接（URL）*/ - ,news_date /*新闻日期*/ - ,create_tm /*采集入库时间*/ - ,id /*主键*/ - ,Etl_Batch_No /*作业批次号*/ - ,Etl_First_Dt /*最初入库时间*/ - ,Etl_Job /*作业名称*/ - ,Etl_Proc_Dt /*本次入库时间*/ - ,Etl_Tx_Dt /*作业运行时间*/ - ,Src_Sysname /*来源系统*/ - ,Src_Table /*来源表*/ - +/*将不同数据插入到临时表 */ +;INSERT INTO a_market_Intelligence_newsletter_agi_INS ( + newsletter_title /*简报标题*/ + ,company_name /*公司名称*/ + ,company_name_ai /*公司名称(AI补全）*/ + ,industry /*行业*/ + ,sub_industry /*子行业*/ + ,province /*省份*/ + ,city /*城市*/ + ,district /*区名（县名）*/ + ,summary /*总结*/ + ,key_info /*其他关键信息（人工分析、商机评分等）*/ + ,tk_relevance /*泰克相关性分析*/ + ,tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ + ,source_url /*来源链接（URL）*/ + ,news_date /*新闻日期*/ + ,create_tm /*采集入库时间*/ + ,id /*主键*/ + ,Etl_Batch_No /*作业批次号*/ + ,Etl_First_Dt /*最初入库时间*/ + ,Etl_Job /*作业名称*/ + ,Etl_Proc_Dt /*本次入库时间*/ + ,Etl_Tx_Dt /*作业运行时间*/ + ,Src_Sysname /*来源系统*/ + ,Src_Table /*来源表*/ + +) + SELECT + P1.newsletter_title /*简报标题*/ + ,P1.company_name /*公司名称*/ + ,P1.company_name_ai /*公司名称(AI补全）*/ + ,P1.industry /*行业*/ + ,P1.sub_industry /*子行业*/ + ,P1.province /*省份*/ + ,P1.city /*城市*/ + ,P1.district /*区名（县名）*/ + ,P1.summary /*总结*/ + ,P1.key_info /*其他关键信息（人工分析、商机评分等）*/ + ,P1.tk_relevance /*泰克相关性分析*/ + ,P1.tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ + ,P1.source_url /*来源链接（URL）*/ + ,P1.news_date /*新闻日期*/ + ,P1.create_tm /*采集入库时间*/ + ,P1.id /*主键*/ + ,P1.Etl_Batch_No /*作业批次号*/ + ,P1.Etl_First_Dt /*最初入库时间*/ + ,P1.Etl_Job /*作业名称*/ + ,P1.Etl_Proc_Dt /*本次入库时间*/ + ,P1.Etl_Tx_Dt /*作业运行时间*/ + ,P1.Src_Sysname /*来源系统*/ + ,P1.Src_Table /*来源表*/ + +FROM a_market_Intelligence_newsletter_agi_CUR_I P1 +LEFT JOIN :COMMDB.a_market_Intelligence_newsletter P2 +ON P1.newsletter_title = P2.newsletter_title + AND P1.company_name = P2.company_name + AND P1.company_name_ai = P2.company_name_ai + AND P1.industry = P2.industry + AND P1.sub_industry = P2.sub_industry + AND P1.province = P2.province + AND P1.city = P2.city + AND P1.district = P2.district + AND P1.summary = P2.summary + AND P1.key_info = P2.key_info + AND P1.tk_relevance = P2.tk_relevance + AND P1.tek_products = P2.tek_products + AND P1.source_url = P2.source_url + AND P1.news_date = P2.news_date + AND P1.create_tm = P2.create_tm + AND P1.id = P2.id + +WHERE P2.newsletter_title IS NULL + OR P2.company_name IS NULL + OR P2.company_name_ai IS NULL + OR P2.industry IS NULL + OR P2.sub_industry IS NULL + OR P2.province IS NULL + OR P2.city IS NULL + OR P2.district IS NULL + OR P2.summary IS NULL + OR P2.key_info IS NULL + OR P2.tk_relevance IS NULL + OR P2.tek_products IS NULL + OR P2.source_url IS NULL + OR P2.news_date IS NULL + OR P2.create_tm IS NULL + OR P2.id IS NULL + +; +/*将新增数据插入到目标表 */ +;INSERT INTO :COMMDB.a_market_Intelligence_newsletter ( + newsletter_title /*简报标题*/ + ,company_name /*公司名称*/ + ,company_name_ai /*公司名称(AI补全）*/ + ,industry /*行业*/ + ,sub_industry /*子行业*/ + ,province /*省份*/ + ,city /*城市*/ + ,district /*区名（县名）*/ + ,summary /*总结*/ + ,key_info /*其他关键信息（人工分析、商机评分等）*/ + ,tk_relevance /*泰克相关性分析*/ + ,tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ + ,source_url /*来源链接（URL）*/ + ,news_date /*新闻日期*/ + ,create_tm /*采集入库时间*/ + ,id /*主键*/ + ,Etl_Batch_No /*作业批次号*/ + ,Etl_First_Dt /*最初入库时间*/ + ,Etl_Job /*作业名称*/ + ,Etl_Proc_Dt /*本次入库时间*/ + ,Etl_Tx_Dt /*作业运行时间*/ + ,Src_Sysname /*来源系统*/ + ,Src_Table /*来源表*/ + ) SELECT - P1.newsletter_title /*简报标题*/ - ,P1.company_name /*公司名称*/ - ,P1.company_name_ai /*公司名称(AI补全）*/ - ,P1.industry /*行业*/ - ,P1.sub_industry /*子行业*/ - ,P1.province /*省份*/ - ,P1.city /*城市*/ - ,P1.district /*区名（县名）*/ - ,P1.summary /*总结*/ - ,P1.key_info /*其他关键信息（人工分析、商机评分等）*/ - ,P1.tk_relevance /*泰克相关性分析*/ - ,P1.tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ - ,P1.source_url /*来源链接（URL）*/ - ,P1.news_date /*新闻日期*/ - ,P1.create_tm /*采集入库时间*/ - ,P1.id /*主键*/ - ,P1.Etl_Batch_No /*作业批次号*/ - ,P1.Etl_First_Dt /*最初入库时间*/ - ,P1.Etl_Job /*作业名称*/ - ,P1.Etl_Proc_Dt /*本次入库时间*/ - ,P1.Etl_Tx_Dt /*作业运行时间*/ - ,P1.Src_Sysname /*来源系统*/ - ,P1.Src_Table /*来源表*/ - -FROM a_market_Intelligence_newsletter_agi_CUR_I P1; - + P1.newsletter_title /*简报标题*/ + ,P1.company_name /*公司名称*/ + ,P1.company_name_ai /*公司名称(AI补全）*/ + ,P1.industry /*行业*/ + ,P1.sub_industry /*子行业*/ + ,P1.province /*省份*/ + ,P1.city /*城市*/ + ,P1.district /*区名（县名）*/ + ,P1.summary /*总结*/ + ,P1.key_info /*其他关键信息（人工分析、商机评分等）*/ + ,P1.tk_relevance /*泰克相关性分析*/ + ,P1.tek_products /*泰克相关产品(仅提取产品信息，按照数组存储），参考样例：["3系列MDO示波器", "光探头解决方案"]*/ + ,P1.source_url /*来源链接（URL）*/ + ,P1.news_date /*新闻日期*/ + ,P1.create_tm /*采集入库时间*/ + ,P1.id /*主键*/ + ,P1.Etl_Batch_No /*作业批次号*/ + ,P1.Etl_First_Dt /*最初入库时间*/ + ,P1.Etl_Job /*作业名称*/ + ,P1.Etl_Proc_Dt /*本次入库时间*/ + ,P1.Etl_Tx_Dt /*作业运行时间*/ + ,P1.Src_Sysname /*来源系统*/ + ,P1.Src_Table /*来源表*/ + +FROM a_market_Intelligence_newsletter_agi_INS P1 +ON CONFLICT ( id) +DO UPDATE SET + id=excluded.id + ,newsletter_title=excluded.newsletter_title + ,company_name=excluded.company_name + ,company_name_ai=excluded.company_name_ai + ,industry=excluded.industry + ,sub_industry=excluded.sub_industry + ,province=excluded.province + ,city=excluded.city + ,district=excluded.district + ,summary=excluded.summary + ,key_info=excluded.key_info + ,tk_relevance=excluded.tk_relevance + ,tek_products=excluded.tek_products + ,source_url=excluded.source_url + ,news_date=excluded.news_date + ,create_tm=excluded.create_tm + ,Etl_Batch_No=excluded.Etl_Batch_No + ,Etl_First_Dt=excluded.Etl_First_Dt + ,Etl_Job=excluded.Etl_Job + ,Etl_Proc_Dt=excluded.Etl_Proc_Dt + ,Etl_Tx_Dt=excluded.Etl_Tx_Dt + ,Src_Sysname=excluded.Src_Sysname + ,Src_Table=excluded.Src_Table + + ; /*****程序结束退出 */ \q