“大型”數(shù)據(jù)庫的操作

chenwintek

近來要處理大量的數(shù)據(jù)，每月累積的記錄原來的文本文件就有近8GB（分5個文件），每個文件用NOTEPAD打開就要好幾分鐘，太慢了，但是要轉(zhuǎn)換到SQL SERVER 2K里面，不知道會怎樣的慢。用ADP來處理，要注意些什么？小弟沒有實戰(zhàn)經(jīng)驗，還不知道可行否。[em01]

tmtony

8GB的文本文件，轉(zhuǎn)到SQL SERVER已經(jīng)需要很長的時間
不過數(shù)據(jù)庫的處理速度應(yīng)該比文本文件快
用NOTTEPAD打開文本是一次性打開的
而用數(shù)據(jù)庫都有緩沖的概念，就象vsflex這些表格控件一樣，只是在滾動到下一屏?xí)r才去預(yù)讀下幾屏的數(shù)據(jù)。

chenwintek

我現(xiàn)在還真的不知道如何是好，有很多的問題擔(dān)心。比如導(dǎo)入數(shù)據(jù)的時間要多少，匯總，查詢等回很慢；MDB里的宏到了ADP還有效否，在SQL SERVER2000里，用ADP做前端能行嗎？

[em25]

[此貼子已經(jīng)被chenwintek于2002-3-17 1:16:04編輯過]

chenwintek

真不知道怎么辦，如此“巨無霸”，有誰處理過，能否分享經(jīng)驗？

[em03]

[此貼子已經(jīng)被chenwintek于2002-3-17 1:17:30編輯過]

tmtony

我想主要的問題應(yīng)該是導(dǎo)入的問題，導(dǎo)入的工作量的問題。
而這又主要取決于你文本文件的格式

chenwintek

天大事總平常事  


先試試再說吧，擔(dān)心也沒用。

大熊

游泳中學(xué)游泳！

chenwintek

用VBA代碼了一個導(dǎo)入的程序，整整導(dǎo)入了一個晚上，還不行，機子好想死了，但硬盤還在轉(zhuǎn)，有不感關(guān)機，在其他的客戶端查看，已經(jīng)有1000萬的記錄，而且，要查看記錄數(shù)，也要等近10分鐘才有結(jié)果，你說這SERVER還有沒有意思，效率如此低，難道要用安騰的多CPU的SERVER？太貴了，這下如何是好？

拆分，還是....

如何是好��？

tmtony

你是用代碼直接讀TEXT文件，還是用導(dǎo)入規(guī)則。
你導(dǎo)入的一條記錄有多少個FIELD， 總長度約有多少？
按道理，不應(yīng)該如此慢的
順便問問，你的程序和文本文件是在一臺電腦上嗎，什么配置來的

chenwintek

導(dǎo)入規(guī)則沒有用，是灰色的，用不了，所以我用代碼，由于經(jīng)常有超時暫停，所以我的commandtimeout設(shè)為0，所以慢的原因吧；
文本每行有300多字符，我只要4個字段，但是記錄數(shù)多，還是很慢的，就算OPEN一個指向該表的RECORDSET也要3分多鐘；
用WIN2K+SQL SERVER 2000，工作站為98ACCESS的ADP。