用access当队列使用(由于太大，内存放不下），效率太低了怎么办

wsg1212

热心会员

Rank: 3 Rank: 3

UID: 12425
帖子: 574
精华: 1
活力: 793
财富: 0
注册时间: 2007-5-24

发短消息
加为好友
当前离线

21^# 大中小发表于 2008-5-6 10:59 只看该作者

就是一个搜索引擎啊，
要吧搜索到的地址啊等记录下来，
线程的工作时，提取记录，列举元素，追加记录。
记录结构：时间、地址、父地址、说明、深度、

由于我是一层层的搜索的，所以提取的时候要从当前层提取，然后列举追加的时候要到下层

TOP

wsg1212

热心会员

Rank: 3 Rank: 3

UID: 12425
帖子: 574
精华: 1
活力: 793
财富: 0
注册时间: 2007-5-24

发短消息
加为好友
当前离线

22^# 大中小发表于 2008-5-6 11:01 只看该作者

还有一张大的HASH表，主要是防止地址被重复下载，最大可有70W个HASH（整数）

TOP

vender

热心会员

Rank: 3 Rank: 3

UID: 5297
帖子: 626
精华: 0
活力: 53
财富: 281
注册时间: 2005-12-23

发短消息
加为好友
当前离线

23^# 大中小发表于 2008-5-6 18:05 只看该作者

天下第一

TOP

wandou

白银会员

Rank: 7 Rank: 7 Rank: 7

UID: 8466
帖子: 3883
精华: 3
活力: 261
财富: 1011
来自: wandou粉丝会
注册时间: 2006-8-14

发短消息
加为好友
当前离线

24^# 大中小发表于 2008-5-6 20:12 只看该作者

hash用b+树在内存中存储，可以达到较快的速度的同时占用较少的内存空间。hashtable的内存利用率太低。
如果只是防止重复的话，不需要用数据库。任何经过组织的数据结构都可以。在内存中处理，比任何数据库都快。数据库是很慢的。不过我很怀疑你的写入是否真的有那么多。
还以为你在写高性能通讯软件，需要做日志呢。
做搜索引擎，用数据库肯定不行。自求多福吧。