如何使用simpledb进行分页?

我知道如何使用NextToken向前翻页SimpleDB数据。 但是,如何处理以前的页面? 我在.NET上,但我认为这不重要。 我对一般战略更感兴趣。

Mike Culver的Amazon SimpleDB网络研讨会简介提到使用了面包屑,但他没有在video中实现它们。

编辑:video提到了一个实现向后分页的示例项目,但video在显示下载URL之前结束。 我发现的一个示例项目没有处理分页。

进入下一页时,您可以通过仅允许“下一页”而不是任意分页来简化用例。 您可以使用LIMIT子句在SimpleDB中执行此操作:

SELECT title, summary, votecount FROM posts WHERE userid = '000022656' LIMIT 25 

您已经知道如何处理NextToken,但是如果您使用此策略,则可以通过存储下一个令牌的面包屑跟踪(例如在Web会话中)并使用之前的NextToken重新发出查询来支持“上一页”,而不是随后的一个。

但是,在SimpleDB中处理任意分页的一般情况对于前一个和下一个是相同的。 在一般情况下,用户可以点击任意页码,例如5,而不必访问页面4或6。

您可以通过使用NextToken仅要求WHERE子句相同才能正常工作的事实在SimpleDB中处理此问题。 因此,通过按顺序查询每个页面来拉下所有介入项目,您通常可以分两步完成。

  1. 使用所需页面的起始位置的限制值发出查询,并使用SELECT count(*)而不是所需的实际属性。
  2. 使用第一步中的NextToken,使用所需属性和页面大小作为LIMIT获取实际页面数据

所以在伪代码中:

 int targetPage, pageSize; ... int jumpLimit = pageSize * (targetPage - 1); String query = "SELECT %1 FROM posts WHERE userid = '000022656' LIMIT %2"; String output = "title, summary, votecount"; Result temp = sdb.select(query, "count(*)", jumpLimit); Result data = sdb.select(query, output, pageSize, temp.getToken()); 

其中%1和%2是字符串替换,“sdb.select()”是一个虚构的方法,包括字符串替换代码和SimpleDB调用。

是否可以在两次调用SimpleDB(如代码中所示)中完成此操作将取决于WHERE子句的复杂性和数据集的大小。 上面的代码是简化的,因为如果查询运行时间超过5秒,临时结果可能返回了部分计数。 你真的想把这一行放在一个循环中,直到达到正确的计数。 为了使代码更加真实,我将把它放在方法中并删除String替换:

 private Result fetchPage(String query, int targetPage) { int pageSize = extractLimitValue(query); int skipLimit = pageSize * (targetPage - 1); String token = skipAhead(query, skipLimit); return sdb.select(query, token); } private String skipAhead(String query, int skipLimit) { String tempQuery = replaceClause(query, "SELECT", "count(*)"); int accumulatedCount = 0; String token = ""; do { int tempLimit = skipLimit - accumulatedCount; tempQuery = replaceClause(tempQuery , "LIMIT", tempLimit + ""); Result tempResult = sdb.select(query, token); token = tempResult.getToken(); accumulatedCount += tempResult.getCount(); } while (accumulatedCount < skipLimit); return token; } private int extractLimitValue(String query) {...} private String replaceClause(String query, String clause, String value){...} 

这是没有error handling的一般想法,适用于任何页面,不包括第1页。

我记得在其中一个棕色的网络研讨会中,传递中提到了令牌可以重新提交,你会得到相应的结果集。

我没有尝试过,这只是一个想法,但是当你向前翻页时如何建立一个令牌列表? 然后,返回,然后向后遍历列表并重新提交令牌(和select语句)。

我坚持要获得令牌 – 与RequestId是一回事吗?

我正在使用的PHP SimpleDB库似乎没有返回它。 http://sourceforge.net/projects/php-sdb/

找到此文档http://docs.amazonwebservices.com/AmazonSimpleDB/2009-04-15/DeveloperGuide/index.html?SDB_API_Select.html

这似乎表明有一个nextToken元素,但在示例响应中,它显示了RequestId ……

弄清楚了 – 我们的PHP库确实抽象了我们访问它的地方。 挖到图书馆找到它。

我已经使用官方的SimpleDB API创建了上面提出的Java版本的采样,这可能对任何人都有用。

 private static Set getSdbAttributes(AmazonSimpleDBClient client, String domainName, int sampleSize) { if (!client.listDomains().getDomainNames().contains(domainName)) { throw new IllegalArgumentException("SimpleDB domain '" + domainName + "' not accessible from given client instance"); } int domainCount = client.domainMetadata( new DomainMetadataRequest(domainName)).getItemCount(); if (domainCount < sampleSize) { throw new IllegalArgumentException("SimpleDB domain '" + domainName + "' does not have enough entries for accurate sampling."); } int avgSkipCount = domainCount / sampleSize; int processedCount = 0; String nextToken = null; Set attributeNames = new HashSet(); Random r = new Random(); do { int nextSkipCount = r.nextInt(avgSkipCount * 2) + 1; SelectResult countResponse = client.select(new SelectRequest( "select count(*) from `" + domainName + "` limit " + nextSkipCount).withNextToken(nextToken)); nextToken = countResponse.getNextToken(); processedCount += Integer.parseInt(countResponse.getItems().get(0) .getAttributes().get(0).getValue()); SelectResult getResponse = client.select(new SelectRequest( "select * from `" + domainName + "` limit 1") .withNextToken(nextToken)); nextToken = getResponse.getNextToken(); processedCount++; if (getResponse.getItems().size() > 0) { for (Attribute a : getResponse.getItems().get(0) .getAttributes()) { attributeNames.add(a.getName()); } } } while (domainCount > processedCount); return attributeNames; } 
Interesting Posts