google app engineではマスタの取り込みが辛い

技術

とりあえず今はこんな感じ。

  • csvファイルをアップロードする（アップロードする仕組みはslim3itを参考に自作）
  • cronでcsvファイルからモデルにインサートする
    • csvファイルからキーをMemcacheに保存する
    • Memcacheにキーが存在する場合
      • スキップ
    • Memcacheにキーが存在しない場合かつキーでDBを検索してデータが存在しない場合
      • インサート

なんてことをちまちまやっています。しかも、マスタが正しく取り込まれたかを検証するのがまた困難で件数チェックだけでも1000件の制約にかかったりするわけです。そこで前のエントリーの1000件以上取得する方法とかごにょごにょやらないといけないのです。また、1リクエスト30秒以内という制限がやっかいですぐに何千件もインサートできない。1リクエスト50件くらいづつちまちまやる必要があるわけです。
もっと簡単な方法をご存知なえらい人いませんか。
　
これみんな苦労してるはず。。。