Redash でクエリの実行は redis の queue を通して celery にて実行されているようです、この celery で実行している処理が不慮の事故で死んでしまうと Redash の画面上ではずっと IN PROGRESS 状態として残ってしまうという問題がありました。これを削除するためにやったことのメモです。
最初は Database (PostgreSQL) に入ってるのかなと思ったけど、それらしきレコードは見つかりませんでした
List of relations
Schema | Name | Type | Owner
--------+---------------------------+-------+--------
public | access_permissions | table | redash
public | alembic_version | table | redash
public | alert_subscriptions | table | redash
public | alerts | table | redash
public | api_keys | table | redash
public | changes | table | redash
public | dashboards | table | redash
public | data_source_groups | table | redash
public | data_sources | table | redash
public | events | table | redash
public | groups | table | redash
public | notification_destinations | table | redash
public | organizations | table | redash
public | queries | table | redash
public | query_results | table | redash
public | query_snippets | table | redash
public | users | table | redash
public | visualizations | table | redash
public | widgets | table | redash
それでは redis だろうと `redis-cli keys \*` でキーの一覧を出してみる
data_source:schema:1 data_source:schema:2 data_source:schema:3 data_source:schema:4 data_source:schema:5 data_source:schema:6 data_source:schema:7 data_source:schema:8 data_source:schema:9 data_source:schema:10 _kombu.binding.celery _kombu.binding.celeryev _kombu.binding.celery.pidbox _kombu.binding.queries _kombu.binding.scheduled_queries _kombu.binding.schemas new_version_available query_task_trackers:done redash:status schemas sq:executed_at celery-task-meta-UUID <-- いろんな UUID で沢山 query_task_tracker:UUID <-- いろんな UUID で沢山
UUID はログから分かっていたので keys *UUID* を試してみたら
query_task_tracker:164b9632-40a5-4af4-8500-21022b06215d というのがあった。
中身は JSON でこんなのが入ってました。
{
"username": "user@example.com",
"retries": 0,
"started_at": 1527501588.652453,
"task_id": "164b9632-40a5-4af4-8500-21022b06215d",
"created_at": 1527501564.920558,
"updated_at": 1527501588.652842,
"state": "executing_query",
"query_id": 91,
"run_time": null,
"scheduled": false,
"scheduled_retries": 0,
"data_source_id": 2,
"query_hash": "2b0cc6eac4188b1b0097b02b9d4f1f6e"
}
でも IN PROGRESS のリストにこの情報が出るってことはこの key=value だけじゃなくてどこかにこの key を持ったリストのようなデータがあるはず、ということで redis-cli monitor で redis に対してどんなリクエストが発行されてるかを眺めてみました。
上に並べた keys * のリストは IN PROGRESS のクエリがない状態なので存在しませんが、monitor コマンドで確認したら query_task_trackers:in_progress というキーがありました。名前からしてこれですね。
さて、query_task_trackers:in_progress の型は何だろうか？
そんな場合は type コマンドで確認できます。これは zset でした。
> type query_task_trackers:in_progress zset
zset のリストを全部取り出すには次の様に zrange で 0 から -1 までと指定します
> zrange query_task_trackers:in_progress 0 -1
この zset から当該の task 情報を削除すれば良さそうなので zrem で消します
> zrem query_task_trackers:in_progress query_task_tracker:164b9632-40a5-4af4-8500-21022b06215d
めでたしめでたし。
Redis の調査には「Redis に保存されてる値を見ようと思った時に覚えておきたい redis コマンド | そんなこと覚えてない」が大変参考になりました。
