ਔਨਲਾਈਨ JSON ਤੋਂ BigQuery ਸਕੀਮਾ ਕਨਵਰਟਰ
ਸਾਡੇ JSON ਤੋਂ BigQuery ਸਕੀਮਾ ਟੂਲ ਨਾਲ ਆਪਣੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸਿੰਗ ਵਰਕਫਲੋ ਨੂੰ ਸਰਲ ਬਣਾਓ। Google BigQuery ਲਈ ਟੇਬਲ ਸਕੀਮਾ ਨੂੰ ਹੱਥੀਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਸਮਾਂ ਲੈਣ ਵਾਲਾ ਅਤੇ ਗਲਤੀਆਂ ਦਾ ਸ਼ਿਕਾਰ ਹੋ ਸਕਦਾ ਹੈ, ਖਾਸ ਕਰਕੇ ਨੇਸਟਡ ਡੇਟਾ ਦੇ ਨਾਲ। ਇਹ ਟੂਲ ਤੁਹਾਨੂੰ ਇੱਕ JSON ਵਸਤੂ ਜਾਂ JSON ਸਕੀਮਾ ਪੇਸਟ ਕਰਨ ਅਤੇ ਤੁਰੰਤ ਇੱਕ ਵੈਧ BigQuery JSON ਸਕੀਮਾ ਫਾਈਲ ਤਿਆਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਜੋ Google ਕਲਾਉਡ ਕੰਸੋਲ, CLI, ਜਾਂ API ਵਿੱਚ ਵਰਤਣ ਲਈ ਤਿਆਰ ਹੈ।
JSON ਨੂੰ BigQuery ਸਕੀਮਾ ਵਿੱਚ ਕਿਉਂ ਬਦਲਿਆ ਜਾਵੇ?
Google BigQuery ਨੂੰ ਤੁਹਾਡੀਆਂ ਟੇਬਲਾਂ ਦੀ ਬਣਤਰ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਇੱਕ ਖਾਸ ਸਕੀਮਾ ਫਾਰਮੈਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਵੱਡੇ ਡੇਟਾਸੈੱਟ ਆਯਾਤ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਸਕੀਮਾ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਡੇਟਾ ਇਕਸਾਰਤਾ ਅਤੇ ਪੁੱਛਗਿੱਛ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ।
ਆਟੋਮੇਟ ਟੇਬਲ ਪਰਿਭਾਸ਼ਾਵਾਂ
ਭਾਵੇਂ ਤੁਸੀਂ ਫਲੈਟ ਫਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹੋ ਜਾਂ ਡੂੰਘਾਈ ਨਾਲ ਨੇਸਟਡ JSON ਰਿਕਾਰਡਾਂ ਨਾਲ, ਸਾਡਾ ਟੂਲ ਇੱਕ ਉਤਪਾਦਨ-ਤਿਆਰ ਸਕੀਮਾ ਬਣਾਉਣ ਲਈ ਡੇਟਾ ਕਿਸਮਾਂ ਅਤੇ ਢਾਂਚਿਆਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਹੈ। ਇਹ name, type, ਅਤੇ modeਖੇਤਰਾਂ ਦੇ ਲੰਬੇ ਐਰੇ ਨੂੰ ਹੱਥੀਂ ਲਿਖਣ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ।
ਕੰਪਲੈਕਸ ਨੇਸਟਡ ਡੇਟਾ ਨੂੰ ਸੰਭਾਲੋ
BigQuery RECORD(struct) ਅਤੇ REPEATED(array) ਮੋਡਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਸਾਡਾ ਕਨਵਰਟਰ ਤੁਹਾਡੇ JSON ਵਿੱਚ ਇਹਨਾਂ ਢਾਂਚਿਆਂ ਦੀ ਸਮਝਦਾਰੀ ਨਾਲ ਪਛਾਣ ਕਰਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਸਹੀ BigQuery ਨੇਸਟਡ ਕਿਸਮਾਂ ਨਾਲ ਮੈਪ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਤੁਹਾਡਾ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਿਵਸਥਿਤ ਰਹੇ।
ਸਾਡੇ ਕਨਵਰਟਰ ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਸਾਡਾ ਟੂਲ GCP 'ਤੇ ਆਧੁਨਿਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।
1. ਬੁੱਧੀਮਾਨ ਕਿਸਮ ਦੀ ਖੋਜ
ਕਨਵਰਟਰ ਆਪਣੇ ਆਪ ਹੀ ਮਿਆਰੀ JSON ਕਿਸਮਾਂ ਨੂੰ BigQuery ਦੇ ਡੇਟਾ ਕਿਸਮਾਂ ਨਾਲ ਮੈਪ ਕਰਦਾ ਹੈ:
string→STRINGnumber(ਪੂਰਨ ਅੰਕ) →INTEGER/INT64number(ਦਸ਼ਮਲਵ) →FLOAT64/NUMERICboolean→BOOLISO 8601 strings→TIMESTAMPਜਾਂDATE
2. ਮੋਡ ਖੋਜ ਲਈ ਸਮਰਥਨ
ਸਾਡਾ ਇੰਜਣ ਸਿੰਗਲ ਆਬਜੈਕਟ ਅਤੇ ਐਰੇ ਵਿਚਕਾਰ ਅੰਤਰ ਨੂੰ ਪਛਾਣਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ JSON ਸਕੀਮਾ ਸੀਮਾਵਾਂ ਜਾਂ ਤੁਹਾਡੇ ਸੈਂਪਲ ਡੇਟਾ ਵਿੱਚ ਐਰੇ ਦੀ ਮੌਜੂਦਗੀ ਦੇ ਆਧਾਰ 'ਤੇ ਆਪਣੇ ਆਪ REQUIRED, NULLABLE, ਜਾਂ ਮੋਡ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ।REPEATED
3. ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਆਉਟਪੁੱਟ ਫਾਰਮੈਟ
ਆਉਟਪੁੱਟ ਇੱਕ ਸਟੈਂਡਰਡ JSON ਐਰੇ ਦੇ ਰੂਪ ਵਿੱਚ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜਿਸਦੀ BigQuery ਉਮੀਦ ਕਰਦੀ ਹੈ। ਤੁਸੀਂ BigQuery UI ਵਿੱਚ ਇੱਕ ਟੇਬਲ ਬਣਾਉਂਦੇ ਸਮੇਂ ਇਸਨੂੰ ਸਿੱਧੇ "ਟੈਕਸਟ ਦੇ ਰੂਪ ਵਿੱਚ ਸੰਪਾਦਿਤ ਕਰੋ".json ਭਾਗ ਵਿੱਚ ਕਾਪੀ ਕਰ ਸਕਦੇ ਹੋ ਜਾਂ ਇਸਨੂੰ ਕਮਾਂਡ ਲਈ ਇੱਕ ਫਾਈਲ ਦੇ ਰੂਪ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰ ਸਕਦੇ ਹੋ bq load।
JSON ਨੂੰ BigQuery ਵਿੱਚ ਕਿਵੇਂ ਬਦਲਿਆ ਜਾਵੇ
ਆਪਣਾ ਡੇਟਾ ਇਨਪੁੱਟ ਕਰੋ: ਇਨਪੁੱਟ ਬਾਕਸ ਵਿੱਚ ਇੱਕ ਨਮੂਨਾ JSON ਆਬਜੈਕਟ ਜਾਂ ਇੱਕ ਵੈਧ JSON ਸਕੀਮਾ ਪੇਸਟ ਕਰੋ।
ਵਿਸ਼ਲੇਸ਼ਣ: ਇਹ ਟੂਲ ਤੁਰੰਤ ਢਾਂਚੇ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਹੈ ਅਤੇ ਖੇਤਰਾਂ ਦੀ ਪਛਾਣ ਕਰਦਾ ਹੈ।
ਤਿਆਰ ਕਰੋ: ਆਉਟਪੁੱਟ ਵਿੰਡੋ ਵਿੱਚ ਤਿਆਰ ਕੀਤੀ BigQuery ਸਕੀਮਾ ਵੇਖੋ।
ਕਾਪੀ ਅਤੇ ਡਿਪਲਾਇ: ਸਕੀਮਾ ਲੈਣ ਲਈ "ਕਾਪੀ" ਬਟਨ ਦੀ ਵਰਤੋਂ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਆਪਣੇ ਗੂਗਲ ਕਲਾਉਡ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਲਾਗੂ ਕਰੋ।
ਤਕਨੀਕੀ ਮੈਪਿੰਗ: JSON ਬਨਾਮ BigQuery ਕਿਸਮਾਂ
ਨਲਸ ਅਤੇ ਵਿਕਲਪਿਕ ਖੇਤਰਾਂ ਨਾਲ ਨਜਿੱਠਣਾ
BigQuery ਵਿੱਚ, ਖੇਤਰ NULLABLEਡਿਫਾਲਟ ਹੁੰਦੇ ਹਨ। ਸਾਡਾ ਕਨਵਰਟਰ ਤੁਹਾਡੇ JSON ਸਕੀਮਾ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਸਤਿਕਾਰ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ BigQuery requiredਵਾਂਗ ਖਾਸ ਖੇਤਰਾਂ ਨੂੰ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਜਾ ਸਕੇ, ਜਿਸ ਨਾਲ ਤੁਹਾਨੂੰ ਸਖ਼ਤ ਡੇਟਾ ਗੁਣਵੱਤਾ ਮਿਆਰਾਂ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਵਿੱਚ ਮਦਦ ਮਿਲਦੀ ਹੈ।REQUIRED
ਫਲੈਟਨਿੰਗ ਬਨਾਮ ਨੇਸਟਿੰਗ
ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ, ਇਹ ਟੂਲ ਟਾਈਪ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੁਹਾਡੇ JSON ਦੇ ਨੇਸਟਡ ਢਾਂਚੇ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦਾ ਹੈ RECORD। ਇਹ BigQuery ਲਈ ਅਰਧ-ਸੰਗਠਿਤ ਡੇਟਾ 'ਤੇ ਆਪਣੀਆਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਸਮਰੱਥਾਵਾਂ ਦਾ ਲਾਭ ਲੈਣ ਲਈ ਸਿਫ਼ਾਰਸ਼ ਕੀਤਾ ਗਿਆ ਤਰੀਕਾ ਹੈ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ(FAQ)
bqਕੀ ਮੈਂ ਕਮਾਂਡ-ਲਾਈਨ ਟੂਲ ਨਾਲ ਆਉਟਪੁੱਟ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹਾਂ ?
ਹਾਂ! ਬਸ ਆਉਟਪੁੱਟ ਨੂੰ as ਸੇਵ ਕਰੋ schema.jsonਅਤੇ ਇਸਨੂੰ ਆਪਣੀ ਕਮਾਂਡ ਵਿੱਚ ਵਰਤੋਂ:bq make --schema schema.json mydataset.mytable
ਕੀ ਇਹ ਟੂਲ BigQuery GEOGRAPHYਜਾਂ BYTESਕਿਸਮਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ?
ਜੇਕਰ ਤੁਹਾਡਾ JSON ਸਕੀਮਾ ਇਹਨਾਂ ਫਾਰਮੈਟਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜਾਂ ਜੇਕਰ ਸੈਂਪਲ ਡੇਟਾ ਖਾਸ ਪੈਟਰਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ, ਤਾਂ ਟੂਲ ਉਹਨਾਂ ਨੂੰ ਮੈਪ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੇਗਾ। ਹਾਲਾਂਕਿ, ਤੁਸੀਂ ਹਮੇਸ਼ਾ ਬਹੁਤ ਖਾਸ ਡੇਟਾ ਕਿਸਮਾਂ ਲਈ ਆਉਟਪੁੱਟ ਨੂੰ ਹੱਥੀਂ ਸੰਪਾਦਿਤ ਕਰ ਸਕਦੇ ਹੋ।
ਕੀ ਮੇਰਾ ਡੇਟਾ ਕਿਸੇ ਸਰਵਰ ਤੇ ਅਪਲੋਡ ਕੀਤਾ ਗਿਆ ਹੈ?
ਨਹੀਂ। ਸਾਰੇ ਪਰਿਵਰਤਨ ਅਤੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਜਾਵਾ ਸਕ੍ਰਿਪਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਤੁਹਾਡੇ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਢਾਂਚੇ ਕਦੇ ਵੀ ਤੁਹਾਡੀ ਮਸ਼ੀਨ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦੇ।