অনলাইন JSON থেকে BigQuery স্কিমা কনভার্টার
আমাদের JSON থেকে BigQuery স্কিমা টুল ব্যবহার করে আপনার ডেটা গুদামজাতকরণের কাজ সহজ করুন । Google BigQuery-এর জন্য টেবিল স্কিমা ম্যানুয়ালি সংজ্ঞায়িত করা সময়সাপেক্ষ এবং ত্রুটির ঝুঁকিপূর্ণ হতে পারে, বিশেষ করে নেস্টেড ডেটার ক্ষেত্রে। এই টুলটি আপনাকে একটি JSON অবজেক্ট বা JSON স্কিমা পেস্ট করতে এবং তাৎক্ষণিকভাবে একটি বৈধ BigQuery JSON স্কিমা ফাইল তৈরি করতে দেয়, যা Google Cloud Console, CLI, অথবা API-তে ব্যবহারের জন্য প্রস্তুত।
কেন JSON কে BigQuery স্কিমায় রূপান্তর করবেন?
আপনার টেবিলের কাঠামো নির্ধারণের জন্য Google BigQuery-এর একটি নির্দিষ্ট স্কিমা ফর্ম্যাট প্রয়োজন। আপনি যদি বড় ডেটাসেট আমদানি করেন, তাহলে ডেটা ইন্টিগ্রিটি এবং কোয়েরি পারফরম্যান্সের জন্য স্কিমা সঠিকভাবে তৈরি করা অত্যন্ত গুরুত্বপূর্ণ।
স্বয়ংক্রিয় টেবিল সংজ্ঞা
nameআপনি ফ্ল্যাট ফাইল বা গভীরভাবে নেস্টেড JSON রেকর্ড নিয়ে কাজ করছেন কিনা, আমাদের টুলটি একটি প্রোডাকশন-রেডি স্কিমা তৈরি করতে ডেটা টাইপ এবং স্ট্রাকচার বিশ্লেষণ করে। এটি, type, এবং modeফিল্ডের দীর্ঘ অ্যারে ম্যানুয়ালি লেখার প্রয়োজনীয়তা দূর করে ।
জটিল নেস্টেড ডেটা পরিচালনা করুন
BigQuery RECORD(struct) এবং REPEATED(array) মোড সমর্থন করে। আমাদের কনভার্টার বুদ্ধিমত্তার সাথে আপনার JSON-এ এই কাঠামোগুলি সনাক্ত করে, সঠিক BigQuery নেস্টেড প্রকারের সাথে ম্যাপিং করে যাতে আপনার রিলেশনাল ডেটা নিখুঁতভাবে সংগঠিত থাকে।
আমাদের কনভার্টারের মূল বৈশিষ্ট্য
আমাদের টুলটি GCP-তে আধুনিক ডেটা ইঞ্জিনিয়ারিং পাইপলাইনের প্রয়োজনীয়তা পূরণের জন্য ডিজাইন করা হয়েছে।
1. বুদ্ধিমান প্রকার সনাক্তকরণ
কনভার্টারটি স্বয়ংক্রিয়ভাবে স্ট্যান্ডার্ড JSON প্রকারগুলিকে BigQuery এর ডেটা প্রকারের সাথে ম্যাপ করে:
string→STRINGnumber(পূর্ণসংখ্যা) →INTEGER/INT64number(দশমিক) →FLOAT64/NUMERICboolean→BOOLISO 8601 strings→TIMESTAMPঅথবাDATE
2. মোড সনাক্তকরণের জন্য সমর্থন
আমাদের ইঞ্জিন একক বস্তু এবং অ্যারের মধ্যে পার্থক্য সনাক্ত করে। এটি আপনার JSON স্কিমার সীমাবদ্ধতা বা আপনার নমুনা ডেটাতে অ্যারের উপস্থিতির উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে REQUIRED, NULLABLE, অথবা মোড নির্ধারণ করে।REPEATED
৩. ব্যবহারের জন্য প্রস্তুত আউটপুট ফরম্যাট
আউটপুটটি একটি স্ট্যান্ডার্ড JSON অ্যারে হিসেবে তৈরি হয় যা BigQuery আশা করে। BigQuery UI-তে একটি টেবিল তৈরি করার সময় আপনি এটি সরাসরি "Edit as Text".json বিভাগে কপি করতে পারেন অথবা কমান্ডের জন্য একটি ফাইল হিসেবে সংরক্ষণ করতে পারেন bq load।
কিভাবে JSON কে BigQuery তে রূপান্তর করবেন
আপনার ডেটা ইনপুট করুন: ইনপুট বাক্সে একটি নমুনা JSON অবজেক্ট অথবা একটি বৈধ JSON স্কিমা পেস্ট করুন।
বিশ্লেষণ: টুলটি তাৎক্ষণিকভাবে কাঠামো বিশ্লেষণ করে এবং ক্ষেত্রগুলি সনাক্ত করে।
জেনারেট করুন: আউটপুট উইন্ডোতে জেনারেট হওয়া BigQuery স্কিমা দেখুন।
কপি এবং ডিপ্লয়: "কপি" বোতামটি ব্যবহার করে স্কিমাটি নিন এবং আপনার গুগল ক্লাউড প্রোজেক্টে এটি প্রয়োগ করুন।
টেকনিক্যাল ম্যাপিং: JSON বনাম BigQuery প্রকারভেদ
নাল এবং ঐচ্ছিক ক্ষেত্রগুলি নিয়ে কাজ করা
BigQuery-তে, ফিল্ডগুলি NULLABLEডিফল্টরূপে থাকে। আমাদের কনভার্টার আপনার JSON স্কিমার requiredবৈশিষ্ট্যগুলিকে সম্মান করে নির্দিষ্ট ফিল্ডগুলিকে BigQuery-এর মতো চিহ্নিত করে REQUIRED, যা আপনাকে কঠোর ডেটা মানের মান বজায় রাখতে সহায়তা করে।
সমতলকরণ বনাম বাসা বাঁধা
ডিফল্টরূপে, এই টুলটি RECORDটাইপ ব্যবহার করে আপনার JSON এর নেস্টেড স্ট্রাকচার সংরক্ষণ করে। আধা-কাঠামোগত ডেটার উপর এর শক্তিশালী বিশ্লেষণাত্মক ক্ষমতার সুবিধা নেওয়ার জন্য BigQuery-এর জন্য এটি প্রস্তাবিত পদ্ধতি।
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী(FAQ)
bqআমি কি কমান্ড-লাইন টুল দিয়ে আউটপুট ব্যবহার করতে পারি ?
হ্যাঁ! আউটপুটটি "as" হিসেবে সংরক্ষণ করুন schema.jsonএবং আপনার কমান্ডে এটি ব্যবহার করুন:bq make --schema schema.json mydataset.mytable
এই টুলটি কি BigQuery's GEOGRAPHYবা BYTESটাইপ সমর্থন করে?
যদি আপনার JSON স্কিমা এই ফর্ম্যাটগুলি নির্দিষ্ট করে অথবা নমুনা ডেটা নির্দিষ্ট প্যাটার্ন অনুসরণ করে, তাহলে টুলটি সেগুলি ম্যাপ করার চেষ্টা করবে। তবে, আপনি সর্বদা অত্যন্ত নির্দিষ্ট ডেটা টাইপের জন্য আউটপুট ম্যানুয়ালি সম্পাদনা করতে পারেন।
আমার ডেটা কি কোন সার্ভারে আপলোড করা হয়েছে?
না। সমস্ত রূপান্তর এবং ডেটা বিশ্লেষণ জাভাস্ক্রিপ্ট ব্যবহার করে আপনার ব্রাউজারে স্থানীয়ভাবে সম্পাদিত হয়। আপনার সংবেদনশীল ডেটা স্ট্রাকচার কখনই আপনার মেশিনের বাইরে যায় না।