கெஸ்ட்ரா 2.0: புதிய எஞ்சின், எல்லா இடங்களிலும் தொழிலாளர்கள் மற்றும் இன்னும் அப்பாச்சி 2.0

பிப்ரவரி 2022 இல், எனது முதல் இடுகையை இங்கு வெளியிட்டேன் கெஸ்ட்ரா, ஒரு எல்லையற்ற அளவிடக்கூடிய திறந்த மூல இசைக்குழு மற்றும் திட்டமிடல் தளம். காஃப்காவை வரிசையாகவும் தரவுத்தளமாகவும் பயன்படுத்தும் ஆர்கெஸ்ட்ரேஷனை விவரித்தேன், மீள் தேடல் UIக்குப் பின்னால் உள்ள களஞ்சியமாக இருந்தது, மேலும் லெராய் மெர்லினில் ஒரு மாதத்திற்கு சுமார் 350,000 மரணதண்டனைகளை நான் பெருமைப்படுத்தினேன்.

இந்த இடுகையைப் பற்றிய இரண்டு விஷயங்கள் யதார்த்தத்துடன் தொடர்பு கொள்ளவில்லை. “எல்லையற்ற” என்ற வார்த்தை நான் ஓய்வு பெற்ற பிறகு. மற்றும் கட்டிடக்கலை, மக்கள் என்னிடம் சொன்னார்கள், முயற்சி செய்ய கூட மிகவும் கனமாக இருந்தது. இது பின்தொடர்தல், நான்கு ஆண்டுகள் மற்றும் மீண்டும் எழுதப்பட்ட ஒரு இயந்திரம்.

முதலில் என்ன எண்ணங்கள் மாறியது

2022 இல் இந்த இடுகைக்கு ஒரு வடிவத்தில் அல்லது மற்றொரு வடிவத்தில் மிகவும் பொதுவான பதில்: வேலையைத் திட்டமிடுவதற்கு காஃப்கா கிளஸ்டர் மற்றும் எலாஸ்டிக் சர்ச் கிளஸ்டர் தேவை என்பது அர்த்தமற்றது. நியாயமாக இருந்தது. நான்கு மாதங்களுக்குப் பிறகு நாங்கள் ஒரு JDBC பின்தளத்தை அனுப்பினோம், வரிசை மற்றும் நிலை அனைத்தையும் செய்ய ஒரு Postgres அல்லது MySQL போதுமானது.

இது முழு திட்டத்திற்கான வடிவத்தை அமைத்தது. வேலை வாய்ப்பு கதை மோசம் என்று யாரோ சொல்கிறார்கள், நாங்கள் வேலை வாய்ப்பு கதையை சரிசெய்கிறோம். இடையில் ஆண்டுகள், வேகமாக:

• சப்ஃப்ளோஸ் மற்றும் அவுட் கோப்புகள், அதனால் பெரிய பைப்லைன் ஒரு பெரிய YAML கோப்பாக இருப்பதை நிறுத்தியது.
• டாஸ்க் எக்ஸிகியூட்டர்கள், எனவே ஒரு ஸ்கிரிப்ட் டாஸ்க்கை டாக்கர் கண்டெய்னர், லோக்கல் பிராசஸ் அல்லது குபெர்னெட்டஸ் பாட் என டாஸ்க்கை மாற்றி எழுதுவதற்குப் பதிலாக ஒற்றைப் பண்புகளை மாற்றுவதன் மூலம் செயல்படுத்தலாம்.
• Git sync, உண்மையான செருகுநிரல் திட்டங்களைத் தானாக நிரப்பும் உலாவி எடிட்டர், பின்னர் CI இலிருந்து ஸ்ட்ரீம்களைப் பயன்படுத்துவதற்கான CLI மற்றும் GitHub செயல்கள்.
• யூனிட் ஸ்ட்ரீமை கருவிகள் மூலம் சோதிக்கிறது, எனவே உற்பத்தி களஞ்சியத்தைத் தொடாமல் CI இல் மாற்றங்களைச் சரிபார்க்கலாம்.
• ஒரு பணியை எழுதும் போது அதை இயக்குவதற்கான விளையாட்டு மைதானம்.
• செப்டம்பர் 2025 இல் 1.0, நீண்ட கால ஆதரவுடன் எங்களின் முதல் வெளியீடு.

மேலும் 2.0 இந்த மாதம் அனுப்பப்பட்டது மற்றும் பெரும்பாலான இயந்திரம் மாற்றப்பட்டது.

இயந்திரத்தை மீண்டும் எழுத வேண்டிய அவசியம் ஏன் ஏற்பட்டது

1.x இல், ஒவ்வொரு பணியாளரும் மைய தரவுத்தளத்துடன் இணைக்க வேண்டும். இந்த ஒற்றை வடிவமைப்பு முடிவு நீங்கள் பணிகளைச் செய்ய அனுமதிக்கப்படும் இடத்தைக் கட்டளையிடுகிறது. ஒரு பாதுகாப்புக் குழு ஒரு நெட்வொர்க்கிலிருந்து மற்றொரு நெட்வொர்க்கில் போஸ்ட்கிரெஸுக்குச் செல்லும் வழியைத் திறக்கவில்லை என்றால், உங்களுக்கு இரண்டு விருப்பங்கள் உள்ளன: ஒரு தளத்தில் முழு கெஸ்ட்ராவைப் பயன்படுத்தவும் அல்லது ஸ்கிரிப்ட்களை கிரான் மற்றும் ஆர்கெஸ்ட்ரேஷனுடன் பொதுவாக உள்ளூர் பெட்டியில் வைக்கவும். அணிகள் இரண்டாவது விருப்பத்தை ஒன்றுக்கு மேற்பட்ட முறை தேர்வு செய்வதை நான் பார்த்திருக்கிறேன்.

2.0 கெஸ்ட்ராவை ஒரு கட்டுப்பாட்டு விமானம் மற்றும் தரவு விமானமாக பிரிக்கிறது. எக்ஸிகியூட்டர், ஷெட்யூலர், வெப் சர்வர், இன்டெக்ஸர் மற்றும் புதிய தொழிலாளர் கட்டுப்படுத்தி ஆகியவை கட்டுப்பாட்டு விமானத்தில் வசிக்கின்றன, இவை எதுவும் பயனர் குறியீட்டை இயக்காது. பணியாளர்கள் தரவு விமானம் மற்றும் உங்கள் குறியீடு செயல்படுத்தப்படும் இடத்தில் அவர்கள் உள்ளனர்.

தொழிலாளி இப்போது ஒரு தொடர்ச்சியான gRPC ஸ்ட்ரீமை தொழிலாளி கட்டுப்படுத்திக்கு திறக்கிறார். இணைப்பு எப்போதும் தொழிலாளியால் செய்யப்படுகிறது, வேறு திசையில் இல்லை. இந்த ஸ்ட்ரீமில் பயணிக்கும் இடங்கள், முடிவுகள், அறிக்கைகள் மற்றும் அளவீடுகள் அதே நிலைக்குத் திரும்பும். சேனலை TLS மூலம் என்க்ரிப்ட் செய்ய முடியும், மேலும் ஒவ்வொரு பணியாளரும் எந்தப் படைப்பையும் அனுப்புவதற்கு முன் கிளையன்ட் சான்றிதழ் அல்லது JWT ஐ வழங்க வேண்டும்.

நடைமுறை விளைவு: பணியாளரிடம் தரவுத்தளத் தகவல் இல்லை, அதனுடன் எதுவும் இணைக்கப்படக்கூடாது. இது மற்றொரு கிளவுட்டில், மற்றொரு பகுதியில், தரவுக்கு முன்னால் அல்லது வெளிப்புற போக்குவரத்தை மட்டுமே அனுமதிக்கும் நெட்வொர்க்கிற்குள் இயங்க முடியும். கட்டுப்பாட்டு விமானம் நீங்கள் எங்கு இருக்க விரும்புகிறீர்களோ அங்கேயே இருக்கும், மேலும் தரவு விமானம் உங்கள் விதிகள் இருக்க வேண்டிய இடத்தில் இருக்கும்.

இரண்டாவது பகுதி உள் கடன். 1.x இல் வரிசையும் சேமிப்பகமும் நிலையான ஜோடியாகத் தோன்றின: இரண்டிற்கும் JDBC அல்லது Kafka plus Elasticsearch. இது இயந்திரத்தின் இரண்டு செயலாக்கங்களைக் குறிக்கிறது, ஒவ்வொரு பிழையும் இரண்டு முறை சரி செய்யப்பட்டது, மேலும் இரண்டு பாதைகளுக்கு இடையிலான நடத்தையில் உள்ள ஒவ்வொரு வித்தியாசமும் எங்களுக்கு விளக்கப்பட்டது. 2.0 க்கு ஒரு செயல்படுத்துபவர், ஒரு திட்டமிடுபவர், ஒரு பணியாள், மற்றும் நீங்கள் வரிசை மற்றும் சேமிப்பகத்தை சுயாதீனமாக தேர்வு செய்கிறீர்கள். காஃப்கா ஸ்ட்ரீம்ஸ் இன்ஜின் அகற்றப்பட்டது, அதைக் கண்டு நான் வருந்தவில்லை.

2.0ல் வேறு என்ன மாற்றம்?

• வட்டம் ForEach மற்றும் ForEachItem ஐ மாற்றுகிறது. ஒவ்வொரு மறு செய்கையும் அதன் சொந்த சப்எக்ஸிகியூட்டர் ஆகும், எனவே எஸ்கேப் லூப் இனி செயல்படுத்துபவரை நிறுத்த முடியாது. இப்படி நடந்தது.
• தூண்டுதல் நிலைமைகள் ஒன்றாக ஆக when உங்கள் CI உள்ளமைவு போன்ற வெளிப்பாடு.
• ஒதுக்கீடுகள் ஒரு ஸ்ட்ரீம் அல்லது நேம்ஸ்பேஸ் ஒன்றுக்கு அதிகபட்ச செயல்திறன், அதனால் ஒரு தொகுதி பிழையானது அனைவருக்கும் நடப்பதை நிறுத்துகிறது.
• எந்த ஸ்ட்ரீமும் MCP கருவியாக இருக்கலாம். ஒரு தூண்டுதல் மற்றும் ஒரு முகவர் அதை அழைக்கலாம். எக்ஸிகியூட் என்பதைக் கிளிக் செய்த நபரின் அதே அனுமதிகளுடன் இது சாதாரணமாகச் செயல்படும் system.from: mcp. நீங்கள் திரும்பப் பெற முடியாத படிகள் ஒரு நபருக்காக காத்திருக்கலாம்.
• AI விருப்பமானது. AI முகவர் செயல்பாடு உங்கள் தனிப்பட்ட வன்பொருளில் ஒரு முகவரைக் குறிக்கலாம். காபிலட்டை அதன் மூலம் அணைக்க முடியும் kestra.ai.enabled: falseபின்னர் சர்வரில் AI எண்ட்பாயிண்ட் இல்லை.
• புதிய UI, கேன்வாஸ், வடிவமைப்புகள். கேன்வாஸ் மற்றும் YAML ஒத்திசைவில் இருக்கும். இது எப்போதும் Git repo இன் கீழ் YAML தான், எங்களை இறக்குமதி செய்ய எந்த குறியீடும் இல்லை.

எதுவும் மாறவில்லை

அறிவிப்பு YAML. ஒவ்வொரு மொழியும், ஒவ்வொரு ஸ்கிரிப்டும் அதன் சொந்த கொள்கலனில், கெஸ்ட்ராவிலிருந்து எதுவும் உங்கள் குறியீட்டில் உட்பொதிக்கப்படவில்லை. வேறொரு ஆர்கெஸ்ட்ரேட்டருக்கு மாறவும், வணிக தர்க்கத்தை அல்ல, ஓட்டங்களை மீண்டும் எழுதுகிறீர்கள். இதுதான் இலக்கு.

உரிமம். திட்டங்கள் வழக்கமாக அதை மாற்றும் முக்கிய பதிப்பு என்பதை நாங்கள் அறிவோம். இதையும் செய்யவில்லை, செய்ய மாட்டோம். என்ஜின், UI மற்றும் அனைத்து செருகுநிரல்களும் அப்பாச்சி 2.0 ஆக இருக்கும். ஓப்பன் கோர் என்பது மாதிரி, இதை நாங்கள் அம்சம் மூலம் அம்ச விலைப் பக்கத்தில் சொல்கிறோம், மேலும் ஓப்பன் சோர்ஸ் வெளியீடு முழு தயாரிப்பு ஆர்கெஸ்ட்ரேஷனாகும், டெமோ அல்ல.

2.0 என்பது LTS ஆகும். முதல் வெளியீட்டிலிருந்து, நான்கு பில்லியனுக்கும் அதிகமான மரணதண்டனைகள் கெஸ்ட்ராவில் செய்யப்பட்டுள்ளன, அவற்றில் பெரும்பாலானவை திறந்த மூல பதிப்பு மற்றும் வன்பொருளில் நாம் மீண்டும் பார்க்க முடியாது. குறைந்த பட்சம் நாங்கள் அந்த மக்களுக்கு ஒரு சலிப்பான புதுப்பிப்புக்கு கடன்பட்டுள்ளோம், எனவே குடியேற்றம் எங்கு வலிக்கிறது என்பதை எங்களிடம் கூறுங்கள்.

இன்னும் ஓப்பன் சோர்ஸ் மற்றும் இன்னும் அதே உரிமம்

இயந்திரம், UI, குறியீட்டு இல்லாத எடிட்டர் மற்றும் அனைத்து செருகுநிரல்களும் பொது களஞ்சியத்தில் அப்பாச்சி 2.0 ஆகும். 2022 இல், இந்த முதல் இடுகையில் “Kestra is open source” என்ற ஒரு பகுதியை எழுதினேன், மேலும் உரிம மாற்றத்தைப் பற்றிய தொடர் விளக்கத்தை எழுதுவதை விட இது சலிப்பாக இருக்க விரும்புகிறேன். திட்டங்கள் வழக்கமாக இந்த நகர்வை மேற்கொள்ளும் முக்கிய பதிப்பு என்பதை நாங்கள் அறிவோம். இதையும் செய்யவில்லை, செய்ய மாட்டோம்.

எல்லையைப் பற்றி நேர்மையாகச் சொல்வதென்றால், ஓப்பன் கோர் ஒரு தெளிவான பதிலுக்குத் தகுதியானது: RBAC, SSO, தணிக்கை அறிக்கைகள், பல குத்தகைதாரர்கள், தொழிலாளர் குழுக்கள், கொள்கைகள், வழக்குகள் மற்றும் VM கிளவுட் டாஸ்க் ரன்னர்களுக்கு ஊதியம் கிடைக்கும். உற்பத்தியில் நீங்கள் உண்மையில் ஓட்ட வேண்டிய அனைத்தும்.

உள்ளமைக்கப்பட்ட தரவுத்தளத்துடன் மற்றும் நிறுவுவதற்கு வேறு எதுவும் இல்லாமல், அதைப் பார்ப்பதற்கான விரைவான வழி:

docker run --pull=always --rm -it -p 8080:8080 --user=root \
  --name kestra \
  -v kestra_data:/app/storage \
  -v kestra_db:/app/data \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v /tmp:/tmp \
  -e KESTRA_PLUGINS_AUTO_INSTALL_ENABLED=true \
  kestra/kestra:latest-slim server local

நான் என்ன திரும்ப வேண்டும்

அந்த 2022 இடுகையில் நான் ஒரு மாதத்திற்கு 350,000 கொலைகள் பற்றி பெருமை பேசினேன். அதன்பிறகு நான்கு பில்லியனுக்கும் அதிகமான மரணதண்டனைகள் கெஸ்ட்ராவில் நிறைவேற்றப்பட்டுள்ளன, பெரும்பாலும் நான் பார்க்காத இயந்திரங்களில். இதன் அடிப்படையில், அதைச் செய்யும் நபர்களுக்கு நாங்கள் கடமைப்பட்டுள்ளோம், அது அவர்களின் வாரத்தை அழிக்காது.

எனவே நீங்கள் செய்யக்கூடிய சிறந்த விஷயம், அதை உடைத்து எங்கே என்று சொல்லுங்கள். ரைட் இன்ஜின் என்பது நாங்கள் அனுப்பிய மிகப்பெரிய மாற்றமாகும், மேலும் வெளியீட்டாளர்கள் வெளிப்படையான சிக்கல்களை மட்டுமே கண்டுபிடிப்பார்கள்.