Yaliyomo
1 Utangulizi
Mageuzi ya Mfumo wa Lugha Kubwa (LLMs) na Mfumo wa Lugha Kubwa wa Njia Nyingi (MLLMs) yamebadilisha kabisa uwezo wa kufikiri wa Akili Bandia, lakini changamoto kubwa bado zipo katika upendeleo wa ufahamu wa lugha asilia na ufanisi wa hesabu. Mifumo ya sasa ya Wakala wa Akili Bandia inategemea sana michakato ya nje ya kufikiri kama vile Chain-of-Thought (CoT) na Iteration of Thought (IoT), ambayo huzalisha gharama kubwa za token na kurithi vikwazo vya LLM.
Mfumo wetu unaopendekezwa wa Introspection of Thought (INoT) unashughulikia vikwazo hivi kwa kuwezesha kujichambua ndani ya LLM yenyewe kupitia hoja za mazungumzo ya programu, kupunguza kurudia kwa nje na mzigo unaohusishwa wa hesabu.
7.95%
Uboreshaji wa Wastani wa Utendaji
58.3%
Kupunguzwa kwa Gharama za Token
6
Viwango Vilivyotathminiwa
2 Ubunifu wa Mfumo wa INoT
2.1 Kichocheo cha Msimbo Unaosomeka na LLM
Ubunifu mkuu wa INoT uko katika muundo wa kichocheo cha msimbo unaosomeka na LLM, ambao hubadilisha hoja za lugha asilia kuwa miundo ya utekelezaji wa programu. Tofauti na uhandisi wa kichocheo wa kitamaduni unaotegemea tofauti za kilugha, INoT hutumia violezo vya msimbo vilivyoundwa ambavyo LLMs zinaweza kutafsiri na kutekeleza moja kwa moja.
2.2 Utaratibu wa Kukana Ndani
INoT inatekelezza kujichambua ndani ambapo LLM inakadiria mchakato wake wa kufikiri bila vitanzi vya uthibitishaji wa nje. Utaratibu huu wa ukosoaji wa ndani hupunguza haja ya mwingiliano mwingi wa wakala au uthibitishaji wa nje unaorudiwa.
3 Utekelezaji wa Kiufundi
3.1 Msingi wa Kihisabati
Mfumo wa INoT unaboresha mchakato wa kufikiri kupitia miundo rasmi ya uwezekano. Kwa kuzingatia ingizo $x$ na pato linalohitajika $y$, mbinu za kitamaduni huhesabu:
$P(y|x) = \prod_{t=1}^{T} P(y_t|x, y_{ INoT inaboresha hii kupitia kutafakari ndani: $P_{INoT}(y|x) = \prod_{t=1}^{T} P(y_t|x, y_{ ambapo $R_t$ inawakilisha hali ya kutafakari ndani katika hatua $t$, iliyohesabiwa kama: $R_t = f_{reflect}(x, y_{ Kazi ya kutafakari $f_{reflect}$ hufanya kazi ndani ya nafasi ya siri ya LLM, ikipunguza matumizi ya token ya nje huku ikiweka uadilifu wa kufikiri. Ingawa PDF haitoi msimbo wazi, mfumo wa INoT unaweza kuelezewa kupitia muundo huu wa pseudocode: INoT ilitathminiwa katika viwango sita vinavyojumuisha hoja za hisabati, kazi za programu, na majibu ya maswali ya njia nyingi. Mfumo huo ulipata uboreshaji wa wastani wa utendaji wa 7.95% ikilinganishwa na mbinu za msingi zinazojumuisha CoT, IoT, na ProgCo. Mafanikio makubwa zaidi ya INoT ni kupunguzwa kwa 58.3% kwa gharama za token ikilinganishwa na mbinu bora ya msingi ya utendaji. Faida hii ya ufanisi inatokana na kuweka mchakato wa kutafakari ndani, na kuondoa haja ya mizunguko mingi ya uthibitishaji wa nje. INoT sio tu uboreshaji mwingine mdogo—ni mabadiliko ya msingi katika jinsi tunavyokaribia kufikiri kwa LLM. Mfumo huo unavunja imani ya kawaida kwamba hoja ngumu huhitaji vitanzi vingi vya uthibitishaji wa nje. Kwa kuhamisha kutafakari ndani ya mfano, waandishi wamegundua ufanisi duni muhimu katika usanifu wa sasa wa wakala wa Akili Bandia. Utafiti huu unafuata mwendo wa mantiki: Mbinu za sasa → Ufanisi duni uliogunduliwa → Dhana ya kutafakari ndani → Utekelezaji → Uthibitishaji. Mnyororo huu ni imara kwa sababu unashughulikia kikwazo cha msingi (gharama za token) huku ukiboresha utendaji, na kuunda hali adimu ya ushindi kwa ushindi katika uboreshaji wa Akili Bandia. Vipengele Bora: Kupunguzwa kwa 58.3% kwa token ni muhimu sana—kinachofanana na faida za ufanisi zilizonekana katika mafanikio ya uboreshaji kama uboreshaji wa usanifu asilia wa Transformer ukilinganisha na RNNs. Uwezo wa mfumo huo kufanya kazi katika viwango vingi vinaonyesha utambuzi imara. Vikwazo: Mbinu hii inadhania kuwa LLMs zina uwezo wa kutosha wa uwakilishi wa ndani kwa kutafakari bora ndani. Kama ilivyoonyeshwa katika karatasi ya awali ya CycleGAN, vikwazo vya usanifu vinaweza kuzuia mbinu kama hizo za uboreshaji wa ndani. Zaidi ya hayo, mbinu hiyo inaweza kukosa kufanya kazi vizuri na kazi zinazohitaji hoja mpya zaidi ya usambazaji wa mafunzo ya mfano. Utafiti huu unapaswa kusababisha upya upya wa muundo wa mifumo ya kufikiri katika sekta nzima. Kampuni zinazojenga wakala wa Akili Bandia zinapaswa kuweka kipaumbele kwenye utaratibu wa kutafakari ndani kuliko vitanzi vya uthibitishaji wa nje. Matokeo yanaonyesha kuwa uhandisi wa kichocheo unapaswa kubadilika kuelekea miundo ya programu badala ya tofauti za lugha asilia. Kama utafiti wa DeepMind juu ya uboreshaji unaotegemea mfano unavyoonyesha, hoja za ndani mara nyingi hufanya vizuri kuliko uthibitishaji wa nje wakati zimeundwa vizuri. Mfumo wa INoT unafungua mwelekeo kadhaa wa matumizi ya baadaye: Kazi ya baadaye inapaswa kuchunguza mbinu mseto zinazounganisha kutafakari ndani kwa INoT na uthibitishaji wa nje wa kuchagua kwa utendaji bora katika aina tofauti za kazi.3.2 Utekelezaji wa Msimbo
class INoTReasoner:
def __init__(self, llm_model):
self.llm = llm_model
self.reflection_states = []
def reason_with_introspection(self, query):
# Kupita kwanza kwa kufikiri
initial_response = self.llm.generate(query)
# Awamu ya kutafakari ndani
reflection_prompt = self._build_reflection_prompt(query, initial_response)
reflection = self.llm.generate(reflection_prompt)
# Jibu la mwisho lililounganishwa
final_prompt = self._integrate_reflection(query, initial_response, reflection)
return self.llm.generate(final_prompt)
def _build_reflection_prompt(self, query, response):
return f"""Chambua hoja ifuatayo kwa uboreshaji unaowezekana:
Swali: {query}
Jibu la Sasa: {response}
Tambua mapungufu ya kimantiki na pendekeza uboreshaji:"""4 Matokeo ya Majaribio
4.1 Vipimo vya Utendaji
4.2 Ufanisi wa Token
Ufahamu Muhimu
5 Uchambuzi Muhimu
Mtazamo wa Mchambuzi wa Sekta
Kukata Hadithi (Cutting to the Chase)
Mnyororo wa Mantiki (Logical Chain)
Vipengele Bora na Vikwazo (Highlights and Limitations)
Ushauri Unaoweza Kutekelezeka (Actionable Insights)
6 Matumizi ya Baadaye
7 Marejeo